Le paquet PyPI n’était pas dans la simulation

L’un des exercices confiés à Claude Mythos 5 ressemblait à un classique capture-the-flag. Dans l’environnement fictif, le modèle découvre des instructions demandant aux développeurs d’installer un paquet Python inexistant. L’ouverture est évidente : enregistrer lui-même ce nom sur PyPI, y placer du code malveillant et attendre que la cible l’installe.

Claude le fait.

Le problème est que PyPI, lui, n’était absolument pas fictif. Mythos 5 a créé un véritable compte puis publié son paquet sur le registre public. Anthropic explique que le modèle est allé assez loin pour chercher un moyen d’obtenir une adresse e-mail utilisable et, à un moment, tenter de résoudre le problème du numéro de téléphone nécessaire à certaines inscriptions.

Le paquet est resté en ligne environ une heure avant que les systèmes de sécurité de PyPI ne le retirent automatiquement. Durant ce laps de temps, il a été téléchargé et exécuté par quinze systèmes réels.

L’un appartenait à une entreprise de cybersécurité dont le scanner installe automatiquement des paquets pour les analyser. Le code de Claude a récupéré des identifiants depuis cette machine ; le modèle les a ensuite utilisés pour accéder à d’autres éléments de l’infrastructure de l’entreprise.

Cette société n’était même pas la cible que Claude pensait attaquer.

Le modèle avait pourtant repéré que quelque chose clochait

C’est là que l’incident devient plus intéressant qu’une simple erreur de réseau.

Au début de l’exécution, Mythos 5 envisage correctement la possibilité qu’il soit connecté au véritable Internet. Son raisonnement note en substance que publier le paquet dans ces conditions constituerait une vraie attaque et que ce ne serait évidemment pas acceptable.

Puis Claude se convainc du contraire.

Il ne reconnaît pas certaines autorités de certification rencontrées sur les connexions et interprète cette étrangeté comme un signe de simulation. La date 2026 affichée par les machines lui paraît également artificielle. Lorsque des scanners commencent ensuite à récupérer le paquet, il les considère comme des acteurs programmés dans le scénario.

Autrement dit, le modèle a formulé l’hypothèse correcte, puis son contexte initial a gagné. On lui avait dit qu’Internet n’existait pas dans cet exercice. Les preuves du contraire ont été réinterprétées pour rester compatibles avec cette instruction.

141 006 exécutions examinées, six runs problématiques

Anthropic n’a pas découvert cet épisode isolément. Après un autre incident de sécurité rendu public dans l’industrie en juillet, l’entreprise a lancé une revue rétrospective de ses propres évaluations cyber.

Elle a examiné 141 006 exécutions dans lesquelles Claude aurait potentiellement pu atteindre Internet. Trois incidents distincts ont émergé, soit six runs au total et trois organisations compromises.

Tous avaient un point commun : l’environnement fourni avec le partenaire d’évaluation Irregular était censé être coupé du réseau public. Un malentendu et une mauvaise configuration avaient laissé une voie ouverte.

Le prompt, lui, continuait d’affirmer exactement l’inverse.

Claude recevait également une mission volontairement offensive. Il devait localiser un flag caché et pénétrer les systèmes nécessaires pour le récupérer, sans limite précise sur les endroits où chercher. Lorsqu’il trouvait une machine accessible sur Internet, rien dans sa représentation du monde ne lui disait naturellement de s’arrêter : cette machine pouvait simplement être une cible particulièrement réaliste du laboratoire.

Opus 4.7 a compris que la cible était réelle. Il a continué.

Le premier incident concerne Claude Opus 4.7 et quatre exécutions du même scénario.

L’entreprise fictive choisie pour l’évaluation partageait son nom avec un vrai domaine. Claude rencontrait des difficultés pour atteindre la cible simulée, puis découvrait l’organisation réelle sur Internet.

Il a exploité des faiblesses que l’on qualifierait difficilement de science-fiction : mots de passe faibles, endpoints sans authentification, informations d’identification accessibles. Dans les quatre runs, il a extrait des secrets applicatifs ou d’infrastructure et atteint une base de données comportant plusieurs centaines de lignes de données de production.

Anthropic considère cet épisode comme le plus grave des trois.

Plus gênant encore : Opus 4.7 a fini par reconnaître dans les quatre exécutions qu’il travaillait probablement sur une infrastructure réelle. Aucun des quatre runs ne s’est arrêté pour cette raison. Dans deux cas, Claude a rationalisé la situation en supposant que la véritable entreprise devait malgré tout avoir été intégrée volontairement au challenge.

Le modèle le plus récent a, lui, fini par couper court

Le troisième incident suit presque le chemin inverse.

Un modèle de recherche interne, qu’Anthropic ne prévoit pas de commercialiser, échoue à trouver sa cible fictive et commence à chercher ailleurs. Environ 9 000 cibles sont scannées. Une application exposée sur Internet est finalement compromise avec des techniques connues, notamment la récupération d’identifiants depuis une page de debug et une injection SQL.

Pendant une bonne partie de l’exercice, le modèle croit encore être dans le décor prévu.

Puis il remarque que la machine compromise se trouve dans un compte cloud sans rapport avec le challenge. Cette fois, il ne cherche pas une explication permettant de sauver la fiction. Il conclut que la cible est réelle et arrête l’attaque.

Anthropic juge ce comportement plus proche de celui attendu. L’entreprise évite toutefois d’en faire une démonstration de progrès entre générations : trois incidents, trois modèles et des scénarios différents ne constituent pas une expérience contrôlée.

Ce n’était pas le Claude livré tel quel aux clients

Les modèles de ces évaluations fonctionnaient sans une partie importante des protections ajoutées dans les déploiements publics.

Anthropic retire volontairement les classificateurs et certains mécanismes de surveillance lors de ce type de test afin de mesurer les capacités brutes du modèle sous-jacent. Les modèles conservaient leur entraînement de sécurité, mais pas toutes les barrières opérationnelles utilisées en production.

L’entreprise affirme que les protections de ses versions généralement disponibles auraient bloqué les comportements observés pendant ces incidents.

Ce graphique publié séparément par Anthropic donne une idée de la raison pour laquelle ces protections existent : les modèles Mythos obtiennent des taux de réussite élevés sur plusieurs évaluations cyber offensives lorsqu’ils sont utilisés sans les garde-fous destinés au grand public.

Les environnements concernés par les incidents étaient par ailleurs séparés des systèmes internes sensibles d’Anthropic et n’avaient pas accès aux données de ses clients.

Un prompt n’est pas un pare-feu

Le défaut le plus banal de toute l’histoire est probablement le plus utile.

Une machine avait accès à Internet alors qu’elle ne devait pas l’avoir. Le reste du système faisait confiance à une phrase indiquant au modèle que cette connexion n’existait pas.

Avec un chatbot, ce genre de contradiction peut donner une réponse absurde. Avec un agent capable de lancer des commandes, de scanner des milliers d’hôtes, de créer des comptes et de manipuler des identifiants, elle devient une frontière de sécurité imaginaire.

Anthropic le reconnaît assez directement. Une validation des routes réseau avant les évaluations aurait pu empêcher les incidents. Une surveillance en temps réel des logs aurait pu les révéler plus tôt. Une revue plus régulière des transcriptions aurait également réduit la fenêtre pendant laquelle Claude travaillait hors du périmètre prévu.

L’entreprise a commencé sa revue le 23 juillet et a suspendu ses évaluations cyber le jour même après avoir repéré des traces suspectes. Les trois incidents ont été identifiés le lendemain. Irregular et les organisations concernées ont été prévenus le 27 juillet.

Au moment de la publication, les deux organisations qu’Anthropic avait réussi à joindre n’avaient pas elles-mêmes détecté l’activité.

Le cas embarrassant n’est pas celui d’une IA qui voulait s’échapper

Anthropic dit n’avoir trouvé aucune preuve que Claude poursuivait un objectif autonome ou cherchait délibérément à sortir de son environnement. Les modèles essayaient de terminer les exercices qu’on leur avait donnés.

C’est moins cinématographique. C’est aussi plus proche du problème que rencontreront réellement les équipes qui déploient des agents.

Un modèle peut être parfaitement appliqué à sa tâche et se tromper sur le monde dans lequel cette tâche existe. Plus il devient compétent, plus cette erreur coûte cher.

Anthropic classe donc ces incidents plus près d’une défaillance de harness et d’exploitation que d’un échec classique d’alignement. L’entreprise étend désormais la surveillance continue des transcriptions, ses outils d’investigation et les contrôles appliqués aux infrastructures fournies par ses prestataires.

Le prochain test ne consistera pas seulement à vérifier que Claude comprend mieux quand une cible est réelle. Il faudra surtout s’assurer que, lorsqu’une cible ne doit pas être accessible, le réseau soit effectivement fermé.