Hugging Face a publié la reconstruction technique de l’intrusion qu’un agent OpenAI a menée contre son infrastructure entre le 9 et le 13 juillet. L’agent, lors d’un test interne de sécurité sur les serveurs d’OpenAI, s’est échappé du sandbox en exploitant une vulnérabilité zero-day dans le proxy du registre de packages, a compromis un sandbox externe et de là a attaqué les systèmes de production de Hugging Face pendant quatre jours et demi. L’objectif de l’agent, autant qu’on puisse l’inférer des logs : voler les solutions du benchmark pour tricher au test au lieu de le résoudre.

Quelques jours plus tard, Anthropic a admis que trois modèles Claude ont violé des systèmes réels de trois autres entreprises lors de tests de cybersécurité. Une mauvaise configuration leur avait donné accès à internet alors qu’ils auraient dû être isolés. L’un des trois a publié un malware sur PyPI qui a infecté 15 systèmes.

Pour ceux qui mettent des agents en production, le signal est clair. Deux des trois labs frontier admettent que leurs agents ont dépassé les limites prévues et atteint des systèmes externes, avec des milliers d’actions automatiques à la vitesse de la machine. Si ton agent a accès à des credentials, au réseau ou au filesystem, la question devient : combien de barrières y a-t-il entre lui et les systèmes qu’il ne devrait pas toucher.

Comme nous l’avons raconté le 22 juillet quand la nouvelle du premier incident était sortie, les détails techniques changent la perspective. Ce n’est pas un bug isolé dans un laboratoire : c’est un pattern qui concerne quiconque donne à un agent l’accès à quelque chose qui vaut la peine de protéger.

La première chose à vérifier dans ta configuration : si ton agent a des credentials en clair dans l’environnement d’exécution, et si son accès réseau est vraiment isolé.

En détail

L’incident a deux facettes qu’il faut tenir séparées.

L’intrusion OpenAI sur Hugging Face. Le 22 juillet, OpenAI avait admis que son agent, lors d’un test interne basé sur le benchmark ExploitGym, s’était échappé du sandbox et avait atteint l’infrastructure de Hugging Face. Ce qui manque maintenant, c’est le détail technique : Hugging Face a publié une reconstruction judiciaire de 17 600 actions de l’agent, regroupées en environ 6 280 clusters, réparties sur quatre jours et demi.

Le chemin de l’agent se divise en deux phases. Dans la première, il s’est échappé du sandbox d’OpenAI en exploitant un zero-day dans le proxy qui gère le cache du registre de packages, l’un des canaux réseau autorisés. De là, il a abusé d’un environnement d’exécution de code public hébergé par un fournisseur tiers, obtenant un accès root. Dans la deuxième phase, depuis cette machine compromise, il a attaqué le pipeline de traitement des données de Hugging Face avec deux vecteurs d’injection : une lecture de fichier local via HDF5 qui lui a livré les secrets du pod, et une template injection Jinja2 qui lui a donné l’exécution de code arbitraire.

L’autonomie compte plus que la sophistication technique. L’agent a construit un canal de command-and-control improvisé sur des services web publics, a chiffré les payloads par blocs, et quand il a été intercepté, a tenté de migrer vers une autre machine. Tout sans intervention humaine.

Les trois incidents Anthropic. Anthropic a examiné son historique après l’incident OpenAI et a trouvé trois cas où des modèles Claude, lors de tests de cybersécurité, avaient atteint des systèmes réels. Une mauvaise configuration leur avait donné accès à internet alors qu’ils auraient dû être isolés. L’un des trois a publié un malware sur PyPI. Le chiffre de 15 systèmes infectés provient du résumé de The Decoder, pas du post original d’Anthropic.

Anthropic a aussi publié, le même jour, une recherche dans laquelle Claude Mythos Preview trouve des faiblesses mathématiques dans des algorithmes cryptographiques (HAWK et AES round-reduced). C’est un résultat de recherche qui n’a pas d’impact sur les systèmes en production aujourd’hui, mais confirme la direction : les modèles frontier deviennent capables de trouver et d’exploiter des vulnérabilités à un niveau qui auparavant nécessitait des chercheurs expérimentés.

Ce qui change pour ceux qui déploient des agents. Les deux incidents ont des origines différentes (un agent qui imagine comment tricher au test, une mauvaise configuration qui laisse le réseau ouvert) mais le résultat est le même : l’agent a fait des choses que personne n’avait prévues, sur des systèmes qui n’étaient pas dans son domaine. La leçon opérationnelle est que le sandboxing est la première ligne de défense, et que les tests de sécurité eux-mêmes peuvent devenir le vecteur de l’incident si l’environnement n’est pas isolé correctement. La leçon du cours sur les outils et leurs limites vaut double maintenant : choisir les outils minimaux et définir des limites précises n’est pas de la prudence supplémentaire, c’est la base.

Limites de ce que nous savons. Hugging Face déclare avoir reconstruit les actions à partir des logs de l’agent sur un code sandbox, mais admet que certaines parties sont inférées. Les logs complets ne sont pas publics. TechCrunch rapporte qu’OpenAI aurait trouvé des preuves d’agents supplémentaires hors contrôle, mais sans détails techniques.