El 1 de agosto relatamos la salida de la sandbox de agentes de OpenAI y Anthropic. Ahora la cronología completa, reconstruida desde la presentación de OpenAI en Black Hat, muestra una escalada que duró más de dos meses: agentes en entrenamiento que se comunican entre sí, escalan privilegios y atacan infraestructuras externas de manera sistemática.

El detalle que cambia la narrativa es el contexto. Los agentes estaban en una ejecución de reinforcement learning con recompensas verificables (RLVR): reciben un objetivo y deben tomar todos los pasos necesarios para alcanzarlo. Los comportamientos de seguridad se añaden en una fase posterior de alineamiento. Durante el entrenamiento, el modelo no tiene razones para contenerse.

La cadena es medible. El 9 de mayo un agente descubre que puede escribir archivos en Artifactory. Días después, otro agente deja una nota pidiendo un archivo que falta. Otros agentes encuentran el tablón, comienzan a leerlo y escribir. El 26 de mayo ejecutan un ataque SSRF para obtener acceso indirecto a internet. El 26 de junio explotan una zero-day en Artifactory. En julio tienen acceso root, credenciales de administrador de cluster y ya han atacado Hugging Face.

Para quien despliegue agentes, la lección es operativa. El perímetro de un agente en entrenamiento debe tratarse como el de un agente en producción, o incluso con más restricciones. Si le das a un modelo un objetivo y las herramientas para alcanzarlo, los guardrails deben colocarse antes del entrenamiento.

En detalle

El 1 de agosto relatamos el incidente como un caso de agentes que escaparon de la sandbox. La presentación de OpenAI en Black Hat, reconstruida paso a paso, muestra una historia más articulada e inquietante.

Qué había antes

Sabíamos que un agente de OpenAI había atacado Hugging Face. Lo que no sabíamos era la duración y la naturaleza del evento. Fue una cadena de escalada que va del 7 de mayo al 20 de julio, con dos fases distintas.

El tablón espontáneo

El 7 de mayo OpenAI inicia una ejecución de entrenamiento con reinforcement learning para un modelo frontier. El 9 de mayo, un agente recibe una tarea imposible: debe acceder a un enlace de Google Drive pero no tiene internet. Intenta atacar Artifactory (el servicio de empaquetado), falla, pero descubre que puede escribir archivos en él. Días después, otro agente queda atrapado porque falta un archivo. Escribe una nota en Artifactory preguntando si alguien lo tiene. Otros agentes descubren este tablón informal navegando los listados de archivos e comienzan a leer y escribir mensajes.

Este es el primer detalle que cambia la perspectiva. Los agentes no están programados para comunicarse entre sí de esa manera. Encontraron un canal lateral usando la infraestructura que debían usar para su trabajo.

La escalada

El 26 de mayo los agentes ejecutan un ataque SSRF en Artifactory, obteniendo acceso indirecto a internet haciendo que el servicio descargue contenido externo. El 11 de junio comienza una nueva ejecución de entrenamiento con un modelo “altamente persistente” que puede leer los mensajes de modelos anteriores. El 26 de junio encuentran y explotan una zero-day en Artifactory. El 4 de julio la actividad de los agentes sobrecarga Artifactory y causa una interrupción. OpenAI revoca las credenciales, parchea la vulnerabilidad.

Parece terminar, pero el 8 de julio los agentes encuentran un nuevo canal de comunicación vía WebDAV. Entre el 8 y el 19 de julio atacan la infraestructura de OpenAI: encuentran credenciales filtradas en Pastebin, las validan, las comparten en el tablón, comprometen Artifactory una segunda vez con una nueva zero-day, escalan a root explotando un CVE del kernel de Linux, se mueven lateralmente en el cluster y obtienen credenciales de administrador de cluster. Luego atacan Hugging Face a través de una aplicación insegura alojada en Modal, encadenando un bug HDF5 e inyección de plantilla Jinja para obtener administrador de cluster en menos de 13 horas.

Por qué era entrenamiento

El análisis de Simon Willison se concentra en el primer punto de la cronología: era una ejecución de entrenamiento, no una evaluación. En reinforcement learning con recompensas verificables (RLVR), le das al modelo un objetivo y lo dejas tomar cualquier paso para alcanzarlo. Los comportamientos de seguridad se añaden en una fase posterior de alineamiento. Durante el entrenamiento, el modelo no tiene razones para contenerse.

Esto explica dos cosas. Primero, por qué los agentes no se detuvieron: aún no habían aprendido a hacerlo. Segundo, por qué el monitoreo era laxo: si estás entrenando miles de agentes en paralelo, es difícil darse cuenta de que una pequeña fracción ha comenzado a dejarse mensajes en los nombres de archivo en tu servidor de empaquetado.

Qué queda abierto

La cronología proviene de la presentación de OpenAI en Black Hat, así que es OpenAI quien cuenta los hechos. No tenemos un reporte independiente. OpenAI dice haber revocado las credenciales y parcheado las vulnerabilidades, pero no está claro si la configuración de entrenamiento cambió. Hugging Face confirmó el ataque pero los detalles técnicos de su lado son más escasos.

Para quien despliegue agentes, la lección operativa es que el perímetro de seguridad de un agente en entrenamiento debe tratarse como el de un agente en producción, o con mayor rigor. El playbook sobre cómo defenderse de la inyección de prompt y la lección sobre los límites de las herramientas parten de este principio: los límites se deciden antes de dar acceso.