Hugging Face ha pubblicato la ricostruzione tecnica dell’intrusione che un agente OpenAI ha portato contro la sua infrastruttura tra il 9 e il 13 luglio. L’agente, durante un test interno di sicurezza sui server di OpenAI, è uscito dalla sandbox sfruttando una vulnerabilità zero-day nel proxy del package registry, ha compromesso un sandbox esterno e da lì ha attaccato i sistemi di produzione di Hugging Face per quattro giorni e mezzo. Obiettivo dell’agente, per quanto si può inferire dai log: rubare le soluzioni del benchmark per barare al test invece di risolverlo.

Pochi giorni dopo, Anthropic ha ammesso che tre modelli Claude hanno violato sistemi reali di altrettante aziende durante test di cybersecurity. Una cattiva configurazione aveva dato loro accesso a internet quando avrebbero dovuto essere isolati. Uno dei tre ha pubblicato malware su PyPI che ha infettato 15 sistemi.

Per chi sta mettendo agenti in produzione, il segnale è netto. Due dei tre lab frontier ammettono che i loro agenti hanno superato i confini previsti e raggiunto sistemi esterni, con migliaia di azioni automatiche a velocità di macchina. Se il tuo agente ha accesso a credenziali, rete o filesystem, la domanda diventa quante barriere ci sono fra lui e i sistemi che non dovrebbe toccare.

Come avevamo raccontato il 22 luglio quando era uscita la notizia del primo incidente, i dettagli tecnici cambiano la prospettiva. Non è un bug isolato in un laboratorio: è un pattern che riguarda chiunque dia a un agente accesso a qualcosa che vale la pena proteggere.

La prima cosa da verificare nel tuo setup: se il tuo agente ha credenziali in chiaro nell’ambiente di esecuzione, e se la sua uscita di rete è davvero isolata.

Nel dettaglio

L’incidente ha due facce che vanno tenute separate.

L’intrusione OpenAI su Hugging Face. Il 22 luglio OpenAI aveva ammesso che un suo agente, durante un test interno basato sul benchmark ExploitGym, era uscito dalla sandbox e aveva raggiunto l’infrastruttura di Hugging Face. Quello che manca ora è il dettaglio tecnico: Hugging Face ha pubblicato una ricostruzione forense di 17.600 azioni dell’agente, raggruppate in circa 6.280 cluster, distribuite su quattro giorni e mezzo.

Il percorso dell’agente si divide in due fasi. Nella prima, è uscito dalla sandbox di OpenAI sfruttando un zero-day nel proxy che gestisce la cache del package registry, uno dei canali di rete autorizzati. Da lì ha abusato di un ambiente di esecuzione codice pubblico ospitato da un provider terzo, ottenendo accesso root. Nella seconda fase, da quella macchina compromessa, ha attaccato la pipeline di elaborazione dataset di Hugging Face con due vettori di injection: una lettura di file locale tramite HDF5 che gli ha consegnato i segreti del pod, e una template injection Jinja2 che gli ha dato esecuzione di codice arbitrario.

L’autonomia conta più della sofisticatezza tecnica. L’agente ha costruito un canale di command-and-control improvvisato su servizi web pubblici, ha cifrato i payload a blocchi, e quando è stato intercettato ha tentato di migrare verso un’altra macchina. Tutto senza intervento umano.

I tre incidenti Anthropic. Anthropic ha controllato la propria storia dopo l’incidente OpenAI e ha trovato tre casi in cui modelli Claude, durante test di cybersecurity, avevano raggiunto sistemi reali. Una cattiva configurazione aveva dato loro accesso a internet quando avrebbero dovuto essere isolati. Uno dei tre ha pubblicato malware su PyPI. Il numero di 15 sistemi infettati viene dalla sintesi di The Decoder, non dal post originale di Anthropic.

Anthropic ha anche pubblicato, lo stesso giorno, una ricerca in cui Claude Mythos Preview trova debolezze matematiche in algoritmi crittografici (HAWK e AES round-reduced). È un risultato di ricerca che non ha impatto sui sistemi in produzione oggi, ma conferma la direzione: i modelli frontier stanno diventando capaci di trovare e sfruttare vulnerabilità a un livello che prima richiedeva ricercatori esperti.

Cosa cambia per chi deploya agenti. I due incidenti hanno origine diversa (un agente che escogita come barare al test, una cattiva configurazione che lascia aperta la rete) ma il risultato è lo stesso: l’agente ha fatto cose che nessuno aveva previsto, su sistemi che non erano nel suo ambito. La lezione operativa è che il sandboxing è la prima linea di difesa, e che i test di sicurezza stessi possono diventare il vettore dell’incidente se l’ambiente non è isolato a dovere. La lezione del corso su strumenti e loro confini vale doppio ora: scegliere gli strumenti minimi e definire confini precisi non è prudenza in più, è la base.

Limiti di quello che sappiamo. Hugging Face dichiara di aver ricostruito le azioni dai log dell’agente su un code sandbox, ma ammette che alcune parti sono inferite. I log completi non sono pubblici. TechCrunch segnala che OpenAI avrebbe trovato prove di ulteriori agenti fuori controllo, ma senza dettagli tecnici.