Due studi del 19 luglio mostrano le condizioni che rendono pericoloso far leggere contenuti esterni a un agente. Il benchmark RadLE 2.0 del CRASH Lab di Ashoka University ha testato 16 modelli su 200 casi di radiologia: i modelli sbagliano con sicurezza totale e non sanno quando fermarsi. I radiologi umani hanno totalizzato 988,7 punti su 2.000; il miglior modello 758. Separatamente, Epoch AI ha dimostrato che i detector di testo AI falliscono quando il modello imita lo stile di un autore reale: fino al 48% dei passaggi generati in ambito scientifico passa inosservato.

Perché ti riguarda? L’agente che legge un PDF, una email o una pagina web non controlla cosa c’è dentro. Se quel contenuto nasconde istruzioni (la tecnica che chiamiamo prompt injection indiretto), l’agente le esegue. I due studi mostrano due condizioni che rendono questo attacco difficile da fermare. La prima: i modelli non sanno dire “non lo so” neanche quando hanno torto, quindi non si fermano davanti a un input anomalo. La seconda: il contenuto manipolato è statisticamente indistinguibile da quello legittimo, quindi nessun detector lo intercetta.

Se il tuo agente lavora su documenti che non hai scritto tu, devi assumere che parte di quei contenuti possa essere ostile. Il playbook su come difendersi dal prompt injection parte dai casi concreti.

Nel dettaglio

RadLE 2.0: i modelli non sanno di non sapere.

Il CRASH Lab di Ashoka University ha rilasciato la seconda versione di “Radiology’s Last Exam”, un benchmark che misura tre cose insieme: accuratezza diagnostica, livello di sicurezza del modello e capacità di ammettere quando non sa. Il test copre 200 casi su 16 modelli, confrontati con un panel di radiologi.

Il sistema di punteggio è il cuore del metodo. Rispondere giusto con alta sicurezza dà pieni punti. Rispondere sbagliato con alta sicurezza toglie punti. Dire “non lo so” dà zero ma non penalizza. Questo reward espone il problema centrale: i modelli addestrati solo sull’accuratezza imparano a indovinare, e in medicina una diagnosi sbagliata con sicurezza è più pericolosa di un’ammissione di incertezza.

I numeri parlano chiaro. I radiologi umani hanno totalizzato 988,7 punti su 2.000. Il miglior modello, Claude Fable 5 di Anthropic, si è fermato a 758. Gemini 3 Pro di Google ha avuto la massima accuratezza grezza ma ha perso punti per la sovraconfidenza. Meta Muse Spark 1.1 è stato il migliore nel capire quando passare il caso a un umano, ma perché rifiuta di rispondere più spesso. I modelli open-weight e quelli addestrati per uso medico sono i peggiori: tentano quasi ogni caso e sbagliano spesso, con sicurezza media o alta.

Il punto per chi costruisce agenti: la calibrazione (sapere quando non si sa) è un problema irrisolto, e peggiora quando il modello riceve input che non controlli.

Epoch AI: il testo manipolato è invisibile.

Epoch AI ha testato tre detector (Pangram, GPTZero, Originality.ai) su tre categorie di testo: umano, AI generato da prompt semplice, AI che imita lo stile di un autore reale. Il corpus include 495 passaggi umani di 99 autori, tutti scritti prima di novembre 2022 per escludere contaminazione.

Con prompt semplici, i detector sono quasi perfetti: tasso di falsi negativi sotto lo 0,7%. Ma quando il modello riceve cinque campioni di scrittura di un autore e gli viene chiesto di imitarne lo stile, il tasso di falsi negativi sale al 13% in media. Per la scrittura scientifica, il dato peggiora drasticamente: Pangram manca il 25% dei testi, GPTZero il 24%, Originality.ai il 29%. Nel caso peggiore, Pangram non rileva il 48% dei passaggi accademici generati da Gemini.

La conclusione di Epoch AI: un basso tasso di falsi allarmi sul testo umano non dice nulla su quanti testi AI sfuggano realmente. I tre detector usano metodi diversi (rete neurale, prevedibilità delle scelte lessicali, pattern statistici), ma mostrano lo stesso punto debole.

Cosa significa per chi usa agenti.

I due studi non parlano esplicitamente di prompt injection. Ne mostrano però le precondizioni. Quando un agente legge contenuti esterni, due cose vanno storte: il contenuto può contenere istruzioni nascoste che il modello esegue, e il modello non ha la calibrazione per riconoscere che qualcosa non torna. I detector non sono un rimedio affidabile, perché il testo manipolato passa attraverso.

Le difese pratiche passano per l’architettura: separare le istruzioni di sistema dai contenuti letti, limitare le azioni che l’agente può compiere in autonomia, verificare l’output umanamente quando il risultato non convince. Resta aperto il problema della calibrazione: nessun modello testato sa dire “non lo so” nel momento giusto, e questo vale sia per la radiologia che per la lettura di un’email. Finché la metacognizione degli LLM resta debole, la responsabilità di fermare l’agente resta sulla persona.