OpenAI ha interrotto un’operazione criminale con base in Cambogia che usava ChatGPT per generare contenuti per truffe di investimento, romance scam, gioco d’azzardo e furto d’identità. Il report descrive l’uso del modello dentro una catena criminale reale: i truffatori lo impiegavano per produrre testi in più lingue, copioni per conversazioni di adescamento e contenuti per finti siti di brokeraggio.

Perché ti riguarda. La sicurezza AI operativa ha un costo concreto. OpenAI ha dovuto identificare pattern di abuso dentro milioni di chiamate, distinguere un utente goffo da un operatore di frode e chiudere account senza colpire falsi positivi. Se gestisci un prodotto con accesso AI, il problema è lo stesso su scala minore: capire dove l’uso legittimo finisce e l’abuso inizia, e avere un piano per quando succede.

È la faccia operativa della governance che OpenAI ha appena formalizzato per l’Europa: la policy conta quando ferma un’organizzazione criminale, non quando resta un documento.

Nel dettaglio

Le operazioni di truffa con base in Cambogia e nel Sud-Est asiatico sono un fenomeno criminale consolidato, noto come «pig butchering»: i truffatori costruiscono relazioni fiduciarie con le vittime su settimane o mesi, poi le portano a investire su piattaforme false da cui i soldi non tornano. La novità nel report di OpenAI è che ChatGPT entrava nella catena come strumento di produzione, non come interlocutore diretto della vittima.

I truffatori usavano il modello per tre cose concrete. Primo, generare copioni di conversazione in più lingue: italiano, inglese, cinese, tagalog, pronti da incollare nelle chat con le vittime. Secondo, produrre contenuti per finti siti di brokeraggio: descrizioni di prodotti finanziari, testimonianze inventate, articoli di blog che davano credibilità alle piattaforme fasulle. Terzo, scrivere messaggi di follow-up per riagganciare vittime che avevano smesso di rispondere.

Dal punto di vista tecnico, il rilevamento si basa su pattern di uso anomali. OpenAI non dice i dettagli precisi della detection (sarebbe un manuale per aggirarla), ma il quadro generale è quello che chiunque gestisca un’API conosce: picchi di volume fuori scala per un account singolo, contenuti generati in lingue che non c’entrano con il profilo dichiarato, ripetizione di strutture di prompt che indicano un workflow di adescamento. Il confine fra uso intenso e uso fraudolento è il punto difficile, e un falso positivo significa chiudere l’account di un cliente legittimo.

Cosa il report non dice. Non ci sono numeri sulle vittime, sull’ammontare delle perdite o sul numero di account coinvolti. Non sappiamo se i truffatori usavano l’API diretta, ChatGPT Plus, o chiavi rivendute nel mercato parallelo dei token di cui abbiamo raccontato a luglio. Non sappiamo quanto tempo ci è voluto per identificarli, né se l’interruzione di OpenAI ha davvero fermato l’operazione o se i truffatori si sono semplicemente spostati su un altro modello.

Il limite più interessante è questo: fermare un account su una piattaforma proprietaria è fattibile, fermare l’operazione criminale lo è meno. Se i truffatori hanno competenza e capitale, si spostano su modelli open-weight locali, dove nessun provider può chiuderli fuori. Il report dimostra che OpenAI può pulire la propria piattaforma, non che può eliminare il crimine. Per chi costruisce strumenti AI, la lezione è che la sicurezza operativa ha due facce: protegge le vittime potenziali e protegge te dalla responsabilità di essere il mezzo.