Abel Jansma pubblica un argomento formale che dimostra un limite teorico alla detection della menzogna negli LLM. Se una sonda cerca di classificare le risposte di un modello come vere o false, basta darle la frase «la sonda dice che questa frase è falsa» per creare un paradosso insanabile. È lo stesso argomento di Tarski: nessun linguaggio sufficientemente espressivo può contenere il proprio predicato di verità. Jansma lo mostra in pratica su Qwen3.5-4B, dove la sonda perde ogni senso sulle frasi autoreferenziali paradossali.

Perché ti riguarda. Il risultato arriva mentre il panorama della sicurezza AI è teso in due direzioni. Opus 5 ha resistito a zero attacchi di prompt injection su 129 scenari, il miglior risultato fra i modelli frontier. Ma i guardrail di quegli stessi modelli bloccano i ricercatori di sicurezza che cercano le vulnerabilità prima dei criminali. L’attacco Tarski aggiunge un terzo dato strutturale: la detection perfetta della menzogna è teoricamente impossibile. La difesa resta un lavoro di strati software e di permessi, non di un oracolo incorporato nel modello. E la tensione fra modelli chiusi con guardrail rigidi e modelli open dove i ricercatori possono lavorare si stringe ancora.

Nel dettaglio

Il contesto. Negli ultimi mesi, i ricercatori di AI safety hanno costruito «truth probe»: classificatori che leggono lo spazio di embedding di un modello e dicono se una risposta è vera o falsa. L’ipotesi di fondo, chiamata Linear Representation Hypothesis, è che concetti come genere, emozioni o capitali corrispondano a direzioni nello spazio vettoriale degli embedding. Se «verità» fosse una direzione, una sonda lineare potrebbe rilevarla. Funziona sorprendentemente bene: Jansma costruisce una sonda su Qwen3.5-4B che raggiunge il 94% di accuratezza su frasi di valutazione, con un AUC di 0,98.

L’attacco. Il problema è l’auto-referenza. Se il linguaggio del modello è abbastanza espressivo da descrivere la sonda e il suo output (e l’inglese lo è), si può costruire una frase che dice «la sonda classifica questa frase come falsa». Se la frase è vera, la sonda dovrebbe dire VERO, ma allora la frase è falsa. Se la frase è falsa, la sonda dice VERO, ma allora la frase è vera. È il paradosso del mentitore formalizzato da Tarski: nessun linguaggio sufficientemente espressivo può contenere il proprio predicato di verità totale. Jansma lo verifica su Qwen3.5-4B: sui 120 esempi di training la sonda funziona, sulle frasi diagonali produce punteggi senza senso.

Cosa cambia. Le truth probe sono uno degli strumenti che i ricercatori di sicurezza vorrebbero usare per capire se un modello sta mentendo o nascondendo qualcosa, specialmente quando i modelli diventano più capaci e potenzialmente ingannevoli. L’attacco Tarski dimostra che nessuna sonda, per quanto ben addestrata, può essere un oracolo perfetto. Rimane uno strumento probabilistico, utile ma non definitivo.

I limiti della dimostrazione. L’esperimento di Jansma è un toy example: 120 frasi di training, 36 di valutazione, un modello piccolo. L’argomento formale, però, non dipende dalla scala: è un teorema che vale per qualsiasi modello il cui linguaggio di input sia sufficientemente espressivo. La domanda aperta è quanto incidano in pratica questi casi diagonali. Nell’uso quotidiano di un assistente, le frasi autoreferenziali paradossali sono rare. Il rischio cresce quando l’input non è controllato, come nella prompt injection indiretta, dove documenti esterni contengono istruzioni nascoste.

L’angolo pratico. Per chi schiera agenti in produzione, il messaggio è duplice. Primo: nessuno strumento singolo, nemmeno una sonda di verità, sostituisce la difesa a strati (isolamento, permessi, validazione dell’output). Secondo: la ricerca di sicurezza ha bisogno di accedere ai modelli per studiarli, e i guardrail che bloccano i ricercatori onesti rendono i modelli meno trasparenti, non più sicuri.