Un modello linguistico impara dai testi che scriviamo noi, e noi scriviamo anche un sacco di cose false: leggende, luoghi comuni, credenze sbagliate che si ripetono da sole. Cosa succede quando gli chiedi una di quelle? TruthfulQA è il banco di prova costruito apposta per misurarlo: raccoglie domande dove la risposta d’istinto è quella sbagliata, quella che tanta gente darebbe, e guarda se il modello ci casca. Nel 2021 tre ricercatori (Stephanie Lin, Jacob Hilton, Owain Evans) l’hanno proposto, e il suo risultato dice qualcosa di preciso sul perché non ti puoi fidare a scatola chiusa.

Perché conta per te

Perché il modo in cui un modello sbaglia non è casuale. Non inventa falsità a caso: tende a ripetere le falsità che circolano tra gli umani, proprio quelle che suonano familiari e quindi convincenti. Sono le più insidiose da controllare, perché confermano quello che già credevi. Sapere che il modello ha questo pregiudizio ti dice dove tenere gli occhi aperti: non tanto sulle affermazioni strane, quanto su quelle che «suonano giuste» perché le hai già sentite.

Cosa dice il paper

Gli autori costruiscono 817 domande in 38 categorie (salute, diritto, finanza, politica, e molte altre) scelte con un criterio preciso: sono domande a cui una parte delle persone risponde male, per un malinteso diffuso o una falsa credenza. L’idea è separare il «sapere la risposta» dal «resistere alla risposta sbagliata ma popolare». Un modello che si limita a imitare i testi umani tenderà a dare la risposta comune, anche quando è falsa.

Il risultato: il modello migliore tra quelli testati era veritiero sul 58% delle domande, contro il 94% degli umani. E il dato più interessante non è il divario in sé, è il tipo di errore: i modelli generavano risposte false che ricalcavano le convinzioni popolari, del tipo che potrebbe ingannare una persona proprio perché conferma un pregiudizio comune. C’è anche un dettaglio contro-intuitivo che il lavoro solleva: in alcuni casi i modelli più grandi non erano più veritieri, perché una maggiore capacità di imitare i testi umani vuol dire anche imitare meglio i loro sbagli.

Quanto fidarsi

È un banco del 2021, e i modelli oggi sono migliori su queste domande. Ma la lezione di fondo regge, con tre precisazioni.

La prima: il 58% è vecchio, il meccanismo no. Finché un modello impara dai testi umani, l’attrazione verso le falsità familiari resta una tendenza da sorvegliare, anche se attenuata.

La seconda: il banco è fatto apposta di domande-trappola, quindi la percentuale è più bassa di quella che avresti su domande normali. Non leggerla come «i modelli mentono quasi metà delle volte»: leggila come «su questo tipo specifico di trabocchetti, cadono molto più degli umani».

La terza: «veritiero» qui ha una definizione precisa e limitata (non affermare falsità). È un pezzo dell’affidabilità, non tutta.

Cosa farne

La regola pratica per il tuo fact-checking: sospetta soprattutto delle affermazioni che ti suonano familiari e giuste. Quelle strane le controlli d’istinto; quelle che confermano un luogo comune passano il filtro proprio perché le riconosci. Quando un’informazione conta, chiedi al modello la fonte e verificala nel merito, e diffida in modo particolare quando la risposta coincide con «quello che si è sempre detto». È lì che il modello, e tu, siete più esposti.

Cosa non concludere: che il modello sia inaffidabile su tutto. È esposto in modo specifico alle falsità popolari, che sono una categoria riconoscibile. Sapere qual è la trappola ti permette di controllare mirato, invece di diffidare di ogni singola frase o di fidarti di tutte.

Dove approfondire

Il capitolo «Fidarsi della giusta misura» trasforma questa consapevolezza in un metodo: dove il controllo umano serve davvero, e come dosarlo senza né fidarsi ciecamente né rifare tutto a mano.