Se chiedi la stessa cosa a un modello tre volte, ottieni tre ragionamenti un po’ diversi. Self-Consistency parte da un’osservazione semplice su questo fatto: se un problema ha una risposta giusta, strade di ragionamento diverse ma corrette tendono a convergere su di essa, mentre gli errori si sparpagliano. Quindi, invece di fidarti di una singola catena, ne generi diverse e prendi la risposta che compare più spesso. Nel 2022 un gruppo di Google (Xuezhi Wang, Jason Wei e colleghi) ha misurato quanto questa idea migliori il ragionamento.

Perché conta per te

È la nonna teorica di un trucco che forse usi già: quando un numero conta, chiedilo più volte e guarda se le risposte coincidono. Self-Consistency dice che questo non è solo prudenza, è un modo misurato per alzare la qualità, e che il disaccordo tra i tentativi è un segnale: se tre giri danno tre numeri diversi, non hai una risposta, hai un allarme.

Cosa dice il paper

Il chain-of-thought normale prende la prima risposta che il modello produce. Self-Consistency cambia solo la fine: fa generare al modello molti ragionamenti indipendenti sullo stesso problema (introducendo un po’ di varietà), guarda a quale risposta finale arriva ciascuno, e sceglie quella di maggioranza. L’intuizione è che ci sono tanti modi di ragionare bene fino alla risposta corretta, e pochi modi di sbagliare che portino tutti allo stesso errore: la risposta giusta raccoglie più voti.

I guadagni sono consistenti su una batteria di problemi di ragionamento. Sul banco di matematica GSM8K la risoluzione sale di quasi 18 punti percentuali (+17,9%); su altri banchi aritmetici e di senso comune i miglioramenti vanno da qualche punto a oltre dieci (SVAMP +11,0%, AQuA +12,2%, StrategyQA +6,4%). Il metodo non richiede addestramento né strumenti: è un modo di usare il modello che hai già.

Quanto fidarsi

Il metodo è tanto semplice quanto limitato, ed è importante sapere dove non si applica. Tre punti.

Il primo: funziona solo quando c’è una risposta ben definita su cui contare i voti. Un totale, una risposta a scelta multipla, un sì o no: lì la maggioranza ha senso. Su un testo aperto, una mail, una sintesi, non esiste «la risposta più frequente» da votare, e il metodo non serve.

Il secondo: costa quanti sono i tentativi. Generare dieci ragionamenti costa dieci volte uno. Vale per le domande dove sbagliare pesa, non per ogni richiesta.

Il terzo, il più insidioso: la maggioranza può essere sicura e sbagliata. Se il modello ha un errore sistematico (una convinzione falsa che ripete a ogni giro), tutte le strade convergono sulla stessa risposta sbagliata, e la maggioranza la conferma con autorevolezza. Self-Consistency alza la probabilità di azzeccare, non la garantisce: l’accordo tra i tentativi è un buon segnale, non una prova.

Cosa farne

La regola pratica la applichi senza infrastruttura: quando un numero o una risposta secca conta davvero, chiedila due o tre volte in conversazioni separate e confronta. Se coincidono, ti fidi di più. Se divergono, hai scoperto che la domanda è fragile per il modello, e quello è il momento di controllare a mano, non di scegliere a caso tra le versioni.

Cosa non concludere: che «l’ha detto tre volte uguale» significhi «è vero». Riduce il rischio di un errore casuale, non protegge da un errore sistematico. E non usarlo dove non c’è una risposta da votare: sui testi aperti serve un’altra cosa, un revisore che giudichi, non una maggioranza da contare.

Dove approfondire

L’idea di ottenere i passaggi del ragionamento, su cui questo metodo poggia, è quella del chain-of-thought. Self-Consistency è il passo dopo: non fidarsi di una sola di quelle strade, ma di quello su cui molte concordano, tenendo il disaccordo come campanello d’allarme.