Se hai mai aggiunto «mostrami i passaggi» a una richiesta e hai ottenuto una risposta migliore, hai usato senza saperlo il risultato di questo paper. La domanda a cui risponde è semplice: chiedere al modello di scrivere il ragionamento prima della risposta lo rende più bravo? Nel 2022 un gruppo di Google (Jason Wei e colleghi) ha misurato che sì, ma solo a partire da modelli abbastanza grandi. Il nome che hanno dato alla tecnica, chain-of-thought, è entrato nel vocabolario di chiunque scriva prompt.

Perché conta per te

È la spiegazione di un gesto che probabilmente fai già. Quando un assistente ti dà un totale sbagliato, una classificazione frettolosa o una stima campata in aria, la difesa più semplice è imporgli di lavorare a vista: elenca i passaggi, mostra il calcolo, poi concludi. Questo paper dice perché quel gesto aiuta, e soprattutto quando non serve a niente. Sapere il confine ti evita di sprecare parole con modelli piccoli, dove il trucco non morde, e di fidarti troppo dei passaggi che leggi, che sembrano una dimostrazione ma non sempre lo sono.

Cosa dice il paper

L’idea è minima. Nel prompt, invece di mostrare al modello solo esempi di domanda e risposta, gli mostri esempi in cui fra la domanda e la risposta c’è il ragionamento scritto per esteso: «Roger ha 5 palline, ne compra 2 confezioni da 3, quindi 5 più 6 fa 11». Bastano pochi esempi di questo tipo (nel paper ne usano otto) perché il modello imiti lo stile e, davanti a una domanda nuova, scriva anche lui i passaggi prima di rispondere.

Il risultato che ha fatto rumore è su GSM8K, una raccolta di problemi di matematica da scuola elementare, di quelli in più passaggi dove sbagliare un pezzo rovina tutto. Con la sola aggiunta degli esempi ragionati, il modello più grande dell’epoca (PaLM, 540 miliardi di parametri) arriva al primo posto assoluto su quel banco di prova, battendo perfino un GPT-3 addestrato apposta e affiancato da un verificatore esterno. Sui modelli più grandi, sul problema più difficile del lotto, il punteggio più che raddoppia rispetto al prompting normale. Il guadagno si vede anche su ragionamento aritmetico, di senso comune e simbolico, e cresce quanto più il problema ha passaggi: sulle domande a un solo passo la differenza è piccola, su quelle a più passaggi è grande.

Il punto più importante del paper non è il numero, è la condizione. Il chain-of-thought è emergente con la scala: sotto una certa dimensione di modello non aiuta, e a volte peggiora le cose, perché il modello piccolo scrive un ragionamento sconnesso e poi ci si affida. Sopra la soglia (nel paper, attorno ai cento miliardi di parametri per i modelli di allora) il beneficio compare e cresce. Non è una ricetta che vale sempre: è una capacità che si accende quando il modello è abbastanza grande.

Quanto fidarsi

Il paper è solido su ciò che misura, e onesto sui confini. Tre cose vanno tenute a mente prima di generalizzare.

La prima: i numeri sono del 2022, su modelli di quella generazione. I modelli di oggi spesso ragionano a passaggi da soli, senza che tu glielo chieda, e alcuni hanno una modalità di ragionamento dedicata. Il guadagno marginale del «ragiona passo passo» su un modello moderno può quindi essere molto più piccolo di quello riportato qui: la tecnica resta valida come principio, ma non aspettarti gli stessi salti.

La seconda: il ragionamento scritto non è una garanzia. Il modello produce una catena di passaggi plausibile, e capita che arrivi alla risposta giusta con passaggi sbagliati, o alla risposta sbagliata con passaggi che sembrano corretti. Leggere i passaggi ti aiuta a controllare, ma non sono una dimostrazione: sono un testo che il modello ha generato come tutto il resto. Trattali come una traccia da verificare, non come una prova.

La terza è una precisazione di paternità utile per non sbagliare tecnica. Questo paper introduce il chain-of-thought con gli esempi: gli mostri tu alcuni ragionamenti fatti bene, e lui imita. La formuletta che tutti conoscono, «pensa passo dopo passo» aggiunta a una domanda senza esempi, viene da un lavoro successivo dello stesso filone (Kojima e colleghi, sempre 2022): funziona, ma è una cosa un po’ diversa e in genere meno potente degli esempi ragionati. Se un compito conta davvero, mostrare due o tre passaggi fatti bene batte quasi sempre il solo invito a pensarci su.

Cosa farne

La regola pratica che esce dal paper è corta. Quando il compito ha più passaggi (un calcolo, una stima, una classificazione con criteri, una deduzione da fatti sparsi) chiedi al modello di scrivere i passaggi prima della conclusione, e se puoi mostragli un esempio del ragionamento che ti aspetti. Otterrai risposte migliori e, cosa altrettanto utile, controllabili: se il totale è sbagliato, vedi a quale passo è saltato.

Cosa non concludere. Che il modello «ragioni» come una persona: sta continuando un testo in uno stile che gli hai mostrato, e il fatto che il testo assomigli a un ragionamento non vuol dire che dentro succeda un ragionamento. E non concludere che più passaggi siano sempre meglio: su una domanda banale, costringere il modello a srotolare un ragionamento aggiunge parole, costo e occasioni di sbagliare, senza migliorare la risposta. Il chain-of-thought è una leva per i problemi difficili, non un condimento da mettere su tutto.

Dove approfondire

Il capitolo «Dare istruzioni che funzionano» del percorso pro trasforma questo risultato in un modo di scrivere le richieste, e «Fidarsi della giusta misura» affronta il tranello dei passaggi che convincono ma non dimostrano.