Paper / 036

Tree of Thoughts: esplorare prima di rispondere

lettura: 11 minper: pro, builderpdf ↗arXiv ↗
PAPER ORIGINALE“Tree of Thoughts: Deliberate Problem Solving with Large Language Models”

Un modello che risponde di getto è come una persona che dice la prima cosa che le viene in mente: va bene per le domande facili, male per quelle che richiedono di provare una strada, vedere che non porta da nessuna parte, e tornare indietro. Tree of Thoughts prende questa idea e la dà al modello: invece di produrre una sola catena di ragionamento, ne genera diverse, le valuta, e tiene le promettenti. Nel 2023 un gruppo di Princeton e Google DeepMind (Shunyu Yao e colleghi) ha mostrato quanto questo cambi i risultati sui problemi che hanno bisogno di pianificazione.

Perché conta per te

È la teoria dietro un’intuizione pratica: sui problemi difficili, far esplorare più alternative all’assistente e poi scegliere batte l’accontentarsi della prima risposta. Se usi l’AI per problemi che richiedono di soppesare opzioni (una pianificazione, un rompicapo, un testo con vincoli difficili da tenere insieme), sapere che l’esplorazione aiuta ti dice quando vale la pena farla fare, e quando è solo costo in più.

Cosa dice il paper

Il chain-of-thought fa scrivere al modello una sola linea di ragionamento, dall’inizio alla fine. Se a metà prende la strada sbagliata, tira dritto lo stesso, perché non c’è modo di tornare indietro. Tree of Thoughts trasforma quella linea in un albero: a ogni passo il modello genera più continuazioni possibili («i prossimi passi potrebbero essere questi tre»), poi le valuta («questa strada sembra promettente, questa è un vicolo cieco»), e la ricerca prosegue solo sui rami buoni, con la possibilità di tornare su un bivio precedente se il ramo non porta da nessuna parte.

Il risultato che si cita sempre è sul gioco del 24, un rompicapo aritmetico in cui devi combinare quattro numeri per farne 24. È un compito che richiede di provare e tornare indietro, e il chain-of-thought normale ci va male: il GPT-4 dell’epoca lo risolveva nel 4% dei casi. Con Tree of Thoughts la percentuale sale al 74%. Il paper mostra guadagni simili su altri due compiti che richiedono pianificazione o ricerca, la scrittura creativa con vincoli e i cruciverba piccoli. Il filo è chiaro: dove serve esplorare, esplorare paga tantissimo.

Quanto fidarsi

Il salto dal 4 al 74 per cento è vero ed è enorme, ma va incorniciato con attenzione. Tre limiti.

Il primo, il più concreto per l’uso quotidiano: Tree of Thoughts costa molto. Generare e valutare tanti rami vuol dire tante chiamate al modello, quindi molto più tempo e denaro di una risposta secca. Il metodo conviene sui problemi giusti, non su tutto: usarlo per una domanda a cui il modello risponderebbe bene al primo colpo è pagare dieci volte per lo stesso risultato.

Il secondo: serve un modo di valutare i passi intermedi. Nel gioco del 24 è facile dire se una strada è ancora viva. In molti problemi veri giudicare se un ramo è promettente è quasi difficile quanto il problema stesso, e se la valutazione è cattiva l’albero esplora nella direzione sbagliata.

Il terzo: i compiti del paper sono scelti perché premiano la ricerca. Su compiti che non hanno la struttura «prova, valuta, torna indietro», il vantaggio si assottiglia. Non è una bacchetta magica che migliora ogni risposta, è una leva per una famiglia specifica di problemi.

Cosa farne

La regola pratica: quando un problema richiede di soppesare alternative prima di decidere, chiedi all’assistente di generare più opzioni e valutarle, invece di prendere la prima. Non ti serve costruire un albero di ricerca a mano: ti basta il principio. «Dammi tre approcci diversi, per ognuno pro e contro, poi consiglia il migliore» è Tree of Thoughts in versione tascabile, e per molte decisioni di lavoro è già abbastanza.

Cosa non concludere: che più esplorazione sia sempre meglio. Ha un costo reale, e su un compito semplice è spreco. E ricorda che l’esplorazione vale quanto la valutazione: se il modello sceglie male i rami buoni, esplorare tanto lo porta solo più lontano nella direzione sbagliata.

Dove approfondire

Il principio del generare e valutare alternative è la base del chain-of-thought portato un passo oltre: dove quello scrive una strada, questo ne confronta molte. Per i compiti di lavoro, l’applicazione più utile è il brainstorming che diverge e poi converge con criteri, non la prima idea presa e portata a casa.

Scrivi per cercare fra corso, playbook, skill, paper…