Un modello sbaglia un compito, tu gli dici «no, hai sbagliato qui», e al secondo tentativo va meglio. Reflexion prende questa scena e la rende un metodo: far scrivere all’agente, dopo un fallimento, una critica a parole del proprio tentativo, e tenerla come promemoria per la volta dopo. La domanda del paper è se questo migliori davvero i tentativi successivi. Nel 2023 Noah Shinn e colleghi hanno misurato che sì, e in modo netto.

Perché conta per te

È la base teorica di un gesto che fai già a mano: rimandare indietro un lavoro con una nota su cosa non andava. Reflexion dice che quel gesto funziona anche quando è l’agente a scriversi la nota da solo, e ti dà lo schema per farlo bene. Se usi l’AI in giri di correzione (bozza, critica, riscrittura), sapere perché e quando la self-critique aiuta ti evita due errori: fidarti di un agente che si auto-approva sempre, e insistere con tentativi ciechi che non imparano nulla dal precedente.

Cosa dice il paper

Reflexion aggiunge un pezzo a un agente che già ragiona e agisce: dopo ogni tentativo fallito, l’agente riceve un segnale (il compito non è riuscito) e invece di ributtarsi subito scrive una riflessione a parole su cosa è andato storto e cosa proverà diversamente. Quella riflessione finisce in una memoria e viene rimessa nel contesto al tentativo dopo, come un appunto del sé precedente. Non si toccano i pesi del modello: l’apprendimento è tutto nel testo, negli appunti che si accumulano. Gli autori lo chiamano rinforzo verbale.

Il risultato che ha fatto notizia è sul codice: su HumanEval, un banco di problemi di programmazione, Reflexion arriva al 91% di risoluzione al primo colpo (pass@1), sopra il GPT-4 dell’epoca fermo intorno all’80%. Il metodo migliora anche compiti di ragionamento e di decisione in ambienti simulati. Il filo comune è che i guadagni più grossi arrivano dove c’è un segnale chiaro di fallimento su cui riflettere: se il compito ti dice in modo netto che sei fuori strada, la riflessione ha materia; se il segnale è vago, aiuta meno.

Quanto fidarsi

Il metodo è elegante, e i suoi limiti sono precisi. Tre cose da tenere a mente.

La prima, ed è la più importante per l’uso quotidiano: Reflexion ha bisogno di un segnale di fallimento onesto. Nel paper quel segnale viene dall’ambiente (il test non passa, il compito non è risolto). Quando invece è il modello stesso a giudicare se ha fallito, torna il problema del revisore troppo gentile: un agente che si valuta da solo tende a darsi ragione. La self-critique vale quanto è severo il giudice, e il giudice ideale è esterno e verificabile, non l’autore stesso.

La seconda: le riflessioni si accumulano nel contesto, e il contesto ha un limite. Su compiti molto lunghi la memoria delle riflessioni cresce e va gestita, altrimenti riempie lo spazio o si perde per strada.

La terza: i numeri sono su banchi con una risposta verificabile (un test che passa o no). Su compiti aperti, dove «giusto» è una questione di giudizio e non c’è un test automatico, il beneficio è più difficile da misurare e da garantire.

Cosa farne

La regola pratica: un giro di correzione funziona meglio se, tra un tentativo e l’altro, l’agente scrive esplicitamente cosa cambierà e perché, invece di riprovare da capo. E quel giudizio va ancorato a qualcosa di verificabile: un test, un criterio scritto prima, un revisore diverso da chi ha prodotto. Un tentativo che non impara nulla dal precedente è solo rumore ripetuto.

Cosa non concludere: che far riflettere un agente lo renda affidabile da solo. Senza un segnale di fallimento vero, la riflessione diventa una recita di autocritica che non cambia il risultato. Il valore non è nella riflessione in sé, è nell’averla ancorata a un giudizio che non si può addolcire.

Dove approfondire

Il playbook «Il revisore avversario» è la versione a mano di questa idea: un secondo passaggio che cerca i difetti prima della consegna, con la soglia minima che impedisce al giudice di essere troppo gentile, cioè esattamente il tranello che questo paper mette in guardia.