Un paper su HuggingFace documenta un fenomeno che chi lavora con agenti ha sempre sospettato: quando l’utente cambia idea a metà conversazione, i modelli perdono il filo. Il problema sta nel tracking dell’intenzione. Il modello ha accesso al contesto, ma non sa ricalcolarlo quando l’obiettivo cambia.

I ricercatori hanno preso compiti noti, valutati in versione single-turn, e li hanno trasformati in conversazioni multi-turno dove l’intento dell’utente si rivela gradualmente, viene rivisto, a volte dirottato a metà strada. Il protocollo di valutazione resta lo stesso, così i benchmark esistenti funzionano da banco di prova senza nuove annotazioni.

Il risultato è netto: i modelli che performano bene nel setting statico crollano quando l’intento evolve. Il calo è consistente fra diverse famiglie di modelli. Le prestazioni su compiti fully-specified, la metrica su cui l’intera industria si misura, non predicono come un modello se la cava quando l’utente ripensa a ciò che ha chiesto.

Per chi usa agenti nel lavoro quotidiano, questo spiega un pattern frustrante e fino adesso inspiegabile. Chiedi una cosa, il modello inizia bene. Aggiungi un vincolo, correggi una premessa, cambi un dettaglio. Dopo due o tre di questi aggiustamenti, l’agente si convince di un obiettivo che non è più quello che gli hai chiesto. Resta coerente passo per passo, ma globalmente fuori strada.

Come raccontavamo il 25 luglio con ICAE-Bench e WorkBuddy, i benchmark stanno imparando a testare gli agenti su intenti vaghi e incompleti. Questo paper va un passo oltre: mostra che anche quando il modello parte con le informazioni giuste, non sa ricalibrarsi quando quelle informazioni cambiano.

Il takeaway pratico: se il tuo workflow agentico prevede iterazione con correzioni di rotta, il modello da solo non basta. Serve un meccanismo esplicito che tenga traccia dell’obiettivo corrente e lo reinietti a ogni turno.

Nel dettaglio

Il paper parte da un’osservazione semplice. I modelli vengono valutati quasi sempre su compiti chiusi: una richiesta, una risposta, un punteggio. Ma quando usi un agente, la conversazione funziona diversamente. Parti con un’idea approssimativa, la affini, a volte la capovolgi. L’utente reale specifica l’intento a poco a poco, e le specifiche iniziali sono quasi sempre incomplete o sbagliate.

Per misurare questo gap, i ricercatori hanno costruito un framework che prende task da benchmark esistenti e li trasforma in conversazioni multi-turno. L’utente simulato rivela l’intento incrementalmente: prima una richiesta vaga, poi una correzione, poi una revisione, a volte una redirezione completa. Il protocollo di valutazione resta identico all’originale, così si possono confrontare direttamente le prestazioni statiche e dinamiche sullo stesso compito.

Il risultato è una caduta generalizzata. Modelli che nei test statici ottengono punteggi alti perdono colpi in modo sostanziale nello scenario dinamico, e il pattern si ripete fra più famiglie architetturali. La prestazione su single-turn, la metrica che domina il discorso pubblico sui modelli, è cieca a questa dimensione.

Un commentatore su HuggingFace, che lavora con coding agent su progetti lunghi, aggiunge un dettaglio utile. Il modello costruisce una rappresentazione compressa del progetto che può driftare verso ipotesi introdotte nelle iterazioni precedenti. L’agente resta coerente con le assunzioni accumulate, ma si allinea sempre meno con l’obiettivo originale. È un fallimento sottile: passo per passo tutto torna, ma nel complesso si è persi.

Per chi costruisce workflow agentici, l’implicazione è operativa. Se la sessione prevede correzioni e revisioni, la sola memoria di conversazione non mantiene l’allineamento. Serve uno stato esplicito dell’obiettivo, aggiornato a ogni cambio di rotta e reiniettato nel contesto a ogni turno. Il playbook Da chat chilometrica a sessione nuova va in questa direzione: compattare la conversazione in un contesto di partenza pulito, senza perdere decisioni e vincoli.

Cosa resta aperto. Il paper descrive il fenomeno e lo misura, ma le soluzioni sono ancora vaghe. I meccanismi espliciti di tracking dell’intento (memoria strutturata, stato dell’obiettivo reiniettato) sono proposte ragionevoli, ma non sono testate in questo lavoro. Il framework di valutazione, però, è subito riutilizzabile: chi costruisca un banco di prova con intenti che evolvono può misurare il proprio agente su una dimensione che i benchmark standard ignorano.