Un paper del team Qwen (CASIA) costruisce un ambiente controllato per studiare una domanda rimasta aperta: come fa un foundation model a imparare la pianificazione multi-turno su orizzonti lunghi. La risposta passa per tre fasi, dall’acquisizione durante il pre-training all’integrazione tramite multi-teacher on-policy distillation.

I risultati chiave riguardano chi addestra agenti. Durante il pre-training, costruire un modello del mondo esplicito tramite chain-of-thought aiuta la generalizzazione, mentre le abilità atomiche da sole non bastano a comporre piani complessi. Le traiettorie subottimali danneggiano molto: gli errori si amplificano a ogni turno. Nel post-training, l’on-policy distillation (OPD) ha una regione efficace più ampia del GRPO quando i dati sono scarsi e l’orizzonte si allunga, perché dà direzioni di aggiornamento più consistenti. La multi-teacher OPD (MOPD) integra capacità da più ambienti convergendo verso pattern condivisi, ma se i pattern sono in conflitto l’interferenza è severa.

Per chi fa self-play su agenti, il messaggio operativo è diretto. La qualità delle traiettorie conta più della quantità: un agente che impara dai suoi giri su orizzonti lunghi ha bisogno di percorsi corretti, perché un errore precoce non si dissolve, si moltiplica. E quando distilli da più insegnanti, la compatibilità dei loro stili di pianificazione decide se le competenze si sommano o si annullano.

È lo stesso filo dell’Experience Distillation di cui parlavamo il 26 luglio: l’agente impara dai suoi giri, non solo da dimostrazioni esterne.

Nel dettaglio

Il punto di partenza del paper è un paradosso della ricerca agentica. I foundation model vengono addestrati su miliardi di pagine web, ma nessuno sa dire con precisione cosa in quei dati insegni loro a pianificare su più turni. Il modello funziona, ma restano ignoti gli ingredienti del training che hanno prodotto la capacità osservata. Il team CASIA ha costruito un ambiente multi-turno controllato, dove ogni variabile è manipolabile, e lo ha usato per studiare la pianificazione in tre fasi distinte.

Fase 1: acquisizione nel pre-training. Qui si isolano gli ingredienti del pre-training che rendono un modello capace di pianificare, prima di qualsiasi affinamento. Il risultato principale è che costruire un modello del mondo esplicito, tramite chain-of-thought che modella le transizioni di stato, produce generalizzazione migliore su orizzonti lunghi. Le abilità atomiche, prese singolarmente, non si compongono bene in piani complessi: serve un po’ di dati su orizzonti lunghi fin dal pre-training. E le traiettorie subottimali sono particolarmente dannose, perché in un piano di dieci passi un errore al terzo passo contamina tutto ciò che viene dopo. Chi fa reinforcement learning lo sa intuitivamente, ma il paper lo quantifica in un setting controllato.

Fase 2: shaping nel post-training. Il paper confronta due tecniche: GRPO (Group Relative Policy Optimization, un metodo di reinforcement learning che valuta gruppi di risposte relative) e OPD (On-Policy Distillation, dove il modello impara dalle proprie traiettorie generate on-policy, non da dimostrazioni statiche). Usando la mutual information, gli autori distinguono due componenti della pianificazione: i pattern generali (come strutturare un piano) e la conoscenza specifica del task (quali passi fare in un dominio particolare). Per i pattern generali, identificano tre regioni in cui il post-training è inutile (il modello lo sa già), efficace, o senza supporto sufficiente. OPD ha una regione efficace più ampia di GRPO nei setting a bassa qualità e orizzonte lungo, perché fornisce direzioni di aggiornamento più consistenti. Per la conoscenza specifica, distillare procedure mai viste da un insegnante con conoscenze diverse può danneggiare il world model preesistente dello studente senza stabilizzare la nuova conoscenza.

Fase 3: integrazione con MOPD. Multi-teacher on-policy distillation significa prendere più insegnanti, ciascuno esperto in un ambiente diverso, e far convergere il modello verso pattern di pianificazione condivisi. Pattern compatibili permettono generalizzazione cross-ambientale. Pattern parzialmente condivisi supportano continual learning. Pattern completamente in conflitto causano interferenza severa: se due insegnanti pianificano in modi incompatibili, lo studente non impara entrambi, peggiora.

I limiti. Lo studio avviene in ambiente controllato, che è sia il punto di forza (isolamento delle variabili) sia il limite principale. La transferabilità al mondo reale, con dati rumorosi e ambienti non simulabili, resta da dimostrare. Gli autori non riportano nell’abstract numeri di benchmark confrontabili con modelli di produzione. Codice e dataset sono pubblicati su GitHub e Hugging Face per chi vuole replicare.

Per chi costruisce agenti in produzione, l’implicazione pratica più diretta riguarda la fase di post-training. Se stai affinando un agente su task multi-turno, la qualità delle traiettorie di training diventa la variabile dominante. Un singolo passo sbagliato in una sequenza lunga vale più di dieci passi sbagliati in sequenze corte, perché l’errore si propaga. E se stai distillando da più modelli insegnanti, verifica prima che i loro stili di pianificazione siano compatibili.