Un paper apparso su HuggingFace Daily Papers propone l’Experience Distillation: una tecnica per fissare nei pesi del modello ciò che un agente impara dalla sua storia di interazioni, senza eseguire altri cicli nell’ambiente.

Il problema è noto a chi costruisce agenti che girano su compiti ripetitivi. L’agente migliora se gli lasci nel contesto i tentativi precedenti, ma i vantaggi spariscono appena svuoti la finestra. Il fine-tuning tradizionale sui dati raccolti recupera solo il 3,8% di quel guadagno (paper su HuggingFace, 22 luglio 2026), perché il modello impara a imitare le azioni senza capirne la logica.

L’Experience Distillation trattiene almeno il 64,8% del vantaggio dell’in-context learning su 749 task di ingegneria del software e sei giochi testuali, e raggiunge le performance dei baseline di reinforcement learning con 9,6 volte meno interazioni nell’ambiente. Il tema è lo stesso che abbiamo toccato parlando di OpenForgeRL: come rendere efficiente l’apprendimento degli agenti senza spese proibitive di sampling. Qui il sampling è già fatto, e ciò che resta è la distillazione del materiale raccolto.

Per chi ha agenti in produzione che accumulano tracce di interazione, la direzione è avere agenti che migliorano davvero col tempo, non solo sessione per sessione.

Nel dettaglio

L’in-context learning è il meccanismo più semplice per fare imparare un agente: gli metti nel prompt la storia di ciò che ha provato, cosa ha funzionato e cosa no, e il modello usa quella storia per comportarsi meglio. Funziona, e funziona bene, perché il modello vede l’esperienza intera e può ragionarci sopra. Il guaio è che la finestra di contesto è un banco di lavoro, non un archivio. Quando la storia cresce, riempie la finestra, e se la togli il modello torna al punto di partenza.

La soluzione ovvia è il fine-tuning: raccogli le interazioni e addestri il modello su quei dati. Il paper lo prova e il risultato è deludente. Sui task di software engineering e sui giochi testuali, il fine-tuning supervisionato recupera solo il 3,8% di ciò che l’in-context learning aveva guadagnato. Il modello impara a riprodurre le azioni ma perde il collegamento fra l’osservazione dell’ambiente e la decisione che le aveva motivate.

L’Experience Distillation prende una strada diversa. Invece di addestrare il modello a riprodurre le azioni, usa la context distillation, una tecnica già nota che trasferisce informazioni dal contesto ai pesi del modello. Qui viene applicata alle storie di interazione complete, non a singole istruzioni o esempi. Il punto chiave è che non serve alcuna interazione ulteriore con l’ambiente. Si raccoglie l’esperienza una volta, la si distilla, e si ottiene un modello che ha interiorizzato parte di ciò che aveva imparato in contesto.

I numeri, misurati su 749 task di software engineering curati e sei giochi testuali, dicono che la distillazione trattiene almeno il 64,8% del guadagno dell’in-context learning in entrambi i domini. Confrontato con i baseline di reinforcement learning classici, l’in-context learning seguito dalla distillazione pareggia le loro performance con almeno 9,6 volte meno campioni dall’ambiente.

Cosa significa per chi costruisce. Se hai un agente che gira su compiti ripetitivi (debugging, ricerca, analisi di dati), ogni sessione produce tracce di interazione che normalmente si perdono. Questo paper suggerisce che quelle tracce, se distillate correttamente, possono diventare miglioramento permanente del modello. Non sostituiscono il reinforcement learning da zero, ma riducono drasticamente il numero di interazioni ambientali necessarie per raggiungere lo stesso risultato.

I limiti. Il paper misura due domini specifici e non è detto che il 64,8% si generalizzi a compiti diversi. Il guadagno è “almeno” 64,8%, ma non è specificato quanto varia fra task semplici e complessi. La distillazione richiede accesso ai pesi del modello, quindi non è applicabile a chi usa modelli via API senza possibilità di fine-tuning. E il confronto con i baseline RL usa metriche di performance, non di robustezza: un modello distillato potrebbe essere più fragile di fronte a input fuori distribuzione rispetto a uno addestrato con RL dall’inizio.