Un paper di Microsoft Research propone “Experiential Learning” (EL), un metodo di post-training che separa il reinforcement learning dal coaching testuale. Invece di ridurre la valutazione di un modello-giudice a un singolo numero, il feedback testuale viene conservato e fatto internalizzare dal modello come conoscenza esperienziale.

Il post-training su compiti aperti (scrivere, rispondere a domande senza risposta verificabile, aiutare in compiti creativi) oggi comprime la valutazione in uno scalar reward. Due risposte con qualità diverse possono ricevere lo stesso punteggio, e il modello impara a inseguire il numero invece di migliorare davvero. EL affronta questo limite: il giudice smette di dare un voto e scrive una valutazione che il modello può leggere, capire e assorbire. I risultati del paper mostrano generalizzazione migliore fuori dal training set e meno reward hacking.

Come raccontavamo il 14 luglio, la tendenza nel post-training è verso la modularità: separare i compiti (esplorazione, allineamento, e ora coaching) rende ogni fase più controllabile e riusabile. Questo paper spinge la stessa idea un passo avanti, sul fronte del segnale di feedback.

Nel dettaglio

Il problema che il paper affronta è vecchio quanto il RLHF: quando addestri un modello con reinforcement learning su compiti aperti, hai bisogno di un segnale numerico per dire all’algoritmo se una risposta è buona o no. Per ottenerlo, usi un modello (il “giudice”) che valuta le risposte secondo una rubrica, una lista di criteri. Il giudice legge la risposta, valuta ogni criterio, e poi tutto viene compresso in un numero. Se la risposta ha una struttura eccellente ma un’argomentazione debole, il numero finale magari è 0.7. Se un’altra risposta ha una struttura mediocre ma un’argomentazione forte, magari è sempre 0.7. Il modello che impara da quel numero non può distinguere i due profili.

EL (Experiential Learning) cambia il canale. Il giudice scrive una valutazione testuale dettagliata, come farebbe un revisore umano con una penna rossa. Questa valutazione viene “distillata” in conoscenza esperienziale: condiziona un modello insegnante che genera risposte migliori, e il modello principale internalizza questa conoscenza nei propri pesi attraverso un processo chiamato “on-policy context distillation”.

La differenza con il RL classico è il bandwidth del segnale. Un numero è un canale stretto: ti dice solo “meglio” o “peggio”. Il testo ti dice cosa è meglio, perché, e cosa dovrebbe cambiare. Il paper mostra che questo canale più largo produce supervisione più densa e preserva le preferenze fini fra risposte di alta qualità.

I risultati, misurati su due famiglie di modelli con feedback dal modello stesso o da un modello proprietario, mostrano tre cose. Primo: EL batte il RL basato su rubrica su compiti aperti held-out e unseen. Secondo: generalizza meglio fuori dalla distribuzione di training. Terzo: mitiga il reward hacking, il fenomeno in cui il modello impara a ingannare il giudice per ottenere un punteggio alto senza migliorare davvero.

Per chi sperimenta il post-training, la lezione pratica è che il formato del feedback conta quanto la sua qualità. Un feedback testuale strutturato costa più token e più calcolo, ma porta a modelli che capiscono cosa li rende migliori invece di inseguire una metrica proxy. È la stessa direzione del framework di post-training modulare di luglio: separare le fasi rende ogni pezzo più controllabile.

I limiti. Il paper è di Microsoft Research e ha 7 upvotes su Hugging Face al momento della pubblicazione: è un risultato fresco, con community review ancora scarsa. I dettagli completi su architettura e hyperparameters saranno nel paper intero e nel codice, che gli autori annunciano su aka.ms/el-code ma non è ancora verificato come accessibile. Le valutazioni riguardano compiti aperti (non verificabili): il metodo si applica dove il reward non può essere calcolato in modo deterministico, e non sostituisce il RL su compiti con risposta esatta (matematica, coding). Come per ogni paper di post-training, la riproducibilità dipende dall’accesso alle risorse di calcolo per il training, che non sono alla portata di tutti.