Un paper dell’Università del Maryland mostra che la distillazione on-policy (OPSD), una tecnica per migliorare il ragionamento dei modelli linguistici, nasconde un problema strutturale: nella sua forma standard funziona solo con un engineering su misura. I ricercatori identificano la causa in un parametro implicito, β, fissato a 1 nella versione vanilla, e lo rendono controllabile. Da qui il nome, β-OPSD.

Perché ti riguarda. Se addestri o affini modelli con capacità di reasoning, la stabilità del training è il collo di bottiglia pratico. Vanilla OPSD promette di migliorare il ragionamento senza il costo del reinforcement learning, ma nella pratica richiede tentativi ed errori per trovare le impostazioni giuste, e spesso il training diverge. β-OPSD trasforma quel parametro nascosto in una manopola: abbassi β e il modello esplora di più, lo alzi e resta ancorato al modello di partenza. Il paper mostra un guadagno medio di +5,74 punti sui benchmark di matematica con Qwen3 da 1,7 miliardi di parametri, e miglioramenti di stabilità su tutta la gamma fino a 8B.

Il punto forte è che evita il reinforcement learning costoso e ad alta varianza. Invece di far girare migliaia di episodi di RL, β-OPSD converte una soluzione in forma chiusa in un target di distillazione a livello di token, usando un credito return-to-go per allineare l’aggiornamento del singolo token con l’esito della sequenza intera.

I risultati sono misurati su benchmark di matematica con modelli Qwen3 (1.7B, 4B, 8B), non su task agentici generali. Il codice e i dettagli sono sulla pagina del progetto dell’Università del Maryland.

Nel dettaglio

La distillazione on-policy (OPSD) è una tecnica in cui un modello impara dai propri output: genera risposte, valuta quali sono migliori, e si aggiorna per produrre più spesso quelle buone. L’idea è attraente perché non richiede un modello insegnante più grande da cui copiare, e non richiede il reinforcement learning classico con le sue ricompense sparse e la sua varianza alta.

Il problema, finora, è che OPSD nella sua forma standard (chiamata “vanilla” nel paper) è fragile. Per farla funzionare serve un engineering pesante: scelta manuale di iperparametri, trucchi di stabilizzazione, e spesso il training diverge comunque. Il paper identifica una ragione strutturale per questa fragilità.

Gli autori mostrano che vanilla OPSD è in realtà un caso speciale di una famiglia più ampia di obiettivi di policy optimization, regolarizzati con una penalità KL (Kullback-Leibler, una misura di quanto due distribuzioni di probabilità divergono). In questa famiglia, il parametro β pesa la penalità KL che tiene lo studente vicino a un modello di riferimento. Nella versione vanilla, β è implicitamente fissato a 1, senza possibilità di modificarlo.

La mossa di β-OPSD è rendere quel parametro controllabile. Quando β è alto, il modello resta vicino al punto di partenza e cambia poco. Quando β è basso, esplora di più e può migliorare di più, ma rischia di allontanarsi troppo dal comportamento originale. È lo stesso tipo di bilanciamento che si trova in altri metodi di policy optimization, ma qui applicato al contesto della self-distillation.

Il secondo contributo tecnico è l’uso del return-to-go credit assignment. Nel training standard, la ricompensa arriva alla fine della sequenza, e tutti i token ricevono lo stesso segnale, anche quelli all’inizio che magari c’entrano poco con il risultato finale. Il return-to-go ricalcola il credito di ogni token in base alla ricompensa parziale da quel punto in poi, allineando meglio l’aggiornamento del singolo token con il contributo reale alla sequenza.

I numeri: su benchmark di ragionamento matematico, β-OPSD migliora le prestazioni medie rispetto a vanilla OPSD su tutta la gamma di modelli Qwen3 testati (1.7B, 4B, 8B), con il guadagno più marcato, +5,74 punti medi, sul modello da 1,7 miliardi di parametri. Il paper riporta anche maggiore stabilità di training, misurata come minore varianza nelle prestazioni durante il processo.

I limiti. I risultati sono su task di ragionamento matematico, non su compiti agentici generali o su altri domini come codice o logica. I modelli testati sono Qwen3, una famiglia specifica: non è dato sapere se il metodo si trasferisca direttamente ad altre architetture. Il paper non confronta β-OPSD con tecniche di RL più avanzate (come GRPO o PPO), ma solo con vanilla OPSD. Il codice è disponibile sulla pagina del progetto, ma al momento della pubblicazione non risultano script pronti per replicare i risultati su altri dataset.

Per chi segue il filo della distillazione come tecnica di post-training, β-OPSD si inserisce nello stesso spazio della SDR di AWS e ISO dell’UT Austin, dove il tema era affinare il modello senza distruggere ciò che sa già. Qui l’angolo è diverso: rendere ingegnerizzabile una tecnica che prometteva molto ma che nella pratica era affidabile solo con molto lavoro manuale.