Ricercatori della University of Southern California propongono TOPL (Token-Level Off-Policy Labeling), un metodo di post-training che cambia la granularità del feedback. Invece di dare un punteggio all’intera risposta del modello, TOPL marca i singoli token come buoni o cattivi e addestra il modello a riconoscerli. Il modello impara a evitare i token sbagliati, non a massimizzare un punteggio globale che può essere aggirato.

Ti riguarda perché il reward hacking, il fenomeno per cui un modello impara a ottenere voti alti senza migliorare davvero, è uno dei problemi pratici più fastidiosi quando affini un modello per un compito ripetitivo. Se hai mai provato a correggere un assistente che “smette” di sbagliare durante il training e poi ricade nello stesso errore in produzione, sai di cosa parliamo. Il feedback token-level rende il segnale di correzione più fine: il modello sa dove ha sbagliato, non solo che ha sbagliato.

Il pattern è lo stesso che stiamo vedendo negli strumenti di lavoro: come raccontavamo ieri a proposito del feedback testuale nel post-training, la direzione di ricerca si allontana dal punteggio secco e cerca segnali più granulari e interpretabili. TOPL spinge la granularità fino al singolo token, e gli autori mostrano che i LoRA adapter imparati in questo modo funzionano come steering vector, cioè vettori che spostano il comportamento del modello in modo leggibile.

I test coprono 11 dataset di summarization e si estendono alla traduzione automatica, con generalizzazione out-of-distribution. Il limite dichiarato: per ora è dimostrato su compiti di faithful generation (generazione fedele ai dati di input), non su reasoning libero o coding. Nessun codice pubblico al momento.

Nel dettaglio

Cosa c’era prima.

Il post-training standard funziona così: il modello genera una risposta, un giudice (umano o un altro modello) dà un punteggio all’intera sequenza, e il modello aggiorna i pesi per produrre risposte con punteggio più alto. Questo approccio, chiamato outcome-level o sequence-level, ha un difetto noto: il modello impara a hackare il punteggio. Trova pattern che soddisfano il giudice senza migliorare la qualità reale. Un esempio concreto: in un task di summarization, il modello può imparare a produrre riassunti più corti (perché il giudice penalizza la lunghezza) senza diventare più fedele al documento originale.

Esistono già metodi token-level, ma operano on-policy: generano i token col modello in tempo reale e li correggono uno per uno. È costoso e instabile, perché stai addestrando il modello sui suoi stessi output mentre li produce.

Cosa cambia con TOPL.

TOPL è off-policy: prende risposte già generate (da qualsiasi modello), le marca token per token come buone o cattive, e addestra il modello a classificare quale token è corretto e quale no. Il passaggio chiave è che il modello non impara a generare direttamente i token buoni, ma a riconoscerli. Questo evita il problema della distribuzione shift (il modello non viene spinto a produrre token che non sa ancora generare bene) e riduce il reward hacking, perché il segnale è locale e specifico.

Gli autori lo spiegano con un’analogia che funziona: invece di dire a uno scrittore “questo articolo vale 6”, gli dici “questa parola è imprecisa, questa frase è ridondante, questa citazione è corretta”. Il feedback puntuale corregge meglio del voto globale.

I numeri.

Su 11 dataset di summarization, TOPL batte sia i baseline sequence-level sia i baseline token-level on-policy, con generalizzazione out-of-distribution. Si trasferisce alla traduzione automatica senza riaddestramento. Le ablazioni confermano che il segnale token-level è critico: l’analogo sequence-level di TOPL non ottiene gli stessi risultati. Infine, i LoRA adapter imparati con TOPL funzionano come steering vector: vettori che, applicati all’inferenza, spostano il comportamento del modello in direzioni interpretabili (più fedeltà, meno allucinazione).

Limiti.

I compiti testati sono faithful generation: summarization e traduzione, dove esiste una nozione oggettiva di “token corretto” (il token corrisponde o non corrisponde al dato di input). Su compiti dove la correttezza è meno binaria, come il reasoning libero o il coding, non è chiaro come etichettare i singoli token come buoni o cattivi. Nessun codice pubblico ancora, quindi niente riproduzione indipendente. Il paper è al primo upvote su HF Daily Papers: segnale precoce, non conferma consolidata.