AWS documenta Self-Distilled Reasoning (SDR) per Amazon Nova 2, una tecnica di fine-tuning che riutilizza le tracce di ragionamento del modello base come supervisione per dataset privi di reasoning traces. Lo stesso giorno, un paper dell’Università del Texas introduce ISO (Isospectral Optimization), uno stack di ottimizzazione per il reinforcement learning con reward verificabili che sfrutta la struttura matematica dei pesi: congela lo spettro del modello base e ottimizza solo i frame singolari, raggiungendo la stessa accuratezza in 2.7 volte meno passi (fonte: paper ISO, 21 luglio 2026).

Perché ti riguarda. I due lavori convergono su un’evoluzione del post-training che stavamo già vedendo avvicinarsi. Come raccontavamo ieri con TOPL e LLM-as-a-Coach, il post-training sta passando dal “dai un voto alla risposta intera” all’intervento granulare su parti specifiche del modello e del ragionamento.

SDR risolve un problema pratico per chi fa fine-tuning: quando addestri su dati input-output senza tracce di ragionamento, il modello perde la capacità di ragionare. AWS misura il crollo delle performance matematiche dal 70% al 6% con fine-tuning vanilla, e il recupero quasi completo con SDR (fonte: AWS ML blog, 21 luglio 2026). ISO dimostra che il post-training con RL può essere molto più efficiente se sfrutti la struttura dei pesi invece di riscriverla tutta.

Per chi costruisce agenti su modelli personalizzati, la direzione è chiara: affinare un modello sul proprio dominio senza distruggere le competenze generali sta diventando tecnicamente possibile, e a costi di compute più bassi.

Nel dettaglio

Il problema che SDR risolve.

Quando fai Supervised Fine-Tuning (SFT) su un dataset con solo input e output, senza tracce di ragionamento intermedie, succede qualcosa di controintuitivo: il modello smette di ragionare anche quando gli chiedi esplicitamente di farlo. AWS chiama questo fenomeno reasoning suppression. La funzione di perdita calcola l’errore su tutti i token insieme, e dato che i dati non contengono passaggi di ragionamento, il modello impara a bypassarli. È una forma di shortcut learning: il modello trova una scorciatoia che funziona sul dataset di training ma distrugge una capacità generale.

La soluzione ovvia sarebbe inserire tracce di ragionamento nel dataset, ma generarle con un modello teacher forte è costoso. SDR usa invece le catene di pensiero del modello base stesso, prima del fine-tuning. È self-distillation: il modello impara da sé stesso. Il vantaggio è che non serve un teacher esterno, né annotazione umana, né post-hoc interpolazione. AWS mostra che questa tecnica mantiene le performance matematiche al 68% (contro il 70% del modello base) mentre migliora le performance sul dominio target del 6,5% rispetto al fine-tuning vanilla (fonte: AWS ML blog, 21 luglio 2026).

Cosa fa ISO.

Il paper dell’Università del Texas guarda al post-training da un’altra angolazione: la struttura matematica dei pesi. I pesi di un modello possono essere decomposti in valori singolari (lo “spettro”) e frame singolari (le direzioni). La scoperta principale è che l’RLVR modifica i frame ma quasi non tocca lo spettro. Gli autori lo verificano in entrambe le direzioni: rimetti lo spettro del modello base in un checkpoint RL, e tutte le metriche restano al livello RL. Innesti lo spettro RL nei frame pre-RL, e non cambia niente.

Da qui nascono due strumenti. ISO-Merger combina le modifiche dei frame di più modelli specializzati (che condividono la stessa base) in un unico modello, senza dati, rollouts o gradienti. ISO-Optimizer applica un ottimizzatore standard (AdamW o Muon) solo ai frame, tenendo lo spettro congelato. Su Qwen3-8B, ISO-AdamW raggiunge la stessa accuratezza di AdamW standard in 100 passi invece di 270, e va oltre a 210 passi (fonte: paper ISO, 21 luglio 2026).

Dove le due strade si incontrano.

SDR e ISO affrontano lo stesso problema da lati opposti: come affinare un modello senza perdere ciò che sa già. SDR opera sul dato di training, ISO sull’ottimizzazione dei pesi. Entrambe riflettono un principio condiviso: il post-training dovrebbe intervenire con precisione chirurgica, preservando la struttura del modello base e modificando solo ciò che serve.

I limiti.

I risultati di AWS sono misurati su tre benchmark con Amazon Nova 2 Lite. La generalizzazione ad altri modelli e domini è plausibile ma non dimostrata. ISO è testato su modelli da 1.5B a 8B parametri su task di reasoning e coding: l’applicabilità a scala frontier resta aperta. Entrambi i lavori sono documentazione tecnica solida, ma il valore in produzione dipende dal tuo caso specifico.