AWS documente Self-Distilled Reasoning (SDR) pour Amazon Nova 2, une technique d’affinage qui réutilise les traces de raisonnement du modèle de base comme supervision pour des datasets dépourvus de reasoning traces. Le même jour, un paper de l’Université du Texas introduit ISO (Isospectral Optimization), une pile d’optimisation pour le reinforcement learning avec des rewards vérifiables qui exploite la structure mathématique des poids : gèle le spectre du modèle de base et optimise uniquement les frames singuliers, atteignant la même précision en 2,7 fois moins d’étapes (source : paper ISO, 21 juillet 2026).

Pourquoi ça te concerne. Les deux travaux convergent vers une évolution du post-training que nous voyions déjà se dessiner. Comme nous l’expliquions hier avec TOPL et LLM-as-a-Coach, le post-training passe de « donne une note à la réponse entière » vers une intervention granulaire sur des parties spécifiques du modèle et du raisonnement.

SDR résout un problème pratique pour ceux qui font de l’affinage : quand tu t’entraînes sur des données entrée-sortie sans traces de raisonnement, le modèle perd sa capacité à raisonner. AWS mesure l’effondrement des performances mathématiques de 70% à 6% avec un affinage vanilla, et une récupération quasi complète avec SDR (source : AWS ML blog, 21 juillet 2026). ISO montre que le post-training avec RL peut être beaucoup plus efficace si tu exploites la structure des poids au lieu de la réécrire entièrement.

Pour ceux qui construisent des agents sur des modèles personnalisés, la direction est claire : affiner un modèle sur son propre domaine sans détruire les compétences générales devient techniquement possible, et à des coûts de compute plus faibles.

En détail

Le problème que SDR résout.

Quand tu fais du Supervised Fine-Tuning (SFT) sur un dataset avec uniquement des entrées et sorties, sans traces de raisonnement intermédiaires, quelque chose de contre-intuitif se produit : le modèle cesse de raisonner même quand tu lui le demandes explicitement. AWS appelle ce phénomène reasoning suppression. La fonction de perte calcule l’erreur sur tous les tokens ensemble, et comme les données ne contiennent pas d’étapes de raisonnement, le modèle apprend à les contourner. C’est une forme de shortcut learning : le modèle trouve un raccourci qui fonctionne sur le dataset d’entraînement mais détruit une capacité générale.

La solution évidente serait d’insérer des traces de raisonnement dans le dataset, mais les générer avec un modèle teacher fort est coûteux. SDR utilise à la place les chaînes de pensée du modèle de base lui-même, avant l’affinage. C’est de l’auto-distillation : le modèle apprend de lui-même. L’avantage est qu’on n’a besoin ni d’un teacher externe, ni d’annotation humaine, ni d’interpolation post-hoc. AWS montre que cette technique maintient les performances mathématiques à 68% (contre 70% pour le modèle de base) tout en améliorant les performances sur le domaine cible de 6,5% par rapport à l’affinage vanilla (source : AWS ML blog, 21 juillet 2026).

Ce qu’ISO fait.

Le paper de l’Université du Texas examine le post-training sous un autre angle : la structure mathématique des poids. Les poids d’un modèle peuvent être décomposés en valeurs singulières (le « spectre ») et frames singuliers (les directions). La découverte principale est que l’RLVR modifie les frames mais touche à peine au spectre. Les auteurs le vérifient dans les deux sens : remets le spectre du modèle de base dans un checkpoint RL, et toutes les métriques restent au niveau RL. Injecte le spectre RL dans les frames pré-RL, et rien ne change.

De là émergent deux outils. ISO-Merger combine les modifications de frames de plusieurs modèles spécialisés (qui partagent la même base) en un seul modèle, sans données, rollouts ou gradients. ISO-Optimizer applique un optimiseur standard (AdamW ou Muon) uniquement aux frames, en gardant le spectre gelé. Sur Qwen3-8B, ISO-AdamW atteint la même précision qu’AdamW standard en 100 étapes au lieu de 270, et va au-delà à 210 étapes (source : paper ISO, 21 juillet 2026).

Où les deux routes se rencontrent.

SDR et ISO abordent le même problème depuis des côtés opposés : comment affiner un modèle sans perdre ce qu’il sait déjà. SDR opère sur la donnée d’entraînement, ISO sur l’optimisation des poids. Tous deux reflètent un principe partagé : le post-training devrait intervenir avec une précision chirurgicale, en préservant la structure du modèle de base et en ne modifiant que ce qui est nécessaire.

Les limites.

Les résultats d’AWS sont mesurés sur trois benchmarks avec Amazon Nova 2 Lite. La généralisation à d’autres modèles et domaines est plausible mais non démontrée. ISO est testé sur des modèles de 1,5B à 8B paramètres sur des tâches de reasoning et coding : l’applicabilité à l’échelle frontier reste ouverte. Les deux travaux sont de la documentation technique solide, mais la valeur en production dépend de ton cas spécifique.