Un paper de l’Université du Maryland montre que la distillation on-policy (OPSD), une technique pour améliorer le reasoning des modèles linguistiques, cache un problème structurel : sous sa forme standard, elle ne fonctionne que avec un engineering sur mesure. Les chercheurs identifient la cause dans un paramètre implicite, β, fixé à 1 dans la version vanilla, et le rendent contrôlable. D’où le nom, β-OPSD.

Pourquoi ça te concerne. Si tu entraines ou affines des modèles avec des capacités de reasoning, la stabilité du training est le goulot d’étranglement pratique. La vanilla OPSD promet d’améliorer le reasoning sans le coût du reinforcement learning, mais en pratique elle nécessite des essais et erreurs pour trouver les bons réglages, et souvent le training diverge. β-OPSD transforme ce paramètre caché en un bouton : tu baisses β et le modèle explore davantage, tu le montes et il reste ancré au modèle de départ. Le paper montre un gain moyen de +5,74 points sur les benchmarks de mathématiques avec Qwen3 de 1,7 milliards de paramètres, et des améliorations de stabilité sur toute la gamme jusqu’à 8B.

Le point fort est qu’elle évite le reinforcement learning coûteux et à haute variance. Au lieu de faire tourner des milliers d’épisodes de RL, β-OPSD convertit une solution en forme fermée en une cible de distillation au niveau du token, en utilisant un crédit return-to-go pour aligner l’aggiornamento du token unique avec l’issue de la séquence entière.

Les résultats sont mesurés sur des benchmarks de mathématiques avec des modèles Qwen3 (1,7B, 4B, 8B), pas sur des tâches agentiques générales. Le code et les détails sont sur la page du projet de l’Université du Maryland.

En détail

La distillation on-policy (OPSD) est une technique où un modèle apprend de ses propres outputs : il génère des réponses, évalue lesquelles sont meilleures, et se met à jour pour produire plus souvent les bonnes. L’idée est attrayante parce qu’elle ne nécessite pas un modèle enseignant plus grand à copier, et ne nécessite pas le reinforcement learning classique avec ses récompenses éparses et sa haute variance.

Le problème, jusqu’à présent, était que la vanilla OPSD était fragile. Pour la faire fonctionner, il faut un engineering lourd : choix manuel d’hyperparamètres, astuces de stabilisation, et souvent le training diverge de toute façon. Le paper identifie une raison structurelle à cette fragilité.

Les auteurs montrent que la vanilla OPSD est en réalité un cas particulier d’une famille plus large d’objectifs de policy optimization, régularisés avec une pénalité KL (Kullback-Leibler, une mesure de divergence entre deux distributions de probabilité). Dans cette famille, le paramètre β pondère la pénalité KL qui maintient l’étudiant près d’un modèle de référence. Dans la version vanilla, β est implicitement fixé à 1, sans possibilité de le modifier.

Le geste de β-OPSD est de rendre ce paramètre contrôlable. Quand β est élevé, le modèle reste proche du point de départ et change peu. Quand β est bas, il explore davantage et peut s’améliorer davantage, mais risque de s’éloigner trop du comportement d’origine. C’est le même type d’équilibre qu’on trouve dans d’autres méthodes de policy optimization, mais ici appliqué au contexte de la self-distillation.

Le deuxième apport technique est l’usage du return-to-go credit assignment. Dans le training standard, la récompense arrive à la fin de la séquence, et tous les tokens reçoivent le même signal, même ceux au début qui n’ont peut-être rien à voir avec le résultat final. Le return-to-go recalcule le crédit de chaque token sur la base de la récompense partielle à partir de ce point, alignant mieux la mise à jour du token unique avec la contribution réelle à la séquence.

Les chiffres : sur les benchmarks de reasoning mathématique, β-OPSD améliore les performances moyennes par rapport à la vanilla OPSD sur toute la gamme de modèles Qwen3 testés (1,7B, 4B, 8B), avec le gain le plus marqué, +5,74 points en moyenne, sur le modèle de 1,7 milliards de paramètres. Le paper rapporte aussi une plus grande stabilité de training, mesurée comme une variance réduite dans les performances pendant le processus.

Les limites. Les résultats sont sur des tâches de reasoning mathématique, pas sur des tâches agentiques générales ou sur d’autres domaines comme le code ou la logique. Les modèles testés sont Qwen3, une famille spécifique : on ne sait pas si la méthode se transfère directement à d’autres architectures. Le paper ne confronte β-OPSD qu’à d’autres techniques de RL avancées (comme GRPO ou PPO), mais seulement à vanilla OPSD. Le code est disponible sur la page du projet, mais au moment de la publication, il n’y a pas de scripts prêts pour répliquer les résultats sur d’autres datasets.

Pour qui suit le fil de la distillation comme technique de post-training, β-OPSD s’inscrit dans le même espace que la SDR d’AWS et ISO d’UT Austin, où le thème était d’affiner le modèle sans détruire ce qu’il sait déjà. Ici l’angle est différent : rendre engineerisable une technique qui promettait beaucoup mais qui en pratique était fiable que avec beaucoup de travail manuel.