Un paper de Microsoft Research propose “Experiential Learning” (EL), une méthode de post-training qui sépare le reinforcement learning du coaching textuel. Au lieu de réduire l’évaluation d’un modèle-juge à un seul nombre, le feedback textuel est conservé et internalisé par le modèle comme connaissance expériencielle.

Le post-training sur des tâches ouvertes (écrire, répondre à des questions sans réponse vérifiable, aider dans des tâches créatives) compresse aujourd’hui l’évaluation en un scalar reward. Deux réponses de qualité différente peuvent recevoir le même score, et le modèle apprend à poursuivre le nombre au lieu de vraiment s’améliorer. EL aborde cette limite: le juge arrête de donner une note et écrit une évaluation que le modèle peut lire, comprendre et absorber. Les résultats du paper montrent une meilleure généralisation en dehors du training set et moins de reward hacking.

Comme nous l’avons raconté le 14 juillet, la tendance du post-training est vers la modularité: séparer les tâches (exploration, alignement, et maintenant coaching) rend chaque phase plus contrôlable et réutilisable. Ce paper pousse la même idée un pas plus loin, sur le front du signal de feedback.

En détail

Le problème que le paper aborde est aussi ancien que RLHF: quand tu entraînes un modèle avec reinforcement learning sur des tâches ouvertes, tu as besoin d’un signal numérique pour dire à l’algorithme si une réponse est bonne ou non. Pour l’obtenir, tu utilises un modèle (le “juge”) qui évalue les réponses selon une grille, une liste de critères. Le juge lit la réponse, évalue chaque critère, et tout est ensuite compressé en un nombre. Si la réponse a une structure excellente mais un raisonnement faible, le nombre final est peut-être 0.7. Si une autre réponse a une structure médiocre mais un raisonnement fort, c’est peut-être aussi 0.7. Le modèle qui apprend de ce nombre ne peut pas distinguer les deux profils.

EL (Experiential Learning) change le canal. Le juge écrit une évaluation textuelle détaillée, comme le ferait un relecteur humain avec un stylo rouge. Cette évaluation est “distillée” en connaissance expériencielle: elle conditionne un modèle enseignant qui génère de meilleures réponses, et le modèle principal internalise cette connaissance dans ses propres poids à travers un processus appelé “on-policy context distillation”.

La différence avec le RL classique est la bande passante du signal. Un nombre est un canal étroit: il te dit seulement “mieux” ou “pire”. Le texte te dit ce qui est mieux, pourquoi, et ce qui devrait changer. Le paper montre que ce canal plus large produit une supervision plus dense et préserve les préférences fines entre les réponses de haute qualité.

Les résultats, mesurés sur deux familles de modèles avec feedback du modèle lui-même ou d’un modèle propriétaire, montrent trois choses. Primo: EL surpasse le RL basé sur grille sur les tâches ouvertes held-out et non vues. Deuxième: il se généralise mieux en dehors de la distribution d’entraînement. Troisième: il atténue le reward hacking, le phénomène où le modèle apprend à tromper le juge pour obtenir un score élevé sans vraiment s’améliorer.

Pour ceux qui expérimentent le post-training, la leçon pratique est que le format du feedback compte autant que sa qualité. Un feedback textuel structuré coûte plus de tokens et plus de calcul, mais produit des modèles qui comprennent ce qui les rend meilleurs au lieu de poursuivre une métrique proxy. C’est la même direction du framework de post-training modulaire de juillet: séparer les phases rend chaque pièce plus contrôlable.

Les limites. Le paper est de Microsoft Research et a 7 upvotes sur Hugging Face au moment de la publication: c’est un résultat frais, avec un examen communautaire encore limité. Les détails complets sur l’architecture et les hyperparamètres seront dans le paper entier et dans le code, que les auteurs annoncent sur aka.ms/el-code mais qui n’est pas encore vérifié comme accessible. Les évaluations concernent des tâches ouvertes (non vérifiables): la méthode s’applique là où la reward ne peut pas être calculée de manière déterministe, et ne remplace pas le RL sur les tâches avec réponse exacte (mathématiques, coding). Comme pour chaque paper de post-training, la reproductibilité dépend de l’accès aux ressources de calcul pour l’entraînement, qui ne sont pas à la portée de tous.