Un paper apparu sur HuggingFace Daily Papers propose l’Experience Distillation : une technique pour fixer dans les poids du modèle ce qu’un agent apprend de son historique d’interactions, sans exécuter d’autres cycles dans l’environnement.

Le problème est bien connu de ceux qui construisent des agents tournant sur des tâches répétitives. L’agent s’améliore si vous lui laissez les tentatives précédentes en contenu, mais les avantages disparaissent dès que vous videz la fenêtre. Le fine-tuning traditionnel sur les données collectées ne récupère que 3,8% de ce gain (paper sur HuggingFace, 22 juillet 2026), parce que le modèle apprend à imiter les actions sans en comprendre la logique.

L’Experience Distillation conserve au moins 64,8% de l’avantage de l’in-context learning sur 749 tâches d’ingénierie logicielle et six jeux textuels, et atteint les performances des baselines de reinforcement learning avec 9,6 fois moins d’interactions avec l’environnement. C’est le même thème que nous avons abordé en parlant d’OpenForgeRL : comment rendre l’apprentissage des agents efficace sans dépenses prohibitives d’échantillonnage. Ici, l’échantillonnage est déjà fait, et ce qui reste, c’est la distillation du matériel collecté.

Pour ceux qui ont des agents en production qui accumulent des traces d’interaction, la direction est d’avoir des agents qui s’améliorent vraiment avec le temps, pas seulement de session en session.

Dans les détails

L’in-context learning est le mécanisme le plus simple pour faire apprendre un agent : vous mettez dans le prompt l’historique de ce qu’il a essayé, ce qui a fonctionné et ce qui ne l’a pas, et le modèle utilise cet historique pour se comporter mieux. Ça fonctionne, et ça fonctionne bien, parce que le modèle voit l’expérience entière et peut raisonner dessus. Le problème est que la fenêtre de contenu est un plan de travail, pas une archive. Quand l’historique grandit, il remplit la fenêtre, et si vous l’enlevez, le modèle revient au point de départ.

La solution évidente est le fine-tuning : vous collectez les interactions et entraînez le modèle sur ces données. Le paper l’essaie et le résultat est décevant. Sur les tâches d’ingénierie logicielle et les jeux textuels, le fine-tuning supervisé ne récupère que 3,8% de ce que l’in-context learning avait gagné. Le modèle apprend à reproduire les actions mais perd le lien entre l’observation de l’environnement et la décision qui les motivait.

L’Experience Distillation prend une route différente. Au lieu d’entraîner le modèle à reproduire les actions, elle utilise la context distillation, une technique déjà connue qui transfère les informations du contenu aux poids du modèle. Ici, elle s’applique aux historiques d’interaction complets, pas à des instructions isolées ou des exemples. Le point clé est qu’aucune interaction supplémentaire avec l’environnement n’est nécessaire. Vous collectez l’expérience une fois, vous la distillez, et vous obtenez un modèle qui a intériorisé une partie de ce qu’il avait appris en contenu.

Les chiffres, mesurés sur 749 tâches d’ingénierie logicielle curées et six jeux textuels, disent que la distillation conserve au moins 64,8% du gain de l’in-context learning dans les deux domaines. Comparé aux baselines de reinforcement learning classiques, l’in-context learning suivi de la distillation égale leurs performances avec au moins 9,6 fois moins d’échantillons de l’environnement.

Ce que cela signifie pour les constructeurs. Si vous avez un agent tournant sur des tâches répétitives (débogage, recherche, analyse de données), chaque session produit des traces d’interaction qui normalement se perdent. Ce paper suggère que ces traces, si distillées correctement, peuvent devenir une amélioration permanente du modèle. Elles ne remplacent pas le reinforcement learning de zéro, mais réduisent drastiquement le nombre d’interactions environnementales nécessaires pour atteindre le même résultat.

Les limites. Le paper mesure deux domaines spécifiques et il n’est pas dit que 64,8% se généralise à des tâches différentes. Le gain est « au moins » 64,8%, mais n’est pas spécifié combien il varie entre les tâches simples et complexes. La distillation nécessite l’accès aux poids du modèle, donc elle n’est pas applicable à ceux qui utilisent des modèles via API sans possibilité de fine-tuning. Et la comparaison avec les baselines RL utilise des métriques de performance, pas de robustesse : un modèle distillé pourrait être plus fragile face à des entrées hors distribution qu’un entraîné avec RL depuis le début.