Un paper de l’équipe Qwen (CASIA) construit un environnement contrôlé pour étudier une question restée ouverte : comment un foundation model apprend-il la planification multi-tours sur des horizons longs. La réponse passe par trois phases, de l’acquisition lors du pre-training à l’intégration via multi-teacher on-policy distillation.

Les résultats clés concernent qui entraîne des agents. Lors du pre-training, construire un modèle du monde explicite via chain-of-thought aide la généralisation, tandis que les capacités atomiques seules ne suffisent pas à composer des plans complexes. Les trajectoires sous-optimales font beaucoup de dégâts : les erreurs s’amplifient à chaque tour. En post-training, l’on-policy distillation (OPD) a une région efficace plus large que GRPO quand les données sont rares et l’horizon s’allonge, car elle donne des directions de mise à jour plus cohérentes. La multi-teacher OPD (MOPD) intègre les capacités de plusieurs environnements en convergeant vers des patterns partagés, mais si les patterns entrent en conflit, l’interférence est sévère.

Pour qui fait du self-play sur des agents, le message opérationnel est direct. La qualité des trajectoires compte plus que la quantité : un agent qui apprend de ses trajectoires sur des horizons longs a besoin de chemins corrects, car une erreur précoce ne disparaît pas, elle se multiplie. Et quand tu distilles depuis plusieurs enseignants, la compatibilité de leurs styles de planification décide si les compétences s’ajoutent ou s’annulent.

C’est le même fil de l’Experience Distillation dont nous parlions le 26 juillet : l’agent apprend de ses trajectoires, pas seulement de démonstrations externes.

En détail

Le point de départ du paper est un paradoxe de la recherche agentica. Les foundation model sont entraînés sur des milliards de pages web, mais personne ne sait dire avec précision ce qui, dans ces données, leur enseigne la planification multi-tours. Le modèle fonctionne, mais les ingrédients du training qui ont produit la capacité observée restent inconnus. L’équipe CASIA a construit un environnement multi-tours contrôlé, où chaque variable est manipulable, et l’a utilisé pour étudier la planification en trois phases distinctes.

Phase 1 : acquisition en pre-training. Ici, on isole les ingrédients du pre-training qui rendent un modèle capable de planifier, avant tout affinage. Le résultat principal est que construire un modèle du monde explicite, via chain-of-thought qui modélise les transitions d’état, produit une meilleure généralisation sur des horizons longs. Les capacités atomiques, prises isolément, ne se composent pas bien en plans complexes : il faut un peu de données sur des horizons longs dès le pre-training. Et les trajectoires sous-optimales sont particulièrement nuisibles, car dans un plan de dix étapes une erreur à la troisième étape contamine tout ce qui suit. Celui qui fait du reinforcement learning le sait intuitivement, mais le paper le quantifie dans un setting contrôlé.

Phase 2 : shaping en post-training. Le paper compare deux techniques : GRPO (Group Relative Policy Optimization, une méthode de reinforcement learning qui évalue des groupes de réponses relatives) et OPD (On-Policy Distillation, où le modèle apprend de ses propres trajectoires générées on-policy, pas de démonstrations statiques). En utilisant l’information mutuelle, les auteurs distinguent deux composantes de la planification : les patterns généraux (comment structurer un plan) et les connaissances spécifiques au task (quelles étapes faire dans un domaine particulier). Pour les patterns généraux, ils identifient trois régions où le post-training est inutile (le modèle le sait déjà), efficace, ou sans support suffisant. OPD a une région efficace plus large que GRPO dans les settings à faible qualité et horizon long, car elle fournit des directions de mise à jour plus cohérentes. Pour les connaissances spécifiques, distiller des procédures jamais vues d’un enseignant avec des connaissances diverses peut endommager le world model préexistant de l’étudiant sans stabiliser la nouvelle connaissance.

Phase 3 : intégration avec MOPD. Multi-teacher on-policy distillation signifie prendre plusieurs enseignants, chacun expert dans un environnement différent, et faire converger le modèle vers des patterns de planification partagés. Les patterns compatibles permettent la généralisation cross-environnementale. Les patterns partiellement partagés supportent l’apprentissage continuel. Les patterns complètement en conflit causent une interférence sévère : si deux enseignants planifient de manières incompatibles, l’étudiant n’apprend pas les deux, il s’empire.

Les limites. L’étude se déroule dans un environnement contrôlé, qui est à la fois le point fort (isolation des variables) et la limite principale. La transférabilité au monde réel, avec des données bruitées et des environnements non simulables, reste à démontrer. Les auteurs ne rapportent pas dans l’abstract des chiffres de benchmark comparables avec les modèles de production. Le code et le dataset sont publiés sur GitHub et Hugging Face pour qui veut répliquer.

Pour qui construit des agents en production, l’implication pratique la plus directe concerne la phase de post-training. Si tu affines un agent sur des tasks multi-tours, la qualité des trajectoires de training devient la variable dominante. Un seul pas erroné dans une longue séquence vaut plus de dix pas erronés dans des séquences courtes, car l’erreur se propage. Et si tu distilles de plusieurs modèles enseignants, vérifie d’abord que leurs styles de planification sont compatibles.