Un paper sur HuggingFace documente un phénomène que quiconque travaille avec des agents a toujours soupçonné : quand l’utilisateur change d’avis au milieu d’une conversation, les modèles perdent le fil. Le problème réside dans le tracking de l’intention. Le modèle a accès au contexte, mais ne sait pas le recalculer quand l’objectif change.

Les chercheurs ont pris des tâches connues, évaluées en version single-turn, et les ont transformées en conversations multi-turno où l’intention de l’utilisateur se révèle progressivement, est révisée, parfois détournée à mi-parcours. Le protocole d’évaluation reste le même, donc les benchmarks existants servent de banc d’essai sans nouvelles annotations.

Le résultat est net : les modèles qui performent bien dans le setting statique s’effondrent quand l’intention évolue. La baisse est consistante entre différentes familles de modèles. Les performances sur des tâches fully-specified, la métrique sur laquelle toute l’industrie se mesure, ne prédisent pas comment un modèle se débrouille quand l’utilisateur se ravise sur ce qu’il a demandé.

Pour qui utilise des agents au quotidien, cela explique un pattern frustrant et jusqu’à présent inexplicable. Vous demandez une chose, le modèle commence bien. Vous ajoutez une contrainte, corrigez une prémisse, changez un détail. Après deux ou trois de ces ajustements, l’agent se convainc d’un objectif qui n’est plus celui que vous lui avez demandé. Il reste cohérent pas à pas, mais globalement hors de piste.

Comme nous le disions le 25 juillet avec ICAE-Bench et WorkBuddy, les benchmarks apprennent à tester les agents sur des intentions vagues et incomplètes. Ce paper va un cran plus loin : il montre que même quand le modèle part avec les bonnes informations, il ne sait pas se recalibrer quand ces informations changent.

La conclusion pratique : si votre workflow agentique prévoit une itération avec corrections de trajectoire, le modèle seul ne suffit pas. Il faut un mécanisme explicite qui garde trace de l’objectif courant et le réinjecte à chaque tour.

En détail

Le paper part d’une observation simple. Les modèles sont évalués presque toujours sur des tâches fermées : une demande, une réponse, un score. Mais quand vous utilisez un agent, la conversation fonctionne différemment. Vous partez avec une idée approximative, l’affinez, parfois la renversez. L’utilisateur réel spécifie l’intention peu à peu, et les spécifications initiales sont presque toujours incomplètes ou erronées.

Pour mesurer cet écart, les chercheurs ont construit un framework qui prend des tâches de benchmarks existants et les transforme en conversations multi-turno. L’utilisateur simulé révèle l’intention de manière incrémentale : d’abord une demande vague, puis une correction, puis une révision, parfois une redirection complète. Le protocole d’évaluation reste identique à l’original, donc on peut comparer directement les performances statiques et dynamiques sur la même tâche.

Le résultat est une baisse généralisée. Les modèles qui dans les tests statiques obtiennent des scores élevés perdent des points de manière substantielle dans le scénario dynamique, et le pattern se répète entre plusieurs familles architecturales. La performance en single-turn, la métrique qui domine le discours public sur les modèles, est aveugle à cette dimension.

Un commentateur sur HuggingFace, qui travaille avec des coding agents sur de longs projets, ajoute un détail utile. Le modèle construit une représentation compressée du projet qui peut dériver vers les hypothèses introduites dans les itérations précédentes. L’agent reste cohérent avec les assomptions accumulées, mais s’aligne de moins en moins avec l’objectif original. C’est un échec subtil : pas à pas tout tient, mais globalement on s’est perdu.

Pour qui construit des workflows agentiques, l’implication est opérationnelle. Si la session prévoit des corrections et révisions, la simple mémoire de conversation ne maintient pas l’alignement. Il faut un état explicite de l’objectif, mis à jour à chaque changement de trajectoire et réinjecté dans le contexte à chaque tour. Le playbook De la chat kilomètrique à la nouvelle session va dans cette direction : compacter la conversation en un contexte de départ propre, sans perdre les décisions et contraintes.

Ce qui reste ouvert. Le paper décrit le phénomène et le mesure, mais les solutions restent encore vagues. Les mécanismes explicites de tracking de l’intention (mémoire structurée, état de l’objectif réinjecté) sont des propositions raisonnables, mais ne sont pas testés dans ce travail. Le framework d’évaluation, cependant, est immédiatement réutilisable : qui construise un banc de prova avec des intentions qui évoluent peut mesurer son agent sur une dimension que les benchmarks standard ignorent.