Tu ouvres ChatGPT, tu demandes un restaurant pour ce soir, et il te suggère un endroit végan. Sauf que tu ne lui as jamais dit que tu étais végétarien. Il a déduit, à partir de quelque conversation précédente, que tu l’étais. Et il a décidé de le traiter comme un fait.

Tu te souviens qu’en mars tu lui as demandé une recette sans viande. À partir de là, le modèle a construit un profil : tu es végétarien. Peut-être que tu l’es, peut-être que non. Peut-être que tu avais des invités végétariens à dîner. Pour le modèle, la distinction n’a pas d’importance : il accumule les attributs et les traite comme certains.

Ce phénomène a un nom dans le paper de Yushi Sun et ses collègues de HKUST : l’over-inference, l’inférence au-delà des preuves. Le modèle prend un signal faible et le promeut au statut de fait établi.

Pourquoi ça te concerne

Si tu utilises des assistants avec mémoire persistente, et à présent c’est presque tous, le problème te regarde directement. ChatGPT Memory, Claude Projects, Gemini avec contexte sauvegardé : tous construisent un profil de toi basé sur ce que tu leur as dit au fil du temps.

Le profil sert à quelque chose. Il t’évite de répéter le contexte à chaque fois, rend les réponses plus pertinentes, accélère le travail. Mais si le profil contient 40% d’attributs inventés, la personnalisation devient une source d’erreur systématique. Le modèle te sert des réponses basées sur ce qu’il croit savoir, et tu n’as aucun moyen de distinguer la part vraie de la part inventée.

Pour ceux qui construisent des agents avec mémoire, la question est encore plus concrète. Si ton agent personnalise les réponses en fonction d’un profil utilisateur qui se met à jour automatiquement, et que ce profil contient 40% d’inventions, tu fournis des réponses fausses dans 40% des cas sans que personne ne s’en rende compte.

Ce que dit le paper

Les chercheurs ont construit MirageBench, un banc d’essai avec 150 personnes fictives équilibrées en trois groupes : des profils stéréotypés (un développeur qui vit de café), des profils contre-stéréotypés (un développeur qui ne boit que des tisanes) et des profils neutres. Six tâches de personnalisation, allant du concret (“recommande un produit en te basant sur le profil”) au spéculatif (“imagine ce que cette personne dirait dans telle situation”), disposées selon un gradient d’imagination.

Ils ont exécuté 12 modèles de 7 familles différentes. Le jugement est confié à un modèle externe indépendant, validé contre un annotateur humain en aveugle sur 400 affirmations : kappa de Cohen à quatre classes de 0,863, binaire de 0,900. Au total, 143.616 affirmations ont été évaluées.

Les chiffres clés :

• Over-inference omniprésente. Chaque modèle, sans exception, fait de la sur-inférence entre 35% et 49% de ses affirmations sur le profil utilisateur. La moyenne cross-modèle est de 41,6%.
• Inversion de l’auto-suivi. Les modèles qui s’auto-évaluent en disant “je suis attentif, je n’invente pas” sont précisément ceux qui inventent le plus. La corrélation négative entre auto-évaluation et réalité mesurée par le juge est forte (rho = -0,60), même si les auteurs la considèrent comme exploratoire étant donné la petite taille de l’échantillon.
• L’auto-évaluation interne fonctionne, la comparaison non. Au sein d’un modèle unique, l’auto-audit classe assez bien ses propres affirmations de la plus à la moins fiable (AUROC entre 0,58 et 0,83). Mais si tu utilises l’auto-évaluation pour comparer deux modèles et choisir le plus fiable, le signal s’inverse.
• Dépendance à la tâche. L’over-inference varie entre 27% et 59% selon la tâche. Certaines tâches déclenchent plus d’imagination que d’autres.
• Accumulation linéaire. Dans un test multi-tour pilote, les attributs inventés s’accumulent de façon approximativement linéaire, avec peu de révision. Le modèle ne revient pas corriger une hypothèse infondée : il l’ajoute au profil et construit dessus.

À quel point faire confiance

Le paper déclare ses limites avec honnêteté, et certaines sont importantes.

L’inversion de l’auto-suivi est le résultat le plus frappant, mais les auteurs eux-mêmes l’étiquettent comme exploratoire. L’échantillon compte 12 modèles, et l’intervalle de confiance bootstrap est très large ([-0,90, +0,06]). La corrélation négative existe, mais la certitude statistique n’est pas solide.

Le test multi-tour est un pilote, pas une étude complète. L’accumulation linéaire avec peu de révision est un signal préoccupant, mais il doit être confirmé à plus grande échelle.

Le juge automatique est validé contre un seul annotateur humain sur 400 affirmations. Le kappa est élevé, mais un annotateur c’est un échantillon mince pour mesurer l’accord.

Les 12 modèles et 7 familles couvrent le paysage actuel, mais l’abstract ne les énumère pas par nom. Si un modèle que tu utilises en est absent, le résultat pourrait ne pas s’appliquer à celui-ci.

Note sur le travail : le paper est sorti le 5 août sur arXiv et Hugging Face, et pour cette analyse j’ai pu consulter l’abstract et les métadonnées, pas le texte intégral.

Qu’en faire

La leçon pratique est directe : ne fais pas confiance à l’auto-évaluation du modèle pour choisir quel modèle utiliser. Si tu demandes à un modèle “à quel point es-tu fiable pour construire des profils utilisateur ?”, la réponse ne t’apporte pas ce que tu cherches. Les modèles les plus confiants d’eux-mêmes sont, dans ce test, ceux qui se trompent le plus.

Pour ceux qui utilisent des assistants avec mémoire :

• Traite le profil utilisateur comme un brouillon, pas comme une fiche documentaire. Si l’assistant a enregistré un profil sur toi, consulte-le de temps à autre. ChatGPT te le montre : va dans Settings, Memory, et vérifie ce qu’il a déduit. Tu y trouveras des attributs corrects, d’autres non, d’autres que tu n’as jamais mentionnés.
• Vérifie la personnalisation avec des questions de contrôle. Si le modèle te suggère quelque chose “parce que tu sais que tu préfères X”, demande-toi si tu le lui as vraiment dit.

Pour ceux qui construisent des agents avec mémoire :

• Intègre la vérification externe au flux. Si ton agent construit des profils, un contrôle externe (un second modèle, un ensemble de règles, un échantillon humain) est plus fiable que l’auto-suivi. Le paper le dit clairement : la vérification externe surpasse l’auto-rapport comme fondation pour une personnalisation en laquelle on peut avoir confiance.
• Ne suppose pas que la mémoire s’améliore avec le temps. Le pilote multi-tour montre accumulation linéaire sans révision. Comme nous le racontions le 5 août dans le radar sur les benchmarks convergents sur les agents, la question de savoir si un agent qui se souvient devient aussi un agent qui apprend trouve ici un premier élément de réponse : il accumule, il ne corrige pas.

Ce qu’il NE faut PAS conclure. Le paper ne dit pas que la personnalisation ne fonctionne pas. Il ne dit pas que la mémoire persistente est inutile. Il dit que la confiance dans le profil se gagne par la vérification, non donnée pour acquise parce que le modèle dit qu’il sait s’y prendre.

Pour approfondir

• Le thème de la mémoire agentica comme choix de conception est abordé dans Mémoire et contexte : l’état de l’art, et dans le radar sur le coût de la mémoire agentica comme critère de conception.
• Pour l’auto-évaluation des modèles comme signal trompeur, le parallèle se fait avec Sycophancy : le modèle qui te donne raison : là aussi, le modèle te dit ce qui t’arrange d’entendre.
• Pour construire un système de vérification qui ne s’appuie pas sur le modèle lui-même, le playbook Compare deux modèles en un quart d’heure te permet de mettre deux modèles en concurrence sur des tâches identiques avec tes données, au lieu de faire confiance à leurs auto-évaluations.