Trois papers publiés le même jour sur Hugging Face Daily Papers convergent sur une question que les benchmarks avaient jusqu’à présent contournée : l’expérience accumulée rend-elle vraiment les agents meilleurs au fil du temps ?

PAST-Bench, ContinualSkillBench et « When Agents Learn to Be You » mesurent trois facettes du même problème. Le premier vérifie si un agent qui conserve préférences, historiques et compétences entre les sessions s’améliore dans les tâches suivantes. Le second mesure si les agents peuvent évoluer leurs propres compétences en les réutilisant dans des tâches enchaînées. Le troisième documente le risque que les « persona skills », des compétences personnelles distillées de l’historique des interactions, deviennent un vecteur de fuite de données privées.

La réponse commune est honnête et décevante : des améliorations existent, mais elles sont hétérogènes et fragiles. PAST-Bench, sur sept modèles et quatre frameworks, constate que deux agents avec le même gain final peuvent l’avoir obtenu par des chemins complètement différents, et pas toujours par le chemin prévu d’enregistrement, récupération et mise à jour. ContinualSkillBench montre que la majorité de l’amélioration provient de l’adaptation au contexte précédent, non de véritables compétences réutilisables. Les modèles les moins performants accumulent des collections fragmentées de compétences spécifiques au lieu de les consolider.

Pour ceux qui utilisent ou construisent des agents dans leur travail, l’implication est concrète. Comme nous l’avons rapporté le 4 août, la mémoire des agents coûte des tokens et doit être conçue. Il apparaît maintenant que même lorsque vous la concevez et la payez, le rendement n’est pas garanti. Un agent peut conserver les informations sans pour autant devenir un agent qui apprend.

En détail

Les trois benchmarks comblent un vide que la recherche sur les agents avait laissé ouvert. Jusqu’à aujourd’hui, l’évaluation se concentrait sur l’exécution unique : un agent reçoit une tâche, l’exécute, est mesuré sur le résultat. Ce qui se passait entre une tâche et la suivante, et surtout si l’expérience accumulée produisait un agent systématiquement meilleur, échappait aux radars.

PAST-Bench (Université Princeton) construit 26 scénarios et 204 épisodes pour isoler cette variable. L’idée est simple mais rigoureuse : chaque agent traverse des séquences ordonnées de tâches en sessions isolées, et les chercheurs activent et désactivent la mémoire accumulée pour mesurer la différence. Ils testent sept modèles de base et quatre frameworks agentiques. Le résultat est que l’amélioration existe, mais est hétérogène. Deux agents avec le même gain final peuvent différer profondément dans le chemin qui les y a menés : l’un suit le chemin prévu (enregistre l’expérience, la récupère si nécessaire, la met à jour), l’autre obtient le même résultat sans suivre ce chemin, ce qui signifie que le gain est accidentel, non systématique.

Le framework Hermes+, développé par les mêmes auteurs, intervient sur cinq points de la boucle agente pour forcer le chemin correct. Le gain moyen augmente et les traces du chemin deviennent plus claires, notamment dans les tâches qui nécessitent de remplacer des informations obsolètes. L’effet reste cependant dépendant du modèle et de sa capacité.

ContinualSkillBench (Université de Pékin) aborde le problème sous l’angle des compétences. Cinq domaines, cent sous-tâches chacun, ordonnées par difficulté croissante et avec des opportunités de réutilisation croisée. La découverte principale est que l’apprentissage in-context (le modèle s’adapte au contexte précédent) produit des résultats comparables au maintien explicite des compétences. La majorité de l’amélioration provient donc de la simple adaptation au contexte précédent, non de véritables abstractions réutilisables. Les compétences explicites aident, mais seulement dans les tâches qui requièrent des procédures répétables ou des résultats précis. Et les modèles les moins performants ont tendance à accumuler de grandes collections fragmentées de compétences spécifiques, au lieu de les consolider en quelque chose de transférable.

Le troisième paper, « When Agents Learn to Be You », porte le débat sur le terrain de la sécurité. Les « persona skills » sont des artefacts portables qui distillent l’historique des interactions personnelles d’un utilisateur : préférences, habitudes, routines. Lorsque ces compétences sont réutilisées par des agents en aval, elles concentrent des signaux personnels fragmentés et les amplifient. Le benchmark, appelé AntiSkillBench, évalue les risques de fuite et d’usurpation d’identité tout au long du pipeline. La défense conçue pour les dossiers individuels ou la mémoire basée sur la récupération ne tient pas lorsque l’information personnelle est distillée en une compétence exécutable et portable.

La convergence des trois papers dit une chose clairement : l’évolution de l’agent au fil du temps est le prochain goulot d’étranglement. L’agent qui se souvient a fait un demi-pas. Il doit consolider ce dont il se souvient en compétences transférables, et le faire sans transformer l’historique personnel de l’utilisateur en surface d’attaque. Les benchmarks disent que nous n’y sommes pas encore, et ils le disent avec des chiffres.