Un paper paru sur HF Daily Papers aborde un problème concret du retrieval : quand c’est un agent IA qui consomme les documents, ce qui détermine la qualité de la réponse est la façon dont fonctionne l’ensemble des documents récupérés. Les systèmes d’évaluation actuels notent chaque document seul avec des métriques comme l’nDCG et additionnent les résultats. Ils ignorent les interactions entre documents : deux textes peuvent être tous les deux pertinents mais redondants entre eux, ou peuvent se contredire, ou l’un peut compléter l’autre. Une évaluation document par document ne le voit pas.

Pourquoi cela te concerne

Si tu construis des systèmes RAG ou des agents de recherche, la réponse que tu obtiens dépend de l’ensemble de documents qui finit dans le contexte du modèle. Le paper le mesure : 12 rerankers testés sur un benchmark de neuf dimensions et environ 28.000 rubriques, et le meilleur atteint à peine 45% de couverture sur les dimensions de coordination entre documents. La méthode qu’ils proposent, Rubric4Setwise, convertit les critères d’évaluation en signaux de sélection d’ensemble et obtient les meilleures réponses avec moins de documents et moins de tours de recherche.

Cela se rattache au fil que nous suivons : comme nous l’avons raconté le 20 juillet, trois papers convergaient sur l’idée que dans les systèmes agentiques l’architecture compte plus que le modèle. La qualité du retrieval est une partie de cette architecture.

Dans le détail

Le problème est concret et le reconnaît quiconque a construit un système RAG dans la vraie vie. Tu récupères dix documents avec une recherche sémantique, tu les passes à un reranker qui les ordonne par pertinence individuelle, et tu les donnes au modèle. Trois documents disent la même chose de manière légèrement différente, deux se contredisent, et le morceau d’information qui était vraiment nécessaire est à la sixième place avec un score plus bas.

La métrique standard, l’nDCG, mesure à quel point les documents pertinents sont en haut de la liste. Elle traite chaque document comme une île. Si deux documents sont tous les deux pertinents à 90% et disent la même chose, l’nDCG les récompense tous les deux. L’agent qui les reçoit a un contexte répétitif et aucune information nouvelle.

Le paper construit SetwiseEvalKit, un benchmark avec trois niveaux et neuf dimensions d’évaluation, couvrant des scénarios de format court et long, avec environ 28.000 rubriques. Les dimensions mesurent des choses que l’nDCG ignore : redondance (à quel point les documents se répètent), conflit (quand ils se contredisent), complémentarité (quand ils se complètent mutuellement), couverture (à quel point l’information nécessaire est présente dans l’ensemble).

Les résultats des tests sur 12 rerankers sont nets. Le meilleur atteint au maximum 45% de couverture sur les dimensions de coordination entre documents. Aucune méthode ne maintient les meilleures performances dans les deux scénarios (format court et long). Les dimensions cross-document sont faibles partout.

La proposition opérationnelle s’appelle Rubric4Setwise. C’est une méthode sans entraînement qui prend les critères d’évaluation des rubriques et les convertit en signaux pour sélectionner l’ensemble de documents, pas le seul. Le résultat : les meilleures réponses en aval avec moins de documents et moins de tours de recherche. C’est la seule méthode qui maintient des résultats à l’état de l’art dans les deux scénarios.

À quel point faire confiance

Le paper est basé sur le résumé et la page Hugging Face : le texte complet n’était pas accessible au moment de la collecte. Les chiffres (12 rerankers, 45% de couverture, 28.000 rubriques) viennent du résumé et ne sont pas vérifiables indépendamment. Une question dans les commentaires signale l’absence des rerankers pointwise des tests, et les auteurs répondent qu’ils les ont classés sous « Adhoc Reranking ». La question centrale reste ouverte : les dimensions d’évaluation (redondance, conflit, complémentarité) sont-elles stables entre différents domaines, ou doivent-elles être recalibrées pour chaque cas d’usage ? La définition d’un « bon ensemble de documents » change beaucoup entre une due diligence légale et une recherche de code.

Pour ceux qui veulent approfondir les bases du retrieval augmenté, le paper original sur le RAG reste le point de départ.