FinanceComplexQA est un benchmark open-ended pour évaluer la performance des agents d’IA et des systèmes RAG sur des documents financiers industriels. Les chercheurs ont généré 2.000 documents professionnels avec un système appelé Finance-LaTeX SKILL, qui produit des mises en page complexes (tableaux imbriqués, notes de bas de page, renvois croisés) à partir de connaissances expertes. Sur ces documents, il y a 2.026 tâches de recherche approfondie avec 6.000 paires question-réponse.

L’angle pour qui utilise l’IA dans son domaine est la variance entre agents. L’article confirme ce que quiconque a essayé de faire lire des bilans ou des prospectus à un assistant sait déjà : certains agents se trompent sur les calculs numériques, d’autres perdent le fil du raisonnement multi-hop (où vous devez connecter des informations dispersées sur différentes pages), d’autres encore résument bien mais sautent l’analyse de contexte. Le benchmark le mesure de manière systématique, avec un Agent-as-a-Judge qui évalue les réponses ouvertes sur plusieurs métriques plutôt que de chercher une correspondance exacte avec une réponse modèle.

Pourquoi c’est pertinent pour vous : si vous envisagez de faire lire à l’IA les documents de votre domaine, ce travail vous dit où regarder pour comprendre si l’agent que vous avez choisi est à la hauteur. Les documents ont les mêmes caractéristiques qui posent problème à l’extraction dans la vie réelle.

Comme nous l’avons dit le 23 juillet avec DocOps, mesurer les agents sur les documents est le vide que SWE-bench (construit pour le code) ne comblait pas. FinanceComplexQA descend dans le vertical : même principe, domaine spécifique.

En détail

Le contexte : les benchmarks pour agents se sont multipliés au cours de l’année écoulée, mais la plupart couvrent le code (SWE-bench et dérivés) ou des tâches généralistes (GAIA). Les documents financiers sont un domaine particulier car ils combinent trois difficultés qui coexistent rarement : calculs numériques sur des tableaux denses, raisonnement multi-hop à travers des sections reliées par des renvois croisés, et analyse de contexte qui nécessite de savoir dans quel scénario industriel s’inscrit ce que vous lisez.

Le choix méthodologique intéressant est la génération synthétique de documents. Au lieu de collecter des bilans réels (avec des problèmes de licence, de confidentialité et de variété insuffisante), les chercheurs ont construit un agent, Finance-LaTeX SKILL, qui synthétise des documents avec des mises en page complexes à partir de connaissances expertes. L’avantage est le contrôle : ils peuvent générer des cas avec n’importe quelle combinaison de difficultés et savent quelle réponse attendue est correcte parce qu’ils l’ont construite eux-mêmes. L’inconvénient est que les documents sont synthétiques, et un modèle qui a vu des millions de bilans réels pendant le pré-entraînement pourrait se comporter différemment sur des mises en page inventées.

L’évaluation utilise un Agent-as-a-Judge : un modèle évalue les réponses ouvertes des agents testés sur plusieurs métriques, plutôt que de les comparer à une réponse de référence. C’est le même schéma que nous avons vu dans d’autres benchmarks récents, et il porte avec lui le même problème que nous avons décrit dans l’article sur les LLM comme juge : le juge a ses propres biais. Les chercheurs déclarent que les réponses de référence sont « relativement stables et permanentes », mais l’évaluation ouverte reste le point faible méthodologique.

Les chiffres clés : 2.000 documents, 2.026 tâches, 6.000 paires question-réponse, support bilingue (chinois et anglais), six scénarios mainstream et sept types de tâches. Les dimensions se situent dans la gamme moyenne des benchmarks du secteur.

Ce qui reste ouvert : l’article est disponible sous forme de page sur Hugging Face, mais le texte complet n’a pas été téléchargé pour cette entrée. Les métriques de performance des agents individuels ne sont pas rapportées dans le résumé, nous ne pouvons donc pas dire qui gagne. Les documents sont synthétiques, donc les résultats pourraient ne pas se transférer directement aux bilans réels qu’un professionnel rencontre au travail. Et comme toujours avec les benchmarks, le score indique ce qui s’est passé sur cet ensemble, non ce que fera votre agent sur vos documents : pour cela, vous avez besoin d’un banc d’essai construit sur vos cas, comme l’expliquent les leçons sur la façon d’évaluer sans benchmark et de construire votre propre banc de test.