ExtractBench est un benchmark pour l’extraction de données guidée par schéma : étant donné un document et un schéma que tu définis, l’agent doit retourner les valeurs correctes en indiquant où il les a trouvées. Il couvre 4.869 pages sur 370 documents commerciaux, 8 domaines métier et 67 types de documents. Publié sur arXiv le 31 juillet 2026, c’est le premier benchmark à mesurer ensemble la précision des valeurs, la complétude des enregistrements, la traçabilité des sources et le coût.

Si tu utilises des agents pour extraire des données de documents (factures, contrats, tarifs, formulaires), cela change la question que tu te poses avant de les choisir. Le paper montre un pattern clair : les VLM commerciaux se débrouillent bien sur les documents courts mais tronquent les listes d’enregistrements quand le document s’allonge. Les agents de codage maintiennent la précision, mais à un coût beaucoup plus élevé. LlamaExtract Agentic Plus gagne sur les trois métriques avec une précision comparable aux agents de codage pour une fraction du coût.

C’est le fil que nous avions suivi avec DocOps : SWE-bench mesure le code, mais les documents restaient non couverts. ExtractBench comble le fossé avec un banc d’essai concret. L’intérêt du paper est la méthodologie : la précision évaluée comme complétude des enregistrements (et non comme valeurs individuelles correctes), et le coût mesuré aux côtés de la qualité.

Le dataset et le code d’évaluation sont publics sur HuggingFace et GitHub : tu peux tester ton agent sur les mêmes documents et comparer.

En détail

Ce qu’il y avait avant.

Les benchmarks pour agents se concentraient sur le code (SWE-bench) ou sur des tâches générales (GAIA). Pour les documents, il manquait un banc d’essai mesurant l’extraction guidée par schéma à l’échelle réelle. DocOps avait identifié le vide ; FinanceComplexQA l’avait partiellement rempli pour le domaine financier. ExtractBench l’affronte sur 67 types de documents et 8 domaines métier, avec 4.869 pages au total.

Comment fonctionne l’évaluation.

L’extraction guidée par schéma fonctionne ainsi : tu définis la structure que tu veux obtenir (par exemple un JSON avec les champs « fournisseur », « date », « articles », « total »), et l’agent lit le document et remplit les champs. ExtractBench mesure trois choses :

• Value F1 order-insensitive : combien de valeurs il a correctement extraites, sans tenir compte de l’ordre d’apparition. Pénalise à la fois les valeurs inventées et les valeurs manquantes.
• Grounding word-level F1 : pour chaque valeur extraite, l’agent doit indiquer les mots exacts du document d’où il les a tirés. Vérifie la provenance au niveau du mot.
• Grounding page-level F1 : la même chose au niveau de la page. Pour les documents longs, savoir « page 14 » c’est déjà une information opérationnelle.

Le coût est mesuré en dollars par document, reporté aux côtés des métriques de qualité.

Comment la vérité terrain est construite.

Le défi de chaque benchmark est d’avoir les bonnes réponses pour comparer l’agent. ExtractBench utilise trois stratégies selon le type de document :

• Documents réels : deux systèmes indépendants extraient les mêmes données. S’ils sont d’accord, la valeur est considérée comme correcte.
• Listes synthétiques : les valeurs sont connues parce qu’elles sont générées artificiellement, donc la comparaison est exacte.
• Formulaires : vérification humaine, car les mises en page irrégulières rendent l’accord entre systèmes insuffisant.

Ce que les chiffres disent.

Les VLM commerciaux vont bien sur les documents courts, mais tronquent les listes d’enregistrements sur les documents longs. C’est une défaillance silencieuse : l’agent ne se trompe pas sur les valeurs qu’il extrait, il en extrait moins qu’il ne devrait. Si tu traites un tarif de 200 lignes et que l’agent t’en retourne 120, tu as une sortie qui semble correcte mais qui est incomplète.

Les agents de codage maintiennent la précision sur les documents longs, mais dépensent beaucoup plus. Le compromis entre précision et coût est le cœur pratique du paper.

LlamaExtract Agentic Plus, produit par LlamaIndex, se place en tête sur les trois métriques, avec un coût comparable aux VLM et une précision comparable aux agents de codage. C’est le point de la courbe où tu dépenses peu et tu gagnes beaucoup, au moins sur ce benchmark.

Limitations.

Le paper vient de sortir et le dataset est nouveau. Les 370 documents couvrent 8 domaines et 67 types, mais la représentativité par rapport à ton domaine spécifique doit être vérifiée. La vérité terrain pour les documents réels repose sur l’accord entre deux systèmes : si les deux se trompent de la même façon, la valeur « correcte » est fausse. Le repo GitHub est run-llama/ExtractBench, l’organisation de LlamaIndex : le fait que votre propre outil gagne le benchmark doit être lu avec cela à l’esprit, même si le code et le dataset sont ouverts et reproductibles.