Un groupe de recherche a publié AdvancedMathBench, un benchmark pour les mathématiques avancées couvrant les niveaux undergraduate et de qualification doctorale. Le cœur du projet est ProberBench : 296 problèmes exigeant des démonstrations complètes, bien au-delà de la simple réponse finale. La nouveauté réside dans la vérification : un système automatique entraîné sur des annotations d’experts produit non seulement un verdict (correct/incorrect), mais aussi des évaluations granulaires des erreurs dans la démonstration.

Pourquoi cela vous concerne : si vous utilisez l’IA sur des problèmes quantitatifs complexes, ce benchmark montre où les modèles tiennent véritablement au-delà des standards du lycée. GPT-5.5-xhigh, le meilleur modèle testé, atteint 75.8 % sur le split undergraduate et 66.1 % sur le split doctoral, laissant une marge considérable. VerifierBench, la partie consacrée à la vérification, contient 888 démonstrations générées par les modèles avec vérité de référence d’experts : ici le meilleur modèle atteint un F1 équilibré de 65.1 %, avec des taux de vrais négatifs faibles—les modèles ont du mal à reconnaître les erreurs critiques.

Le benchmark est conçu pour dépasser la limite de la seule exactitude finale : la granularité fine sur la démonstration aide à comprendre où le raisonnement s’effondre, pas seulement si la dernière ligne est erronée.

En détail

Le contexte

Les benchmarks mathématiques existants (GSM8K, MATH, certains datasets olympiques) couvrent bien le niveau lycéen et olympique, mais s’arrêtent là. Pour les mathématiques universitaires et au-delà, les évaluations sont éparses et se limitent souvent à vérifier si la réponse finale est correcte, sans examiner le processus. AdvancedMathBench naît pour combler cette lacune : des problèmes issus de cours undergraduate et d’examens de qualification doctorale, avec un pipeline de vérification allant bien au-delà du simple appairage de réponse.

Contenu

ProverBench contient 296 problèmes divisés en deux splits : undergraduate (UGD) et doctoral qualifying exam (QE). Chaque problème exige une démonstration complète écrite. Le pipeline de vérification automatique est entraîné sur des annotations d’experts et produit deux résultats :

1. Verdict de corretude (correct, partiel, incorrect).
2. Évaluations détaillées des erreurs : où la démonstration échoue (logique, algèbre, définitions mal appliquées), avec un alignement fort aux experts humains sur les trajectoires de preuve exclues de l’entraînement.

VerifierBench contient 888 démonstrations générées par les modèles, chacune avec la vérité de référence d’experts. Elle sert à évaluer si les modèles savent reconnaître quand une démonstration est valide et produire des justifications de vérification correctes.

Les résultats

Sur le split undergraduate, le meilleur modèle (GPT-5.5-xhigh) atteint 75.8 % ; sur le split doctoral 66.1 %. Ces chiffres indiquent que les mathématiques avancées restent un défi ouvert même pour les modèles de pointe. Sur VerifierBench, le meilleur F1 équilibré est 65.1 %, avec des taux de vrais négatifs bas : les modèles tendent à ne pas reconnaître les démonstrations incorrectes comme telles. C’est un problème pratique : si vous utilisez un modèle pour vérifier votre travail quantitatif, un vérificateur faible sur les faux négatifs vous laisse passer des erreurs cachées.

Implications

Si vous travaillez sur des problèmes quantitatifs complexes, ce benchmark vous dit deux choses :

1. Les modèles ne sont pas encore fiables sur les mathématiques universitaires sans supervision : les marges d’erreur sont amples.
2. La vérification automatique est encore immature : un modèle qui génère une démonstration incorrecte a de bonnes chances de ne pas la reconnaître comme telle si vous la lui renvoyez.

Cela ne signifie pas que les modèles sont inutiles sur ces problèmes, mais qu’ils doivent être utilisés comme des brouillons qu’un expert examine, non comme des oracles. La granularité fine du benchmark aide à comprendre où le modèle se trompe (étapes logiques, application erronée de théorèmes, sauts implicites), information utile si vous construisez un flux intégrant l’IA dans votre travail quantitatif.

Limites

296 problèmes constituent un échantillon petit comparé aux benchmarks lycéens. La couverture disciplinaire (undergraduate et qualifying doctoral) est large, mais non exhaustive : certaines branches avancées manquent. Le pipeline de vérification est entraîné sur des annotations d’experts, mais l’accord avec les humains, bien que fort, n’est pas parfait : des marges d’erreur subsistent. L’article ne précise ni le coût des annotations d’experts ni le temps requis pour les produire, donc adapter le benchmark pourrait s’avérer coûteux.