Un gruppo di ricerca ha rilasciato AdvancedMathBench, un benchmark per matematica avanzata che copre livelli universitari e di qualificazione dottorale. Il cuore è ProverBench: 296 problemi che richiedono dimostrazioni complete, non solo la risposta finale. La novità sta nella verifica: un sistema automatico addestrato su annotazioni esperte produce non solo il verdetto (corretto/sbagliato), ma anche valutazioni granulari degli errori nella dimostrazione.

Perché ti riguarda: se usi AI su problemi quantitativi, questo benchmark mostra dove i modelli reggono davvero oltre le medie del liceo. GPT-5.5-xhigh, il modello migliore testato, raggiunge 75.8% sullo split undergraduate e 66.1% su quello doctoral, lasciando margine considerevole. VerifierBench, la parte dedicata alla verifica, contiene 888 dimostrazioni generate dai modelli con ground truth esperto: qui il modello migliore arriva a un Balanced F1 di 65.1, con tassi di vero negativo bassi—i modelli faticano a riconoscere gli errori critici.

Il benchmark è costruito per superare il limite della sola correttezza finale: la granularità fine sulla dimostrazione aiuta a capire dove il ragionamento si rompe, non solo se l’ultima riga è sbagliata.

Nel dettaglio

Il contesto

I benchmark matematici esistenti (GSM8K, MATH, alcuni dataset olimpici) coprono bene il livello liceale e olimpico, ma si fermano lì. Per la matematica universitaria e oltre, le valutazioni sono sparse e spesso si limitano a controllare se la risposta finale è corretta, senza guardare al percorso. AdvancedMathBench nasce per colmare questo buco: problemi da corsi undergraduate e da esami di qualificazione dottorale, con una pipeline di verifica che va oltre il match della risposta.

Cosa contiene

ProverBench ha 296 problemi divisi in due split: undergraduate (UGD) e doctoral qualifying exam (QE). Ogni problema richiede una dimostrazione completa scritta. La pipeline di verifica automatica è addestrata su annotazioni esperte e produce due output:

1. Verdetto di correttezza (corretto, parziale, sbagliato).
2. Valutazioni dettagliate degli errori: dove la dimostrazione fallisce (logica, algebra, definizioni mal applicate), con allineamento forte agli esperti umani su traiettorie di prova tenute fuori dal training.

VerifierBench contiene 888 dimostrazioni generate da modelli, ciascuna con il ground truth esperto. Serve a valutare se i modelli sanno riconoscere quando una dimostrazione è valida e produrre rationale di verifica corrette.

I risultati

Sullo split undergraduate, il modello migliore (GPT-5.5-xhigh) arriva a 75.8%; su quello doctoral a 66.1%. Questi numeri dicono che la matematica avanzata resta una sfida aperta anche per i modelli frontier. Su VerifierBench, il Balanced F1 migliore è 65.1%, con tassi di vero negativo bassi: i modelli tendono a non riconoscere dimostrazioni sbagliate come tali. Questo è un problema pratico: se usi un modello per controllare il tuo lavoro quantitativo, un verificatore debole sui falsi negativi ti lascia passare errori nascosti.

Implicazioni

Se lavori su problemi quantitativi complessi, questo benchmark ti dice due cose:

1. I modelli non sono ancora affidabili su matematica universitaria senza supervisione: i margini di errore sono ampi.
2. La verifica automatica è ancora acerba: un modello che genera una dimostrazione sbagliata ha buone probabilità di non riconoscerla come tale se gliela passi indietro.

Questo non significa che i modelli siano inutili su questi problemi, ma che vanno usati come draft che un esperto controlla, non come oracoli. La granularità fine del benchmark aiuta a capire dove il modello sbaglia (passaggi logici, applicazione errata di teoremi, salti impliciti), informazione utile se stai costruendo un flusso che integra l’AI nel tuo lavoro quantitativo.

Limiti

296 problemi sono un campione piccolo rispetto ai benchmark liceali. La copertura disciplinare (undergraduate e doctoral qualifying) è ampia, ma non esaustiva: alcune branche avanzate mancano. La pipeline di verifica è addestrata su annotazioni esperte, ma l’accordo con gli umani, pur forte, non è perfetto: margini di errore restano. Il paper non specifica quanto costano le annotazioni esperte né quanto tempo serve per produrle, quindi scalare il benchmark potrebbe essere oneroso.