Due benchmark usciti a giorni di distanza misurano il divario fra le condizioni di test e la realtà operativa. SWE-Touch valuta cosa succede quando un utente umano modifica il codice mentre un agente AI sta lavorando su un repository. Il classico SWE-bench dava per scontato che il codice restasse immutato fra inizio e fine del task: nella realtà, gli sviluppatori continuano a fare commit mentre l’agente lavora.

ExtractBench, di cui abbiamo parlato il 3 agosto, mette gli agenti davanti a 4.869 pagine di documenti aziendali reali con layout complessi, invece che a testi puliti. Anche lì, i modelli frontier tagliano i record lunghi e i coding agent costano troppo rispetto al valore che portano.

In entrambi i casi, il pattern è lo stesso: i benchmark tradizionali misuravano il meglio che un agente può fare in condizioni ideali. Questi due misurano cosa succede quando le condizioni non lo sono, e i frontier model perdono prestazioni in modo significativo.

Per chi sta schierando agenti in produzione, la differenza conta. SWE-bench ti dice quanto un modello vale quando nessuno tocca niente. La produzione vera ha sviluppatori che commitano mentre l’agente lavora, documenti con tabelle spezzate, contesto che si sposta. Il delta fra il punteggio sul benchmark pulito e quello sul benchmark realistico è la misura di quanto sei esposto quando l’agente esce dalla demo.

Nel dettaglio

Il problema che SWE-Touch e ExtractBench affrontano è strutturale. SWE-bench, il benchmark di riferimento per i coding agent, prende issue reali da GitHub e misura se un agente risolve il problema. Ma fissa il repository al momento dell’apertura dell’issue: nessuno tocca il codice mentre l’agente lavora. Nella vita vera, un collega fa un push, una dipendenza si aggiorna, il file che l’agente sta leggendo cambia sotto di lui. SWE-Touch simula esattamente questo: l’utente umano modifica il codice durante l’esecuzione dell’agente, e il benchmark misura come l’agente reagisce.

ExtractBench affronta un problema simile sul versante documentale. I benchmark di estrazione dati tradizionali usano documenti con struttura prevedibile. ExtractBench raccoglie 67 tipi di documento aziendale reale, per 4.869 pagine totali, e misura quattro dimensioni insieme: accuratezza, completezza, tracciabilità e costo. I risultati mostrano che i vision-language model tagliano i record quando sono lunghi, e i coding agent che navigano il documento passo per passo spendono troppo per il valore che portano.

Quello che unisce i due benchmark è l’idea che la valutazione debba avvicinarsi alle condizioni di produzione. La misurazione multi-dimensionale, non solo accuratezza ma anche costo e tracciabilità, cambia il giudizio sui modelli. Un agente che ha il 90% di accuratezza su SWE-bench può crollare quando il codice cambia a metà lavoro, perché il suo piano di azione era costruito su uno stato che non esiste più.

Il limite di entrambi è che sono comunque simulazioni. SWE-Touch simula le modifiche umane secondo pattern predefiniti, non cattura la creatività distruttiva di uno sviluppatore vero che riscrive un file intero mentre l’agente lavora sulla vecchia versione. ExtractBench usa documenti reali ma li seleziona, non copre tutti i casi che una pipeline documentale aziendale può incontrare. Per chi vuole farsi un’idea concreta di quanto il proprio agente regge in produzione, il metodo del banco di prova personalizzato resta il passo successivo: prendere i propri casi, sporcarli, e misurare.