Un gruppo di ricercatori ha pubblicato WorldCupArena, un benchmark che valuta modelli linguistici e agenti deep-research sulla predizione delle partite di calcio. Prima di ogni match, il sistema riceve un pacchetto di informazioni oppure cerca da solo, poi prevede risultato, punteggio, giocatori chiave e statistiche. Dopo la partita, le previsioni si confrontano con il risultato reale. La prima valutazione copre 104 partite del Mondiale 2026 su 13 sistemi.

Perché ti riguarda. I benchmark tradizionali misurano cosa sa un modello al momento dell’addestramento. WorldCupArena misura cosa un agente riesce a scoprire e combinare quando i dati cambiano di continuo. È lo stesso problema che affronti quando chiedi a un assistente di preparare un’offerta con le notizie di oggi, o di analizzare un mercato che si muove. La capacità di cercare informazioni fresche, filtrarle e prendere posizione prima che la risposta sia disponibile è la skill che separa un agente utile da un modello che ripete il passato.

I risultati sono onesti: rispetto alle quote dei bookmaker e ai tifosi umani, il miglior sistema mostra guadagni piccoli su risultato e punteggio esatto. Il guadagno netto arriva sulla metrica Scoreline, che dà credito parziale quando il punteggio previsto è vicino a quello reale. I modelli con la stessa accuratezza sul risultato si differenziano sulle previsioni di dettaglio, dove il ragionamento conta più della memoria.

Se vuoi provarci: il codice, i prompt e gli script di valutazione sono open source sul repo GitHub del progetto.

Nel dettaglio

Cosa c’era prima.

I benchmark per LLM hanno un problema strutturale: misurano conoscenza congelata al momento dell’addestramento. MMLU, HumanEval, SWE-bench testano tutti cose di cui il modello potrebbe aver già “letto” nei dati di training. Anche GAIA, che abbiamo raccontato come il termometro più onesto per gli assistenti generali (il paper è qui), usa domande con risposta già nota al momento del test.

WorldCupArena rovescia l’approccio: sceglie eventi che non sono ancora accaduti. Il modello non può avere la risposta nei pesi, perché la risposta non esiste ancora. Deve cercarla, combinarla e prendere posizione prima che la partita si giochi.

Come funziona, in parole semplici.

Prima di ogni partita, il sistema riceve una di due cose: un pacchetto di evidenza standardizzato (stessi dati per tutti i modelli, per confrontarli alla pari) oppure l’accesso a una ricerca libera sul web. Il modello deve allora prevedere il risultato (vittoria, pareggio, sconfitta), il punteggio esatto, i giocatori e gli eventi chiave, le statistiche di partita e l’esito del torneo.

Dopo il fischio finale, ogni previsione viene confrontata con il risultato registrato. Il punteggio non è binario: la metrica Scoreline assegna credito parziale quando il punteggio previsto è vicino ma non esatto, e questo è il punto dove i modelli si differenziano di più.

Cosa dicono i numeri.

104 partite, 13 sistemi testati. Il dato più interessante è il confronto con due baseline esterne: le quote dei bookmaker e le previsioni dei tifosi umani. Il miglior sistema batte queste baseline di poco su risultato e punteggio esatto. Il guadagno terreno arriva sulla metrica Scoreline e sulle previsioni di dettaglio.

Cosa significa: i bookmaker sono già molto bravi a prevedere chi vince, perché lo fanno da decenni con modelli statistici affinati. Il vantaggio di un agente AI emerge nelle analisi più fini (chi segna, come si svolge la partita, quali eventi sono probabili). Modelli con la stessa accuratezza grezza sul risultato si separano quando li guardi nei dettagli.

Limiti.

Il campione è di 104 partite: consistente ma non enorme, e il calcio è notoriamente imprevedibile. I guadagni piccoli sulle previsioni di risultato potrebbero riflettere la difficoltà intrinseca del compito più che i limiti dei modelli. Il benchmark è però progettato per essere riutilizzato: nuovi calendari si aggiungono man mano che le competizioni procedono, e i modelli futuri vengono valutati senza che i risultati vecchi siano già noti.

Il paper è stato pubblicato su Hugging Face il 20 luglio 2026, con codice, prompt e script di valutazione open source sul repo GitHub del progetto.