Un groupe de chercheurs a publié WorldCupArena, un benchmark qui évalue les modèles de langage et les agents de deep-research sur la prédiction des matchs de football. Avant chaque match, le système reçoit un ensemble d’informations ou effectue lui-même une recherche, puis prédit le résultat, le score, les joueurs clés et les statistiques. Après le match, les prédictions sont confrontées au résultat réel. La première évaluation couvre 104 matchs de la Coupe du monde 2026 sur 13 systèmes.

Pourquoi ça te concerne. Les benchmarks traditionnels mesurent ce qu’un modèle sait au moment de l’entraînement. WorldCupArena mesure ce qu’un agent réussit à découvrir et combiner quand les données changent constamment. C’est le même problème que tu affrontes quand tu demandes à un assistant de préparer une offre avec les actualités d’aujourd’hui, ou d’analyser un marché qui bouge. La capacité à chercher des informations fraîches, les filtrer et prendre position avant que la réponse soit disponible, c’est la compétence qui sépare un agent utile d’un modèle qui répète le passé.

Les résultats sont honnêtes : par rapport aux cotes des bookmakers et aux fans humains, le meilleur système affiche des gains faibles sur le résultat et le score exact. Le gain net arrive sur la métrique Scoreline, qui crédite partiellement quand le score prédit est proche du résultat réel. Les modèles avec la même précision sur le résultat se différencient sur les prédictions détaillées, où le raisonnement compte plus que la mémoire.

Si tu veux essayer : le code, les prompts et les scripts d’évaluation sont open source sur le dépôt GitHub du projet.

En détail

Ce qui existait avant.

Les benchmarks pour LLM ont un problème structurel : ils mesurent la connaissance figée au moment de l’entraînement. MMLU, HumanEval, SWE-bench testent tous des choses que le modèle a probablement déjà « lues » dans les données d’entraînement. Même GAIA, que nous avons présenté comme le thermomètre le plus honnête pour les assistants généraux (le paper est ici), utilise des questions avec une réponse déjà connue au moment du test.

WorldCupArena inverse l’approche : il choisit des événements qui ne se sont pas encore produits. Le modèle ne peut pas avoir la réponse dans ses poids, parce que la réponse n’existe pas encore. Il doit la chercher, la combiner et prendre position avant que le match se joue.

Comment ça marche, en termes simples.

Avant chaque match, le système reçoit une de deux choses : un ensemble de preuves standardisé (les mêmes données pour tous les modèles, pour les comparer équitablement) ou l’accès à une recherche libre sur le web. Le modèle doit alors prédire le résultat (victoire, match nul, défaite), le score exact, les joueurs et les événements clés, les statistiques du match et l’issue du tournoi.

Après le coup de sifflet final, chaque prédiction est confrontée au résultat enregistré. Le score n’est pas binaire : la métrique Scoreline attribue un crédit partiel quand le score prédit est proche mais pas exact, et c’est là que les modèles se différencient le plus.

Ce que disent les chiffres.

104 matchs, 13 systèmes testés. La donnée la plus intéressante est la comparaison avec deux références externes : les cotes des bookmakers et les prédictions des fans humains. Le meilleur système surpasse ces références de peu sur le résultat et le score exact. Le gain s’accumule sur la métrique Scoreline et les prédictions détaillées.

Ce que ça signifie : les bookmakers sont déjà très doués pour prédire qui gagne, parce qu’ils le font depuis des décennies avec des modèles statistiques affinés. L’avantage d’un agent IA émerge dans les analyses plus fines (qui marque, comment le match se déroule, quels événements sont probables). Les modèles avec la même précision brute sur le résultat se séparent quand tu les regardes dans les détails.

Limites.

L’échantillon est de 104 matchs : consistant mais pas énorme, et le football est notoirement imprévisible. Les petits gains sur les prédictions de résultat pourraient refléter la difficulté intrinsèque de la tâche plutôt que les limites des modèles. Le benchmark est cependant conçu pour être réutilisable : de nouveaux calendriers s’ajoutent à mesure que les compétitions avancent, et les futurs modèles sont évalués sans que les anciens résultats ne soient déjà connus.

Le paper a été publié sur Hugging Face le 20 juillet 2026, avec le code, les prompts et les scripts d’évaluation open source sur le dépôt GitHub du projet.