Chaque annonce de modèle cite un score, et le radar de ce site en rapporte sans cesse. Ce guide est le décodeur : les quatre bulletins que vous croisez le plus souvent, ce que mesure chacun, et ce qu’il ne vous dit pas pendant qu’on l’agite sous vos yeux.

SWE-bench Verified : le code réel

Ce qu’il mesure. Le modèle (plus exactement : le système modèle plus agent) reçoit 500 issues réelles de projets open source en Python, validées à la main, et doit produire le correctif. Il réussit si les tests du projet passent. Aucun jugement humain : ou le code marche, ou non.

En trente secondes. Le pourcentage est la part d’issues résolues. Deux précautions : le score appartient au couple modèle+scaffold (le même modèle avec un autre agent change le résultat), et le terrain est la maintenance de projets Python existants : il dit peu sur les autres langages et rien sur votre projet. Page : swebench.com, méthodologie vérifiée le 19/07/2026.

Terminal-Bench : le travail de bout en bout

Ce qu’il mesure. Quatre-vingt-neuf tâches difficiles de terminal (compiler, configurer, entraîner, déboguer) dans des environnements conteneurisés, chacune avec une suite de vérification écrite à l’avance. Pour comparer les modèles à armes égales, il utilise un agent neutre et minimal (Terminus 2 : bash seulement). C’est le benchmark le plus proche de « déléguer une vraie tâche à un agent ».

En trente secondes. Pourcentage de tâches menées à bien en autonomie. Regardez si le chiffre vient de l’agent neutre ou d’un agent commercial optimisé : ils mesurent des choses différentes, toutes deux légitimes. Page : tbench.ai, vérifiée à la même date.

LMArena : ce qui plaît aux gens

Ce qu’il mesure. De vrais utilisateurs posent la même question à deux modèles anonymes et votent pour la meilleure réponse ; les votes deviennent un score de type Elo. Il mesure la préférence humaine moyenne sur des questions de chat, ce qui compte, mais avec des biais documentés : les réponses longues et bien mises en forme gagnent, celles qui vous donnent raison gagnent, et les grands laboratoires soumettent beaucoup de variantes, augmentant la probabilité qu’une émerge (la thèse du papier « The Leaderboard Illusion », avril 2025).

En trente secondes. Utile pour sentir le ton et l’agrément, faible comme mesure de fiabilité sur la tâche : un modèle peut plaire et se tromper dans les chiffres. Page : lmarena.ai.

Artificial Analysis : le coup d’œil

Ce qu’il mesure. Un indice composite 0-100 qui agrège neuf évaluations dans quatre domaines à poids égal : agents, coding, capacités générales, raisonnement scientifique. À côté de l’indice, les courbes prix/vitesse/qualité que le radar cite souvent. C’est la façon la plus rapide de situer un nouveau modèle dans le paysage.

En trente secondes. Excellent pour le tableau d’ensemble, mais c’est une moyenne : un modèle médiocre dans l’indice peut exceller précisément dans le domaine qui vous sert, et inversement. Ouvrez le détail par domaine avant de conclure. Pages : artificialanalysis.ai et la méthodologie, vérifiées à la même date.

Les trois pièges, dans chaque annonce

La contamination. Les benchmarks publics finissent dans les données d’entraînement : un score élevé peut mesurer la mémoire au lieu de la capacité. Les benchmarks à cas privés ou renouvelés souffrent moins ; les records sur des tests vieux de plusieurs années méritent un sourcil levé.

Le cherry-picking. L’annonce cite le benchmark où le modèle gagne et tait les autres. La version courte de la checklist : si l’annonce ne cite qu’un chiffre, demandez-vous lesquels manquent.

La moyenne qui cache. Deux modèles au même score moyen peuvent avoir des profils opposés : l’un constant, l’autre alternant sommets et désastres. Pour un usage professionnel, la variance compte autant que la moyenne, et aucun indice synthétique ne vous la montre.

La règle finale

Les benchmarks servent à s’orienter en trente secondes, et pour cela ils sont précieux. La décision, elle, revient à vos cas : cinq exemples réels de votre travail, passés sur les modèles candidats, en disent plus que n’importe quel classement. Le playground d’une passerelle en fait un exercice d’un quart d’heure.