OpenAI publie les résultats sur ARC-AGI-3 : deux paramètres API, reasoning enable et context compaction, triplent les scores de GPT-5.6. Combien de tokens supplémentaires coûtent ces paramètres, et de combien augmente la latence ? Le post ne le dit pas.

JuliaHub a publié ces jours-ci une évaluation indépendante qui inclut le coût. Ils ont mis trois variantes de GPT-5.6 et Claude Fable 5 à résoudre cinq problèmes de simulation physique dans un environnement contrôlé, avec ground truth scellée. Les chiffres : Claude Fable 5 marque 0,889 de weighted score à 9,60 dollars par trial, GPT-5.6-terra fait 0,786 à 1,25 dollar. Fable 5 est plus précis, mais coûte presque huit fois plus cher par tentative.

Comme nous le racontions le 25 juillet, le coût de la réponse utilisable devient le critère de choix réel. Le post d’OpenAI le confirme malgré lui : si les deux paramètres étaient gratuits, ils l’annonceraient en évidence.

Le problème est méthodologique. Un benchmark qui compte seulement les bonnes réponses, sans peser le coût pour les produire, raconte la moitié de l’histoire. Si tripler le score coûte dix fois plus de tokens, la décision opérationnelle change. Pour qui évalue des modèles sur un cas réel, le playbook Compare deux modèles en un quart d’heure reste la méthode la plus honnête : même tâche, mêmes cas de test, tableau qualité-coût-latence sur vos données.

En détail

Ce que mesure ARC-AGI-3.

ARC-AGI est le benchmark de François Chollet sur les puzzles visuels en grille : chaque tâche est unique, nécessite du raisonnement fluide et résistant à la mémorisation. ARC-AGI-3 est la version la plus récente. C’est le type de test où un modèle ne peut pas s’en sortir avec des schémas appris par cœur : il doit généraliser sur des exemples isolés.

Les deux paramètres.

Le post d’OpenAI parle de deux paramètres API. Le premier, reasoning enable, garde la chaîne de raisonnement active entre les tours au lieu de recommencer de zéro. Le second, context compaction, compacte le contexte de la conversation pour faire tenir plus de matériel dans la fenêtre. Les deux échangent des tokens (et du temps) contre une meilleure précision. Le post annonce un triplement du score et mentionne « efficiency », mais ne publie pas le décompte des tokens consommés ni la latence mesurée.

Les chiffres de JuliaHub.

JuliaHub a testé les modèles sur un domaine différent (simulation physique, pas des puzzles visuels), mais avec une méthodologie qui inclut le coût. Configuration verrouillée : reasoning effort xhigh, fenêtre de contexte 1M, budget tokens 128k. Problèmes scellés avec ground truth cachée au modèle.

Les résultats :

• Claude Fable 5 : 0,889 weighted score, 9,60 dollars par trial, 16,1 minutes
• GPT-5.6-sol : 0,814, 1,74 dollar, 13,4 minutes
• GPT-5.6-terra : 0,786, 1,25 dollar, 12,6 minutes
• GPT-5.6-luna : 0,727, 3,26 dollars, 25,0 minutes

Fable 5 l’emporte sur la précision, mais GPT-5.6-terra coûte 7,7 fois moins cher par tentative. Dans un flux où faut itérer plusieurs fois, ou où « assez bon » suffit, le modèle le moins cher gagne sur le coût total.

Le point aveugle de l’évaluation agentique.

JuliaHub soulève un problème plus profond : dans la simulation physique, un modèle peut compiler et tourner correctement tout en encodant une physique impossible. Les agents aggravent la chose parce qu’ils écrivent leurs propres tests. La question « est-ce que ça correspond au monde réel ? » est plus difficile à fermer que « ça passe les tests ». Cela vaut pour quiconque construit des agents qui travaillent dans des domaines où la vérification n’est pas triviale.

Ce que ça signifie pour le lecteur.

Si tu choisis un modèle pour une tâche répétitive (extraire des données de documents, classer des tickets, générer des brouillons), le coût par output utilisable compte plus que le score sur un benchmark académique. Un modèle qui marque 10 points de plus mais coûte cinq fois plus cher n’est pas toujours le bon choix : ça dépend de combien de fois tu l’exécutes et de combien vaut une erreur supplémentaire. Les deux paramètres d’OpenAI existent dans l’API : celui qui les active devrait tracer la consommation de tokens avant et après, sur sa propre charge de travail, pas sur ARC-AGI-3.

Limites.

Les données JuliaHub couvrent cinq problèmes dans un seul domaine. Les chiffres d’OpenAI sont sur ARC-AGI-3, un benchmark différent. Les deux datasets ne sont pas directement comparables. Ce qu’ils partagent, c’est la leçon méthodologique : inclure le coût dans l’évaluation. Un score triplé sans le prix en tokens reste une affirmation marketing, pas une décision opérationnelle.