TryAI a mis quatre modèles frontier face à une toile blanche et un set de crayons de couleur virtuels. GPT-5.6 Sol, Claude Fable 5, Grok 4.5 et Gemini 3.6 Flash devaient reproduire la Joconde et d’autres images avec les mêmes outils. Sur sept dessins, Claude Fable 5 a dépensé 160 dollars en tokens contre 7,74 pour GPT-5.6, en produisant des résultats plus faibles sur cette tâche spécifique (données TryAI, 21 juillet 2026). Fable a utilisé 14,6 millions de tokens en 54 étapes en moyenne, GPT-5.6 en a utilisé 3,4 millions en 29 étapes.

Le même jour, l’équipe Claude Code a expliqué dans une interview publique comment Anthropic utilise ses propres outils. Le system prompt de Claude Code a été réduit de 80 pour cent : les modèles récents n’ont plus besoin d’exemples dans le prompt, et les listes d’interdictions réduisent la qualité. Claude Tag, l’intégration Slack collaborative, ferme 65 pour cent des PR de l’équipe d’ingénierie.

Les benchmarks standards te disent quel modèle est en moyenne plus capable. Le test de TryAI te dit combien te coûte la production d’un output utilisable sur une tâche concrète, et montre que le rapport qualité-prix s’inverse complètement d’une tâche à l’autre. Claude Fable 5 surpasse GPT-5.6 sur d’autres tâches, comme nous l’avons raconté avec le défi sur les clips musicaux, mais ici il coûte vingt fois plus cher pour un résultat pire.

L’économie opérationnelle est la donnée dont tu as besoin quand tu choisis un modèle pour ton travail, pas le classement général. Anthropic elle-même fonctionne selon cette logique : elle réduit le prompt et automatise les PR, testant les features sur ses propres employés avant de les lancer.

Si tu veux mesurer le coût réel sur tes cas, le playbook pour comparer deux modèles en un quart d’heure te donne la méthode.

En détail

Le test de TryAI est construit pour être lisible à l’œil. Chaque modèle reçoit le même set d’outils virtuels : choisir couleur, épaisseur et pression du trait, dessiner des lots de marques, estomper, effacer, et appeler view_canvas pour regarder son travail et le corriger. Pas de remplissages solides : la teinte se construit par couches, comme avec de vrais crayons. La ressemblance avec l’image cible se mesure avec SSIM, une métrique objective de similarité structurelle.

Les chiffres racontent une histoire claire. Claude Fable 5 a utilisé 14,6 millions de tokens sur sept dessins, contre 3,4 millions pour GPT-5.6. Il a fait en moyenne 54 étapes contre 29, prenant 12,5 minutes contre 6,2. Et a dépensé 160 dollars contre 7,74. Le résultat visuel, mesuré par SSIM, était pire.

Cela signifie que Fable est un modèle avec des points faibles sur ce type de tâche spécifique, même s’il excelle sur d’autres. TryAI le signale ouvertement : Fable avait gagné contre GPT-5.6 dans le défi précédent sur les vidéos musicales, et Anthropic l’utilise en interne pour les tâches où il excelle. Sur ce type de tâche, un modèle qui raisonne beaucoup et fait beaucoup d’auto-révisions brûle le budget sans un retour proportionnel. Grok 4.5 a utilisé 99 étapes et 354 appels draw, mais il commençait mal et avait du mal à corriger. Gemini 3.6 Flash a passé plus de temps à regarder la toile qu’à dessiner.

Les quatre modèles ont utilisé les mêmes outils de façons complètement différentes. GPT-5.6 n’a jamais appelé set_color, set_brush ou set_pressure séparément : il a tout défini inline dans chaque appel draw. Claude Fable a fait en moyenne 15,6 auto-révisions par dessin, le double de n’importe qui d’autre.

L’interview avec l’équipe Claude Code raconte la même économie du côté de ceux qui construisent les outils. Cat Wu et Thariq Shihipar ont décrit un changement de cap : avec Fable, on peut compléter en une seule tentative des features qui auparavant nécessitaient une supervision constante. Le system prompt de Claude Code a été réduit de 80 pour cent parce que les modèles récents n’ont plus besoin d’exemples dans le prompt. Les listes de « ne pas faire X » réduisent la qualité des résultats avec les nouveaux modèles.

Thariq a dit quelque chose qui sonne hérétique pour un ingénieur logiciel : les rewrites marchent maintenant. Si tu as une bonne suite de tests, réécrire à partir de zéro avec un agent coûte moins cher que de maintenir du code legacy. Le code lui-même est une spécification, et souvent la seule copie que tu as.

Les limites de la comparaison de TryAI sont déclarées. Les tests sont volontairement des tâches ouvertes et fuzzy. Les modèles open-weight testés n’étaient même pas utilisables, plusieurs ont retourné une toile blanche. Le test sépare les frontier du reste mais ne dit pas lequel est meilleur en général. Il dit combien te coûte la production d’un output sur cette tâche, et si c’est worth ce que tu as dépensé.