TryAI ha messo quattro modelli frontier davanti a una tela bianca e a un set di matite colorate virtuali. GPT-5.6 Sol, Claude Fable 5, Grok 4.5 e Gemini 3.6 Flash dovevano riprodurre la Gioconda e altre immagini con gli stessi strumenti. Su sette disegni, Claude Fable 5 ha speso 160 dollari in token contro i 7,74 di GPT-5.6, producendo risultati peggiori su questo compito specifico (dati TryAI, 21 luglio 2026). Fable ha usato 14,6 milioni di token in 54 passi medi, GPT-5.6 ne ha usati 3,4 milioni in 29 passi.

Lo stesso giorno il team di Claude Code ha raccontato in un’intervista pubblica come Anthropic usa i propri strumenti. Il system prompt di Claude Code è stato ridotto dell’80 per cento: i modelli recenti non hanno più bisogno di esempi nel prompt, e le liste di proibizioni peggiorano la qualità. Claude Tag, l’integrazione Slack collaborativa, chiude il 65 per cento delle PR del team ingegneristico.

I benchmark standard ti dicono quale modello è più capace in media. Il test di TryAI ti dice quanto ti costa produrre un output usabile su un compito concreto, e mostra che il rapporto prezzo-qualità si rovescia completamente da un task all’altro. Claude Fable 5 batte GPT-5.6 su altri compiti, come avevamo raccontato con la sfida sulle clip musicali, ma qui costa venti volte tanto per un risultato peggiore.

L’economia operativa è il dato che ti serve quando scegli un modello per il tuo lavoro, non la classifica generale. Anthropic stessa lavora con questa logica: riduce il prompt e automatizza le PR, testando le feature sui propri dipendenti prima di rilasciarle.

Se vuoi misurare il costo reale sui tuoi casi, il playbook per confrontare due modelli in un quarto d’ora ti dà il metodo.

Nel dettaglio

Il test di TryAI è costruito per essere leggibile a occhio. Ogni modello riceve lo stesso set di strumenti virtuali: scegliere colore, spessore e pressione del tratto, disegnare batch di segni, sfumare, cancellare, e chiamare view_canvas per guardare il proprio lavoro e correggerlo. Niente riempimenti solidi: il tono si costruisce a strati, come con matite vere. La somiglianza con l’immagine target si misura con SSIM, una metrica oggettiva di similarità strutturale.

I numeri raccontano una storia chiara. Claude Fable 5 ha usato 14,6 milioni di token in sette disegni, contro i 3,4 milioni di GPT-5.6. Ha fatto in media 54 passi contro 29, impiegando 12,5 minuti contro 6,2. E ha speso 160 dollari contro 7,74. Il risultato visivo, misurato da SSIM, era peggiore.

Questo significa che Fable è un modello con punti deboli su questo tipo di task specifico, anche se eccelle in altri. TryAI lo segnala apertamente: Fable aveva vinto su GPT-5.6 nella sfida precedente sui video musicali, e Anthropic lo usa internamente per compiti dove eccelle. Su questo tipo di task, un modello che ragiona molto e fa molte auto-revisioni brucia budget senza un ritorno proporzionale. Grok 4.5 ha usato 99 passi e 354 chiamate draw, ma partiva male e faticava a correggere. Gemini 3.6 Flash ha passato più tempo a guardare la tela che a disegnare.

I quattro modelli hanno usato gli stessi strumenti in modi completamente diversi. GPT-5.6 non ha mai chiamato set_color, set_brush o set_pressure separatamente: ha impostato tutto inline in ogni chiamata draw. Claude Fable ha fatto in media 15,6 auto-revisioni per disegno, il doppio di chiunque altro.

L’intervista con il team Claude Code racconta la stessa economia dal lato di chi costruisce gli strumenti. Cat Wu e Thariq Shihipar hanno descritto un cambio di passo: con Fable si possono completare in un solo tentativo feature che prima richiedevano supervisione costante. Il system prompt di Claude Code è stato ridotto dell’80 per cento perché i modelli recenti non hanno più bisogno di esempi nel prompt. Le liste di “non fare X” riducono la qualità dei risultati con i modelli nuovi.

Thariq ha detto una cosa che suona eretica per un ingegnere software: i rewrite ora funzionano. Se hai una buona suite di test, riscrivere da zero con un agente costa meno che mantenere un codice legacy. Il codice stesso è una specifica, e spesso l’unica copia che hai.

I limiti del confronto di TryAI sono dichiarati. I test sono compiti volutamente aperti e fuzzy. I modelli open-weight provati non erano nemmeno usabili, diversi hanno restituito una tela bianca. Il test separa i frontier dal resto ma non dice quale sia migliore in generale. Dice quanto costa produrre un output su quel compito, e se vale quello che hai speso.