OpenAI pubblica i risultati su ARC-AGI-3: due impostazioni API, reasoning enable e context compaction, triplicano i punteggi di GPT-5.6. Quanti token in più costano quelle impostazioni, e quanto aumenta la latenza? Il post non lo dice.

JuliaHub ha pubblicato in questi giorni una valutazione indipendente che include il costo. Hanno messo tre varianti di GPT-5.6 e Claude Fable 5 a risolvere cinque problemi di simulazione fisica in un ambiente controllato, con ground truth sealed. I numeri: Claude Fable 5 segna 0,889 di weighted score a 9,60 dollari per trial, GPT-5.6-terra fa 0,786 a 1,25 dollari. Fable 5 è più accurato, ma costa quasi otto volte tanto per tentativo.

Come raccontavamo il 25 luglio, il costo della risposta usabile sta diventando il criterio di scelta reale. Il post di OpenAI lo conferma suo malgrado: se i due parametri fossero gratis, lo scriverebbero in evidenza.

Il problema è metodologico. Un benchmark che conta solo le risposte giuste, senza pesare il costo per produrle, racconta metà della storia. Se per triplicare il punteggio serve bruciare dieci volte i token, la decisione operativa cambia. Per chi valuta modelli su un caso vero, il playbook Confronta due modelli in un quarto d’ora resta il metodo più onesto: stesso compito, stessi casi di prova, tabella qualità-costo-latenza sui tuoi dati.

Nel dettaglio

Cosa misura ARC-AGI-3.

ARC-AGI è il benchmark di François Chollet sui puzzle visivi a griglia: ogni task è unico, richiede ragionamento fluido e resistente alla memorizzazione. ARC-AGI-3 è la versione più recente. È il tipo di test dove un modello non può cavarsela con schemi imparati a memoria: deve generalizzare su singoli esempi.

I due parametri.

Il post di OpenAI parla di due impostazioni API. La prima, reasoning enable, mantiene attiva la catena di ragionamento fra i turni invece di ricominciare da zero. La seconda, context compaction, compatta il contesto della conversazione per far stare più materiale nella finestra. Entrambe scambiano token (e tempo) per accuratezza. Il post annuncia un triplo del punteggio e menziona «efficiency», ma non pubblica il conteggio dei token consumati né la latenza misurata.

I numeri di JuliaHub.

JuliaHub ha testato i modelli su un dominio diverso (simulazione fisica, non puzzle visivi), ma con una metodologia che include il costo. Configurazione bloccata: reasoning effort xhigh, finestra di contesto 1M, budget token 128k. Problemi sealed con ground truth nascosto al modello.

I risultati:

• Claude Fable 5: 0,889 weighted score, 9,60 dollari per trial, 16,1 minuti
• GPT-5.6-sol: 0,814, 1,74 dollari, 13,4 minuti
• GPT-5.6-terra: 0,786, 1,25 dollari, 12,6 minuti
• GPT-5.6-luna: 0,727, 3,26 dollari, 25,0 minuti

Fable 5 vince sull’accuratezza, ma GPT-5.6-terra costa 7,7 volte meno per tentativo. In un flusso dove serve iterare molte volte, o dove «abbastanza buono» basta, il modello più economico vince sul costo totale.

Il punto cieco della valutazione agentica.

JuliaHub solleva un problema più profondo: nella simulazione fisica, un modello può compilare e girare pulito mentre codifica fisica impossibile. Gli agenti peggiorano la cosa perché scrivono i propri test. La domanda «questo corrisponde al mondo reale?» è più difficile da chiudere di «questo passa i test». Vale per chiunque costruisca agenti che lavorano in domini dove la verifica non è banale.

Cosa significa per chi legge.

Se stai scegliendo un modello per un compito ripetitivo (estrarre dati da documenti, classificare ticket, generare bozze), il costo per output usabile conta più del punteggio su un benchmark accademico. Un modello che segna 10 punti in più ma costa cinque volte tanto non è sempre la scelta giusta: dipende da quante volte lo esegui e da quanto vale un errore in più. I due parametri di OpenAI esistono nell’API: chi li attiva dovrebbe tracciare il consumo di token prima e dopo, sul proprio carico di lavoro, non su ARC-AGI-3.

Limiti.

I dati JuliaHub coprono cinque problemi in un solo dominio. I numeri di OpenAI sono su ARC-AGI-3, un benchmark diverso. I due dataset non sono direttamente confrontabili. Quello che condividono è la lezione metodologica: includi il costo nella valutazione. Un punteggio triplo senza il prezzo in token resta un’affermazione di marketing, non una decisione operativa.