Cos’è successo. METR ha pubblicato l’Expenditure Horizon, una metrica che mette un prezzo sul punto in cui un agente AI diventa più economico di un professionista per lo stesso risultato. Sotto quella soglia l’AI conviene, sopra l’umano costa meno. Il banco di prova è il NanoGPT speedrun, un progetto comunitario dove si gareggia ad addestrare un modello linguistico nel tempo più breve possibile: da 45 minuti a meno di due minuti in 82 passi di miglioramento documentati.

Perché ti riguarda. La metrica sposta la domanda da “quanto è intelligente il modello” a “a quale budget conviene delegare all’AI invece di farlo a mano”. È il criterio che raccontavamo il 25 luglio, quando la convergenza dei prezzi stava rendendo il costo per output usabile il vero parametro di scelta dei modelli. I numeri di METR sono onesti: il lavoro umano sul NanoGPT speedrun vale circa 2.500 dollari per ogni punto percentuale di miglioramento, e gli agenti testati hanno raggiunto orizzonti fra 0 e 3.300 dollari. Solo due modelli, GPT-5.5 e Opus-4.8, hanno consegnato progressi reali (circa l’1% e l’1,5%). Ma i modelli nel paper hanno già una generazione di ritardo: Opus 5, che secondo Anthropic spreca il 26% di passi di compute in meno rispetto al predecessore, non è stato testato.

Nel dettaglio

I benchmark tradizionali dicono se un modello risolve un problema o no. L’Expenditure Horizon dice quanto costa arrivarci, in dollari, e lo fa mettendo sullo stesso piano tre tipi di spesa che prima era impossibile confrontare: il costo di far girare il modello, il compute per gli esperimenti, e il tempo di lavoro umano. Tutto viene convertito in una sola valuta.

L’idea nasce da un pattern che METR aveva già osservato in test precedenti: gli agenti AI risolvono i compiti semplici e poco costosi più velocemente degli umani. Man mano che il budget cresce e i task diventano più difficili, l’AI rimane indietro. L’Expenditure Horizon è il punto esatto in cui le due curve si incrociano.

Per misurarlo, METR ha scelto il NanoGPT speedrun. È un progetto pubblico dove chiunque può proporre miglioramenti per addestrare un modello linguistico sempre più in fretta su hardware standardizzato. Il compito resta lo stesso; cambia solo l’approccio al training. Dal maggio 2024, 82 passi di miglioramento hanno portato il tempo da 45 minuti a sotto i due minuti, un’accelerazione di 33 volte rispetto all’inizio.

Per stimare il costo del lavoro umano, METR ha intervistato i due contributori più attivi e ha fatto stimare lo sforzo a un modello (Opus-4.6). Entrambi i metodi sono arrivati a circa 16 ore di lavoro per ogni punto percentuale di miglioramento. A 150 dollari l’ora, fa 2.500 dollari per punto. METR precisa che il numero è molto incerto. Un dettaglio delle interviste salta fuori: la maggior parte del tempo era andato in idee che alla fine non funzionavano.

Sul fronte AI, METR ha fatto lavorare sei modelli sullo stesso compito in modo indipendente, partendo da uno stato già molto ottimizzato (record 78, marzo 2026) con un budget di 10.000 dollari a esecuzione. I risultati: orizzonti stimati fra 0 e 3.300 dollari. GPT-5 e Opus-4.1 non hanno prodotto progresso reale; i loro apparenti guadagni erano rumore casuale. GPT-5.5 e Opus-4.8 hanno consegnato miglioramenti reali di circa l’1% e l’1,5% rispettivamente.

La qualità delle idee generate dagli agenti era mista. Il manutentore dello speedrun ha stimato che il 70% delle proposte potevano in linea di principio essere integrate, ma molte erano poco originali: semplici ritocchi di parametri. Un’ottimizzazione low-level di GPT-5.5 è stata definita «la più figa»; le altre poco memorabili. I modelli hanno anche tentato di barare più volte, prendendo scorciatoie che falsavano i risultati del test ma sarebbero state inutili nella pratica, come spegnere parti del training poco prima del traguardo.

Il limite più importante: METR ha testato solo modelli della generazione precedente. I modelli usciti dopo (Fable 5, GPT-5.6 Sol, Opus 5) non compaiono nel paper. Anthropic dichiara che Opus 5 raddoppia le prestazioni di Opus 4.8 a costi inferiori per task, spreca meno risorse in vicoli ciechi e verifica il proprio lavoro in modo più affidabile, con il 26% di passi di compute in meno. Sono tutti fattori che incidono direttamente sull’Expenditure Horizon. Su ARC-AGI-3, un benchmark che mette i modelli in ambienti sconosciuti senza istruzioni, Opus 5 è al primo posto dal 24 luglio 2026.

La conclusione di METR è misurata. L’ottimizzazione autonoma ha mosso pochissimo l’ago sul progresso del NanoGPT speedrun. I valori di breakeven, sebbene reali per alcuni modelli, sono minuscoli rispetto ai 250.000 dollari di sforzo umano totale stimato sull’intero progetto. Il paper fornisce uno strumento di misura. Sul compito testato, per ora, gli agenti non sono ancora competitivi.