Uno dei racconti più affascinanti sull’AI dice che, ingrandendo i modelli, a un certo punto compaiono di colpo abilità nuove: sotto una certa taglia il modello non sa fare una cosa, sopra la sa fare, senza gradualità. Si chiamano abilità emergenti, e i grafici che le mostrano fanno impressione: una linea piatta a zero che a un tratto schizza in alto. Ma è davvero così che vanno le cose, o è un effetto di come disegniamo il grafico? Due paper, uno del 2022 e la sua replica del 2023, raccontano questa storia meglio di qualunque altra su come si leggono i numeri dell’AI.

Perché conta per te

Non è un dibattito accademico lontano da te: è un corso accelerato su come non farti ingannare dai grafici degli annunci. Ogni volta che un lancio ti mostra una curva che «esplode», la domanda che questi due paper ti insegnano a fare è: quella esplosione è nel modello, o nel modo di misurare? Saperla fare è una difesa che usi ogni settimana leggendo le notizie sull’AI.

Cosa dice il paper

Il primo lavoro (Jason Wei e colleghi, Google, 2022) definisce un’abilità emergente come una capacità assente nei modelli piccoli e presente in quelli grandi, che appare in modo brusco oltre una certa scala. Documenta molti casi di questo tipo su una batteria di compiti: fino a una certa dimensione il punteggio resta a terra, poi sale di scatto. La conclusione suggestiva è che scalare i modelli non li migliori solo un po’ alla volta, ma sblocchi capacità nuove in modo imprevedibile.

Il secondo lavoro (Rylan Schaeffer e colleghi, Stanford, 2023) non nega i dati, contesta l’interpretazione, e lo fa con un’osservazione tagliente: la bruschezza dipende dalla metrica che scegli. Molti di quei salti compaiono solo con metriche «tutto o niente» (la risposta è esatta al carattere, oppure vale zero). Se misuri la stessa identica prestazione con una metrica più graduale, che dà credito ai progressi parziali, il salto brusco sparisce e ritorna una crescita liscia. In altre parole: il modello migliorava in modo continuo tutto il tempo, ma il termometro che usavamo mostrava zero finché non si superava la soglia esatta, e poi «di colpo» il pieno. L’emergenza, in molti casi, era nel grafico, non nel modello.

Quanto fidarsi

È un caso raro in cui la cosa più utile è proprio tenere insieme le due letture. Tre punti.

Il primo: la replica non dimostra che l’emergenza non esista mai, dimostra che gran parte degli esempi citati dipende dalla metrica. La comunità oggi tratta l’emergenza come un’interpretazione contesa delle curve, non come un fatto stabilito. La lezione onesta è dubitare dei salti bruschi, non negarli a priori.

Il secondo: la scelta della metrica non è un tecnicismo neutro. Una metrica tutto-o-niente e una graduale raccontano storie diverse sugli stessi dati, e chi presenta un risultato sceglie quale raccontare. Questo vale per l’AI e per qualunque grafico ti venga messo davanti.

Il terzo: continuo non vuol dire prevedibile. Anche una crescita liscia può portare, superata una soglia utile, a una capacità che prima era troppo debole per servire e ora funziona. La differenza pratica c’è; è la parola «di colpo» a essere spesso un artificio.

Cosa farne

La lezione pratica è un riflesso da attivare davanti a ogni grafico spettacolare: chiedi come è misurato. Un salto verticale ti dice tanto sulla metrica quanto sul modello. Guarda cosa c’è sugli assi, se la scala è normale o logaritmica, se la metrica premia i progressi parziali o è tutto-o-niente. Un miglioramento reale regge anche cambiando il modo di guardarlo; un miglioramento «da annuncio» spesso vive solo nella cornice scelta apposta.

Cosa non concludere: né che i modelli grandi sblocchino magie improvvise, né che non migliorino affatto. La verità utile sta nel mezzo, e la sai raggiungere solo guardando la metrica. Il grafico è un argomento, non una prova: va letto con la stessa diffidenza con cui leggeresti un titolo.

Dove approfondire

Lo stesso occhio critico serve per le percentuali dei benchmark: il paper su SWE-bench mostra come una singola cifra, senza la data e la versione della prova, dica molto meno di quanto sembra.