Per anni la corsa dell’AI è sembrata una gara a chi faceva il modello con più parametri: il numero cresceva, e cresceva il clamore. Poi due lavori hanno cambiato la domanda: dato un certo budget di calcolo, conviene davvero fare il modello più grande possibile, o è meglio farne uno più piccolo e dargli molti più dati? La risposta, arrivata nel 2022 con il modello Chinchilla di DeepMind, ha corretto la rotta di tutto il settore: un gigante affamato di dati perde contro un modello più piccolo ben nutrito.

Perché conta per te

Ti spiega perché oggi i modelli più utili non sono per forza i più grossi, e perché il numero di parametri, da solo, non ti dice quanto un modello è bravo. Quando leggi «un modello da X miliardi di parametri», questo filone ti insegna che manca metà dell’informazione: con quanti dati è stato addestrato? Un modello piccolo allenato a lungo può battere uno grande allenato poco. È una difesa contro l’equazione ingenua «più grande uguale meglio», che gli annunci amano lasciarti credere.

Cosa dice il paper

Il primo lavoro (Jared Kaplan e colleghi, 2020) aveva trovato che le prestazioni di un modello migliorano in modo regolare e prevedibile aumentando tre cose: i parametri, i dati, il calcolo. Erano le prime «leggi di scala», e suggerivano una direzione: cresci. Ma lasciavano aperta la domanda su come dividere un budget di calcolo fisso tra modello più grande e più dati.

Chinchilla (Jordan Hoffmann e colleghi, 2022) risponde con un esperimento enorme: oltre quattrocento modelli addestrati, da 70 milioni a più di 16 miliardi di parametri, con quantità di dati molto diverse. Il risultato è pulito: per usare al meglio il calcolo, parametri e dati vanno scalati insieme, allo stesso ritmo. Raddoppi il modello, devi raddoppiare anche i dati. La scoperta è che i modelli grandi dell’epoca erano quasi tutti sottoallenati: troppo grandi per la poca roba che avevano visto. Per dimostrarlo, gli autori addestrano Chinchilla, un modello con circa 70 miliardi di parametri e quattro volte più dati di un modello di riferimento grande il quadruplo, e lo battono usando lo stesso calcolo. Meno parametri, più dati, risultato migliore.

Quanto fidarsi

Sono leggi empiriche, osservate, non teoremi eterni. Tre cautele.

La prima: valgono nel regime e per il tipo di modelli studiati. Sono state raffinate e discusse dopo (anche con tentativi di replica che ne hanno limato i dettagli), e non vanno prese come una formula magica valida per sempre e per qualunque architettura.

La seconda: «ottimale rispetto al calcolo di addestramento» non è «ottimale per te». Chinchilla ottimizza il costo di addestrare. Ma un modello lo addestri una volta e lo usi milioni di volte: spesso conviene addestrare oltre l’ottimo di Chinchilla, con ancora più dati, per avere un modello più piccolo e quindi più economico da far girare a ogni risposta. La regola giusta dipende da cosa stai minimizzando.

La terza: il conteggio dei parametri e dei dati non cattura tutto. La qualità dei dati, il modo di addestrare, i passaggi successivi contano moltissimo, e due modelli con gli stessi numeri sulla carta possono essere diversi.

Cosa farne

La lezione pratica non richiede di addestrare nulla: è un modo di leggere. Quando valuti o confronti modelli, non farti guidare dal solo numero di parametri. Un modello più piccolo, addestrato bene su tanti dati, può essere migliore e più economico di uno più grande. Il numero da cercare, quando c’è, è quanto è stato addestrato, non solo quanto è grosso. E per le tue scelte pratiche vale la stessa morale di sempre: la prova migliore è come il modello si comporta sul tuo lavoro, non la sua scheda tecnica.

Cosa non concludere: che «più grande» sia sempre peggio o sempre meglio. La lezione è che parametri e dati vanno in coppia, e che un numero da solo (grande o piccolo) non basta a giudicare. Il gigante vince se è anche ben nutrito; affamato, perde contro chi è più piccolo e ha mangiato di più.

Dove approfondire

Le parole parametri, token e inferenza, che rendono leggibile questo discorso, sono spiegate con un esempio ciascuna nel glossario, utile da tenere accanto quando un annuncio ti mette davanti una scheda tecnica.