Ogni settimana esce un modello «rivoluzionario» che «batte tutti» su qualche grafico. La maggior parte di quegli annunci è marketing con un fondo di verità, e il lavoro di chi vuole usare bene l’AI non è seguirli tutti, è saperli leggere. Bastano cinque domande per smontare un annuncio e capire cosa cambia davvero per te, se cambia qualcosa.

Le cinque domande

1 · Il benchmark è su cosa? «Batte tutti» su quale prova? Un modello primo sui problemi di matematica può scrivere email peggiori di un altro. Un punteggio alto su un banco specifico dice qualcosa di quel banco, non della bravura in generale, e quasi mai del tuo compito preciso. Guarda sempre su cosa è misurato il primato. Lo stesso vale per la forma del grafico: un salto verticale spettacolare dice tanto sulla metrica scelta quanto sul modello, come mostra il dibattito su emergenza o miraggio.

2 · È disponibile dove, e quando? «Annunciato» non è «disponibile». Un modello mostrato in una demo può arrivare mesi dopo, o solo per alcuni, o solo via API e non nell’app che usi. Prima di entusiasmarti, controlla se puoi metterci le mani oggi, e dove.

3 · Quanto costa? Un modello più bravo che costa dieci volte tanto non è un affare per ogni compito. Il prezzo per giro cambia completamente il calcolo, soprattutto sui volumi. Un annuncio che parla di prestazioni e tace sul prezzo ha lasciato fuori metà dell’informazione che ti serve.

4 · Con quanto contesto? La «finestra di contesto» (quanto testo il modello tiene in una conversazione) è spesso sbandierata come un numero enorme. Ma accettare molto testo e usarlo bene sono due cose diverse: un numero grande sulla scatola non garantisce che il modello legga davvero tutto quello che gli dai. Il numero è un limite massimo, non una promessa di qualità.

5 · Cosa NON dice? È la domanda che rivela di più. Un annuncio sceglie i benchmark dove vince e tace su quelli dove perde. Mostra il caso migliore e non i limiti. Chiediti cosa manca: su quali compiti non lo confrontano? A che prezzo? Con quali margini di errore? Il silenzio su un punto è spesso l’informazione più utile.

Come leggere un numero, in pratica

Quando un annuncio ti mette davanti una percentuale su un benchmark, tienla in mano con la sua data e la sua versione: «70% su una certa prova» senza dire quando e con quale sistema è un’affermazione vuota. Il campo si muove in fretta, e numeri sullo stesso banco ma di mesi diversi non si confrontano. Lo stesso banco può avere versioni facili e difficili: un punteggio sull’una e uno sull’altra non stanno nella stessa frase. Il paper su SWE-bench mostra proprio quanto una singola percentuale, senza contesto, dica meno di quanto sembra.

Cosa farne

Il manuale si riduce a un riflesso: davanti a un annuncio, prima di condividerlo o di cambiare strumento, fatti le cinque domande. Quasi sempre la risposta è «interessante, ma per il mio lavoro non cambia niente oggi», e va benissimo così. Le poche volte che cambia qualcosa davvero, lo capisci proprio perché regge alle cinque domande invece di crollare alla prima. Seguire meno annunci, e leggerli meglio, è un vantaggio, non una mancanza.