Scegliere il modello col cronometro e col portafoglio
«Qual è il modello migliore?» è la domanda sbagliata. Quella giusta è «qual è il modello migliore per questo compito, ai miei costi, con la mia fretta?», e la risposta non sta in una classifica: sta in una prova che fai tu, sui tuoi dati, in un quarto d’ora. Questa è la pagina che spiega il metodo, ed è la porta d’ingresso a tutto ciò che riguarda la scelta di un modello.
Perché le classifiche non bastano
Un modello primo in classifica su un benchmark può essere mediocre sul tuo lavoro specifico. I benchmark misurano compiti standard (matematica, coding, comprensione), non «smistare le email del mio studio» o «riscrivere le mie schede prodotto». E un punteggio senza la data e la versione accanto invecchia in fretta. Le classifiche danno un’idea di massima; la decisione per te la prendi coi tuoi casi.
Il metodo in tre mosse
1 · Raccogli i tuoi casi. Prendi cinque o dieci esempi veri del compito che ti interessa, con il risultato giusto già noto (come lo faresti tu, o come è stato fatto bene). Sono il tuo banco di prova. Cinque casi reali dicono più di mille domande di benchmark, perché sono i tuoi.
2 · Fai girare gli stessi casi su più modelli. Stesso compito, stesso prompt, modelli diversi. Guarda i risultati affiancati. Molti servizi ti permettono di provare più modelli; per un confronto strutturato, il banco di prova dei materiali del corso esegue lo stesso set di casi su modelli diversi e mette i risultati in tabella.
3 · Compila la tabella qualità-costo-latenza. Per ogni modello, tre colonne: quanto bene ha fatto il compito (sui tuoi casi, non in astratto), quanto costa per giro (in soldi o quota d’uso), e quanto tempo ci mette. La scelta esce da qui, e dipende da cosa ti serve: per una chat dal vivo con un cliente conta la latenza bassa; per un lavoro notturno che gira da solo, no, e puoi usare il modello più lento e accurato; se il volume è alto, il costo per giro decide più della qualità.
Le tre domande che chiudono la scelta
- Il modello piccolo basta? Spesso sì. Su compiti semplici e ripetitivi, un modello più economico fa lo stesso lavoro a una frazione del costo. Provalo prima di pagare per il più grande.
- Dove sbaglia, quanto costa l’errore? Un compito dove un errore passa inosservato tollera un modello più economico. Uno dove un errore è caro merita il modello migliore e un controllo umano.
- Il quadro è stabile? I modelli e i prezzi cambiano di continuo. La tabella che compili oggi va rifatta ogni tanto, e ogni volta dichiara la data: un confronto di sei mesi fa può essere superato.
Cosa farne
Non serve fidarsi di nessuno sulla parola, nemmeno di una classifica. Serve un banco di prova coi tuoi casi e mezz’ora. Il metodo è sempre lo stesso, e migliora ogni volta che lo usi. Il capitolo «Costi, latenza, sicurezza» del percorso builder entra nel dettaglio dei tre assi, e «Scegliere lo strumento» parte da qui per la scelta più ampia dell’assistente giusto.