Quando usarlo

I benchmark pubblici ti dicono come va un modello sui test accademici. Tu però lavori su email vere, trascrizioni del tuo settore, report con un formato preciso. Usi questo playbook quando devi scegliere quale modello tenere in produzione per un compito specifico: rispondere a clienti, riassumere call, estrarre dati da fatture. Lo fai con i tuoi casi, non con quelli di qualcun altro.

Il segnale concreto: hai identificato due o tre modelli candidati (magari uno più economico, uno più potente, uno locale) e vuoi sapere quale regge meglio sul tuo materiale prima di impegnare tempo o soldi.

Cosa serve

• Un assistente AI con accesso a due o più modelli. ChatGPT Plus, Claude Pro, o un ambiente come OpenRouter dove chiami modelli diversi con la stessa API.
• Da tre a cinque casi di prova rappresentativi. Devono coprire le situazioni tipiche del tuo compito: un caso facile, uno medio, uno difficile o ambiguo. Se lavori su email clienti, prendi tre email vere (anonimizzate). Se riassumi call, tre trascrizioni brevi.
• Una griglia per registrare i risultati. Un foglio di calcolo con una riga per caso e una colonna per modello, oppure un documento di testo con intestazioni chiare.
• I criteri di giudizio scritti prima. Due o tre cose concrete che l’output deve fare: «deve citare il numero d’ordine», «non deve inventare informazioni non presenti», «deve stare sotto le 150 parole». Li usi per valutare ogni risposta in modo coerente.

I passi

1. Prepara i casi di prova e i criteri.

Scegli tre casi reali che usi ogni settimana. Per ognuno, scrivi l’input esatto (l’email, la trascrizione, il CSV) e i criteri di giudizio che applicherai a ogni modello. I criteri devono essere oggettivi: «la risposta contiene il nome del prodotto», «il riassunto è sotto le 200 parole», «nessun dato inventato».

Se non hai casi tuoi, usa i materiali del corso: /materiali/email-clienti.txt (email di supporto), /materiali/riunione-trascrizione.txt (trascrizione di una call), /materiali/fatture.csv (dati con anomalie documentate).

2. Scrivi il prompt una volta sola.

Il prompt deve essere uguale per tutti i modelli, altrimenti non stai confrontando i modelli ma i prompt. Scrivi un prompt chiaro che funziona senza personalizzazioni per modello:

Sei un assistente che risponde a email di clienti in modo professionale e conciso.

Email del cliente: “”“ [INSERISCI QUI L’EMAIL] “”“

Scrivi una risposta che:

• Risponda alla domanda principale
• Citi eventuali numeri d’ordine o riferimenti presenti nell’email
• Stia sotto le 150 parole
• Non inventi informazioni che non sono nell’email

Risposta:

Sostituisci [INSERISCI QUI L'EMAIL] con il primo caso e tieni il prompt da parte: lo userai uguale per tutti i modelli.

3. Esegui il prompt su entrambi i modelli.

Se usi ChatGPT, vai su un nuovo thread, seleziona GPT-4o, incolla il prompt con il primo caso. Copia la risposta nel foglio alla colonna GPT-4o. Poi apri un altro thread, seleziona o1-mini, incolla lo stesso prompt. Copia la risposta nella colonna o1-mini.

Se usi OpenRouter o un’interfaccia che ti permette di chiamare più modelli, esegui il prompt una volta per modello tenendo traccia di quale risposta viene da dove.

Ripeti per tutti i casi di prova. Alla fine hai una griglia: ogni riga un caso, ogni colonna un modello, ogni cella la risposta di quel modello a quel caso.

4. Valuta con i criteri che hai scritto.

Per ogni cella della griglia, verifica i criteri uno per uno: «Contiene il numero d’ordine? Sì/No. Sta sotto le 150 parole? Sì/No. Inventa qualcosa? Sì/No.» Segna un punteggio semplice: 1 punto per ogni criterio soddisfatto.

Fai questa operazione senza guardare quale modello ha dato quale risposta, oppure fai valutare a una seconda persona. L’obiettivo è ridurre il bias: se sai che una risposta viene dal modello costoso, tendi a dargli più credito.

Alla fine sommi i punti per modello. Il modello con il punteggio più alto regge meglio sui tuoi casi.

5. Guarda i pattern, non solo il totale.

Un modello può vincere nel totale ma fallire sistematicamente su un tipo di caso (quelli ambigui, quelli con numeri). Guarda dove sbaglia: se il caso difficile è frequente nel tuo lavoro, un modello che lo sbaglia sempre non va bene anche se vince sugli altri.

Guarda anche i tipi di errore: un modello che inventa informazioni è più pericoloso di uno che risponde in modo generico. Questi dettagli contano più del punteggio aggregato.

Un esempio completo

Presto servizio in uno studio web (Lumen) e devo rispondere a email di clienti che chiedono aggiornamenti su progetti. Ho due candidati: GPT-4o (più costoso) e GPT-4o-mini (più economico). Voglio sapere se il mini regge, perché rispondo a 30 email a settimana.

Casi di prova: prendo tre email da /materiali/email-clienti.txt:

1. Cliente chiede quando esce il nuovo sito (facile: data chiara nel progetto).
2. Cliente chiede perché il modulo contatti non funziona (medio: devo capire se è un bug noto).
3. Cliente chiede uno sconto retroattivo su una fattura già pagata (difficile: richiesta delicata, devo essere fermo ma cortese).

Criteri:

• La risposta contiene il riferimento al progetto o al numero fattura se presente nell’email.
• Non inventa informazioni non presenti nell’email o nei dati del progetto.
• Tono professionale, niente linguaggio troppo informale.
• Sotto le 150 parole.

Esecuzione:

Prova con GPT-4o: apro ChatGPT, seleziono GPT-4o, incollo il prompt con la prima email. La risposta cita la data di rilascio prevista, sta in 120 parole, tono ok. Segno 4/4.

Prova con GPT-4o-mini: nuovo thread, stesso prompt. La risposta cita la data, 110 parole, tono ok. Segno 4/4.

Caso 2 (bug): GPT-4o mi dà una risposta che suggerisce di controllare le impostazioni del browser, non inventa una soluzione tecnica. 4/4. GPT-4o-mini fa lo stesso, ma aggiunge un paragrafo generico su «verificare la connessione» che non c’entra: 3/4 (risposta più lunga del necessario e un po’ vaga).

Caso 3 (sconto retroattivo): GPT-4o risponde con fermezza educata, spiega la policy, propone un’alternativa. 4/4. GPT-4o-mini è meno chiaro sulla policy, sembra lasciare la porta aperta quando non dovrebbe: 2/4.

Risultato:

• GPT-4o: 12/12
• GPT-4o-mini: 9/12

GPT-4o vince. Ma guardo il pattern: il mini sbaglia sui casi delicati (caso 3). Se la maggior parte delle mie email sono aggiornamenti di routine (caso 1), il mini potrebbe bastare per quelle, lasciando i casi complessi a 4o. Questo mi fa risparmiare: uso il mini come primo filtro e 4o solo quando serve.

Gli errori tipici

Cambiare il prompt fra un modello e l’altro. È la tentazione più forte: «questo modello ha bisogno di istruzioni più dettagliate». Se lo fai, stai confrontando i tuoi prompt, non i modelli. Usa lo stesso prompt identico.

Giudicare a occhio senza criteri scritti. Senza criteri oggettivi tendi a preferire il modello che già conoscevi o quello che costa di più. Scrivi i criteri prima di vedere le risposte.

Troppo pochi casi. Un caso solo non basta: potrebbe essere l’eccezione. Tre casi coprono un facile, un medio, un difficile. Cinque sono meglio se il compito è vario.

La variante team

Se il confronto serve a un team (un gruppo di assistenti clienti, un team di redazione), fate valutare le risposte da due persone diverse senza dirsi quale modello ha dato quale risposta. Confrontate i giudizi: se siete d’accordo, il vincitore è chiaro. Se divergete, avete trovato un caso ambiguo su cui il modello non basta: serve un processo umano per quei casi.

Un membro del team prepara i casi e i criteri, un altro esegue il confronto, un terzo valuta alla cieca. Così il bias individuale conta meno e la decisione regge meglio quando la spiegate al resto della struttura.