Come fai a giudicare mille risposte di un assistente senza leggerle una per una? Un’idea tentatrice è chiedere a un modello di fare il giudice: dagli due risposte, fatti dire quale è migliore. Funziona? E ci si può fidare? Nel 2023 un gruppo di Berkeley e Stanford (Lianmin Zheng e colleghi) ha misurato quanto un modello forte concordi con gli umani nel giudicare, e quali storture porta con sé. È il paper che ha reso l’idea usabile, con le sue avvertenze.

Perché conta per te

Se usi l’AI su volumi (smistare cento email, riscrivere cinquanta schede, valutare tante bozze) prima o poi ti serve un modo per misurare la qualità senza controllare tutto a mano. Usare un modello come giudice è la scorciatoia più pratica, e questo paper ti dice quanto è affidabile e dove ti frega. Senza queste avvertenze, un giudizio automatico ti dà numeri che sembrano oggettivi e non lo sono.

Cosa dice il paper

Gli autori costruiscono due banchi di prova (MT-Bench, un set di domande a più turni, e Chatbot Arena, una piazza dove gli umani votano quale di due risposte preferiscono) e confrontano il giudizio di un modello forte con quello delle persone. Il risultato incoraggiante: un giudice come il GPT-4 dell’epoca concorda con le preferenze umane oltre l’80% delle volte, cioè quanto due persone concordano tra loro. Come strumento di misura grezza, insomma, tiene.

Ma il paper è onesto sulle storture, ed è questa la parte da ricordare. Il giudice-modello ha bias documentati. Il bias di posizione: tende a preferire la prima risposta che gli mostri, a parità di tutto. Il bias di verbosità: tende a premiare la risposta più lunga, anche quando non è migliore. Il bias di autopreferenza: tende a favorire risposte nello stile che lui stesso produrrebbe. E una debolezza di fondo: fatica a giudicare la correttezza di ragionamenti e conti, proprio i compiti dove la risposta è giusta o sbagliata e non questione di gusto.

Quanto fidarsi

L’80% di accordo è un buon numero, ma va letto con le storture accanto. Tre cose da fare, sempre.

La prima: controlla il bias di posizione scambiando l’ordine. Se giudichi A contro B, chiedi anche B contro A: se il vincitore cambia con l’ordine, il giudizio non è affidabile e va scartato. È la difesa più semplice e più importante.

La seconda: neutralizza la verbosità. Se non poni un vincolo, il giudice premia il testo lungo. Chiedi risposte di lunghezza comparabile, o istruisci il giudice a non considerare la lunghezza un pregio.

La terza, la più delicata: non lasciare che un modello giudichi sé stesso su cose che contano. L’autopreferenza è reale, e un modello che valuta i propri output tende a darsi ragione. È lo stesso tranello del revisore troppo gentile, in versione automatica: il giudice ideale è diverso da chi ha prodotto, e su questioni di correttezza (numeri, fatti) va affiancato a un controllo verificabile, non usato da solo.

Cosa farne

La regola pratica: puoi usare un modello forte per valutare risposte su larga scala, ma trattalo come uno strumento di misura con un errore noto, non come un arbitro imparziale. Metti in conto le contromisure (scambia le posizioni, controlla la lunghezza, non fargli giudicare sé stesso) e tienilo per i giudizi di qualità e stile, dove concorda bene con gli umani. Sui giudizi di correttezza esatta, usalo come primo filtro, non come verdetto.

Cosa non concludere: che un voto uscito da un modello sia oggettivo perché è un numero. Dietro quel numero ci sono i bias di posizione, lunghezza e autopreferenza. Un giudizio automatico non controllato per queste storture misura in parte la qualità e in parte l’ordine in cui hai messo le risposte.

Dove approfondire

Il capitolo «Valutare il tuo agente» del percorso builder trasforma queste avvertenze in un metodo di valutazione che regge, con i controlli giusti al posto giusto.