CrucibleBench inserisce i modelli linguistici dentro un MUD, un mondo di testo stile anni ’90, e li valuta su 50 turni con obiettivi sociali nascosti. Tredici modelli, 650 esecuzioni, 99 dollari di API in totale. Il risultato principale riguarda come si misura: il giudice LLM utilizzato per lo scoring ha rimescolato la classifica fino a sei posizioni, mentre le statistiche di affidabilità aggregate sono rimaste mute.

Per chi costruisce con l’IA, il punto sono i vincoli. Un MUD ha uno spazio di azioni finito (7 tipi di comandi, 12 stanze, 14 oggetti): le allucinazioni si rilevano subito, perché il modello non può inventare un’azione che non esiste. Gli NPC hanno uno stato di fiducia e sospetto (0-100) che cambia con il dialogo: il feedback sociale è esplicito, non interpretato retrospettivamente. Questo è lo stesso pattern che abbiamo visto nel benchmark dei videoclip musicali: i test utili nascono da problemi reali con vincoli chiari.

Il secondo avvertimento riguarda chi usa un LLM come giudice. L’accordo per-modello tra il classificatore e un giudice indipendente va dal 21,7% all’84,8%, ma la statistica aggregata (κ = 0,04) non lo rivela. Se usi un modello per valutare le risposte di un altro, controlla l’accordo caso per caso, non solo la media.

Le 650 trascrizioni sono pubbliche su cruciblebench.ai insieme al whitepaper, se vuoi leggere i verbatim delle esecuzioni.

Nel dettaglio

L’idea dietro CrucibleBench prende in prestito una filosofia che Nintendo attribuiva a Gunpei Yokoi: tecnologia matura, economica e ben compresa, usata in modo nuovo. I MUD (Multi-User Dungeon) sono mondi di testo che esistono dagli anni ’80. Niente grafica, niente simulazione fotorealistica: comandi testuali, stanze descritte a parole, oggetti che si prendono e si lasciano.

Questi vincoli sono il punto. In un benchmark standard, un modello risponde a domande isolate. In un MUD, deve gestire uno stato persistente: un oggetto preso rimane preso, la fiducia guadagnata rimane guadagnata. Se il modello ripete lo stesso approccio fallito con un NPC, il gioco lo registra. Se tenta di parlare con qualcuno che non c’è, la stanza risponde “non c’è nessuno qui”. Ogni esecuzione lascia una trascrizione completa, leggibile successivamente.

I tre modi di fallire che il benchmark rileva sono familiari per chi ha usato agenti in produzione. Il dialogue looping (14-66% delle esecuzioni dei modelli frontier) è l’agente che ripete la stessa frase a un NPC che non risponde come spera: il cugino testuale del bot di supporto che gira a vuoto. L’interazione in stanza sbagliata è il modello che parla con qualcuno che non c’è, perché ha perso traccia di dove si trova: l’equivalente di chiamare un’API fuori scope. La paralisi nell’esplorazione è il modello che guarda e riguarda senza mai agire.

Il risultato più interessante riguarda come si misura. La componente LLM-judge nello stack di scoring rimescola i vertici della classifica fino a sei posizioni. Due delle quattro dimensioni valutate passano attraverso un classificatore di dialogo. L’accordo per-modello tra questo classificatore e un giudice indipendente varia dal 21,7% all’84,8%. La statistica aggregata di affidabilità (κ = 0,04) non rivela questa instabilità. È un risultato che riguarda chiunque usi un LLM per valutarne un altro, ed è in linea con quanto raccontavamo nel paper dell’LLM come giudice: i modelli forti possono valutare quasi come un umano, ma con distorsioni note e prevedibili.

I limiti sono dichiarati. È una Fase 1, proof-of-concept. Gli intervalli di confidenza delle prime 8 posizioni si sovrappongono sostanzialmente: la classifica va letta come esplorativa, non definitiva. Cinquanta turni per esecuzione, temperatura 0,3, 5 seed per modello. Il budget di 99 dollari dimostra che valutare il comportamento degli agenti non richiede infrastrutture costose, ma questo non significa che i risultati siano già generalizzabili oltre il dominio del gioco.

Per chi vuole costruire il proprio banco di prova, la lezione è metodologica: vincoli chiari e obiettivi verificabili battono metriche astratte. Il corso su come valutare senza benchmark segue la stessa logica: i benchmark generici non ti dicono se il tuo agente funziona per te.