CrucibleBench mette i modelli linguistici dentro un MUD, un mondo di testo in stile anni ’90, e li valuta su 50 turni con obiettivi sociali nascosti. Tredici modelli, 650 run, 99 dollari di API in totale. Il risultato principale riguarda il modo in cui si misura: il giudice LLM usato per lo scoring ha rimescolato la classifica fino a sei posizioni, mentre le statistiche di affidabilità aggregate restavano silenziose.

Per chi costruisce con l’AI, il punto sono i vincoli. Un MUD ha uno spazio di azioni finito (7 tipi di comandi, 12 stanze, 14 oggetti): le allucinazioni si rilevano subito, perché il modello non può inventare un’azione che non esiste. Gli NPC hanno stato di fiducia e sospetto (0-100) che si muove con il dialogo: il feedback sociale è esplicito, non interpretato a posteriori. Questo è il pattern che abbiamo visto nel benchmark delle clip musicali: i test utili nascono da problemi reali con vincoli chiari.

Il secondo avvertimento riguarda chi usa un LLM come giudice. L’accordo per-modello fra il classificatore e un giudice indipendente va dal 21,7% all’84,8%, ma la statistica aggregata (κ = 0,04) non lo mostra. Se usi un modello per valutare le risposte di un altro, controlla l’accordo per caso singolo, non solo la media.

Le 650 trascrizioni sono pubbliche su cruciblebench.ai con il whitepaper, se vuoi leggere i verbatim delle run.

Nel dettaglio

L’idea dietro CrucibleBench prende in prestito una filosofia che Nintendo attribuiva a Gunpei Yokoi: tecnologia matura, economica e ben compresa, usata in modo nuovo. I MUD (Multi-User Dungeon) sono mondi di testo che esistono dagli anni ’80. Niente grafica, niente simulazione fotorealistica: comandi testuali, stanze descritte a parole, oggetti che si prendono e si lasciano.

Questi vincoli sono il punto. In un benchmark standard, un modello risponde a domande isolate. In un MUD, deve gestire stato persistente: un oggetto preso resta preso, la fiducia guadagnata resta guadagnata. Se il modello ripete lo stesso approccio fallito con un NPC, il gioco lo registra. Se tenta di parlare con qualcuno che non c’è, la stanza risponde “non c’è nessuno qui”. Ogni run lascia una trascrizione completa, leggibile a posteriori.

I tre modi di fallire che il benchmark rileva sono familiari per chi ha usato agenti in produzione. Il dialogue looping (14-66% delle run dei modelli frontier) è l’agente che ripete la stessa frase a un NPC che non risponde come spera: il cugino testuale del bot di supporto che gira a vuoto. La wrong-room interaction è il modello che parla con qualcuno che non c’è, perché ha perso traccia di dove si trova: l’equivalente di chiamare un’API fuori scope. L’exploration paralysis è il modello che guarda e riguarda senza mai agire.

Il risultato più interessante riguarda il modo in cui si misura. Il componente LLM-judge dentro lo scoring stack rimescola i vertici della classifica fino a sei posizioni. Due delle quattro dimensioni valutate passano attraverso un classificatore di dialogo. L’accordo per-modello fra questo classificatore e un giudice indipendente varia dal 21,7% all’84,8%. La statistica aggregata di affidabilità (κ = 0,04) non rivela questa instabilità. È un risultato che riguarda chiunque usi un LLM per valutarne un altro, ed è in linea con quanto raccontavamo sul paper dell’LLM come giudice: i modelli forti possono valutare quasi come un umano, ma con storture note e prevedibili.

I limiti sono dichiarati. È una Phase 1, proof-of-concept. Gli intervalli di confidenza delle top 8 posizioni si sovrappongono sostanzialmente: la classifica va letta come esplorativa, non definitiva. Cinquanta turni per run, temperatura 0.3, 5 seed per modello. Il budget di 99 dollari dimostra che valutare il comportamento degli agenti non richiede infrastrutture costose, ma questo non significa che i risultati siano già generalizzabili oltre il dominio del gioco.

Per chi vuole costruire il proprio banco di prova, la lezione è metodologica: vincoli chiari e obiettivi verificabili battono metriche astratte. Il corso su come valutare senza benchmark segue la stessa logica: i benchmark generici non ti dicono se il tuo agente funziona per te.