CrucibleBench sitúa modelos de lenguaje dentro de un MUD, un mundo de texto estilo años 90, y los evalúa en 50 turnos con objetivos sociales ocultos. Trece modelos, 650 ejecuciones, 99 dólares en total de API. El hallazgo principal concierne la forma de medir: el juez LLM usado para puntuación reordenó la clasificación hasta seis posiciones, mientras que las estadísticas de fiabilidad agregadas permanecían en silencio.

Para quienes construyen con IA, el punto son las restricciones. Un MUD tiene un espacio de acciones finito (7 tipos de comandos, 12 habitaciones, 14 objetos): las alucinaciones se detectan de inmediato, porque el modelo no puede inventar una acción que no existe. Los NPC tienen un estado de confianza y sospecha (0-100) que se mueve con el diálogo: la retroalimentación social es explícita, no interpretada a posteriori. Este es el patrón que vimos en el benchmark de clips musicales: las pruebas útiles nacen de problemas reales con restricciones claras.

La segunda advertencia afecta a quienes usan un LLM como juez. El acuerdo por-modelo entre el clasificador y un juez independiente va del 21,7% al 84,8%, pero la estadística agregada (κ = 0,04) no lo muestra. Si usas un modelo para evaluar las respuestas de otro, verifica el acuerdo caso por caso, no solo el promedio.

Las 650 transcripciones son públicas en cruciblebench.ai junto con el whitepaper, si quieres leer los verbatims de las ejecuciones.

En detalle

La idea detrás de CrucibleBench toma prestada una filosofía que Nintendo atribuía a Gunpei Yokoi: tecnología madura, económica y bien comprendida, usada de forma nueva. Los MUD (Multi-User Dungeon) son mundos de texto que existen desde los años 80. Sin gráficos, sin simulación fotorrealista: comandos textuales, habitaciones descritas con palabras, objetos que se toman y se dejan.

Estas restricciones son el punto. En un benchmark estándar, un modelo responde preguntas aisladas. En un MUD, debe gestionar estado persistente: un objeto cogido permanece cogido, la confianza ganada permanece ganada. Si el modelo repite el mismo enfoque fallido con un NPC, el juego lo registra. Si intenta hablar con alguien que no está, la habitación responde “no hay nadie aquí”. Cada ejecución deja una transcripción completa, legible después.

Los tres modos de fallo que el benchmark detecta son familiares para quienes han usado agentes en producción. El dialogue looping (14-66% de las ejecuciones de modelos frontier) es el agente que repite la misma frase a un NPC que no responde como espera: el primo textual del bot de soporte que gira sin parar. La wrong-room interaction es el modelo que habla con alguien que no está, porque perdió la pista de dónde se encuentra: equivalente a llamar una API fuera de alcance. La exploration paralysis es el modelo que observa una y otra vez sin nunca actuar.

El resultado más interesante concierne la forma de medir. El componente LLM-judge dentro del stack de puntuación reordena los vértices de la clasificación hasta seis posiciones. Dos de las cuatro dimensiones evaluadas pasan a través de un clasificador de diálogo. El acuerdo por-modelo entre este clasificador y un juez independiente varía del 21,7% al 84,8%. La estadística agregada de fiabilidad (κ = 0,04) no revela esta inestabilidad. Es un resultado que afecta a cualquiera que use un LLM para evaluar otro, y está en línea con lo que contábamos sobre el paper del LLM como juez: los modelos fuertes pueden evaluar casi como un humano, pero con sesgos conocidos y predecibles.

Los límites están declarados. Es una Fase 1, prueba de concepto. Los intervalos de confianza de las top 8 posiciones se solapan sustancialmente: la clasificación debe leerse como exploratoria, no definitiva. Cincuenta turnos por ejecución, temperatura 0.3, 5 semillas por modelo. El presupuesto de 99 dólares demuestra que evaluar el comportamiento de los agentes no requiere infraestructuras costosas, pero esto no significa que los resultados ya sean generalizables más allá del dominio del juego.

Para quienes quieran construir su propio banco de pruebas, la lección es metodológica: restricciones claras y objetivos verificables superan métricas abstractas. El curso sobre cómo evaluar sin benchmark sigue la misma lógica: los benchmarks genéricos no te dicen si tu agente funciona para ti.