Cada anuncio de modelo cita una puntuación, y el radar de este sitio las reporta continuamente. Esta guía es el decodificador: las cuatro papeletas que te cruzas más a menudo, qué mide cada una, y qué no te dice mientras te la agitan delante.

SWE-bench Verified: el código real

Qué mide. El modelo (mejor dicho: el sistema modelo más agente) recibe 500 issues reales de proyectos open source en Python, validadas a mano, y debe producir la corrección. Aprueba si los tests del proyecto pasan. Sin juicios humanos: o el código funciona o no.

En treinta segundos. El porcentaje es la cuota de issues resueltas. Dos cautelas: la puntuación pertenece a la pareja modelo+scaffold (el mismo modelo con otro agente cambia el resultado), y el terreno es el mantenimiento de proyectos Python existentes: dice poco de otros lenguajes y nada de tu proyecto. Página: swebench.com, metodología verificada el 19/07/2026.

Terminal-Bench: el trabajo de principio a fin

Qué mide. Ochenta y nueve tareas difíciles de terminal (compilar, configurar, entrenar, depurar) en entornos containerizados, cada una con una suite de verificación escrita antes. Para comparar modelos en igualdad usa un agente neutro y mínimo (Terminus 2: solo bash). Es el benchmark más cercano a «delegar una tarea real a un agente».

En treinta segundos. Porcentaje de tareas completadas en solitario. Mira si el número viene del agente neutro o de un agente comercial optimizado: miden cosas distintas, ambas legítimas. Página: tbench.ai, verificada en la misma fecha.

LMArena: lo que gusta a la gente

Qué mide. Usuarios reales hacen la misma pregunta a dos modelos anónimos y votan la mejor respuesta; los votos se convierten en una puntuación estilo Elo. Mide la preferencia humana media en preguntas de chat, que cuenta, pero con sesgos documentados: las respuestas largas y bien formateadas ganan, las que te dan la razón ganan, y los grandes laboratorios presentan muchas variantes, subiendo la probabilidad de que alguna despunte (la tesis del paper «The Leaderboard Illusion», abril 2025).

En treinta segundos. Útil para hacerse una idea del tono y la amabilidad, débil como medida de fiabilidad en la tarea: un modelo puede gustar y equivocarse en los números. Página: lmarena.ai.

Artificial Analysis: el golpe de vista

Qué mide. Un índice compuesto 0-100 que agrega nueve evaluaciones en cuatro áreas con igual peso: agentes, coding, capacidad general, razonamiento científico. Junto al índice, las curvas precio/velocidad/calidad que el radar cita a menudo. Es la manera más rápida de situar un modelo nuevo en el panorama.

En treinta segundos. Estupendo para el cuadro, pero es una media: un modelo mediocre en el índice puede sobresalir justo en el área que a ti te sirve, y viceversa. Abre el detalle por áreas antes de sacar conclusiones. Páginas: artificialanalysis.ai y la metodología, verificadas en la misma fecha.

Las tres trampas, en cada anuncio

La contaminación. Los benchmarks públicos acaban en los datos de entrenamiento: una puntuación alta puede medir memoria en vez de capacidad. Los benchmarks con casos privados o renovados sufren menos; los récords en tests con años de antigüedad merecen una ceja levantada.

El cherry-picking. El anuncio cita el benchmark donde el modelo gana y calla los demás. La versión corta de la checklist: si el anuncio cita un solo número, pregúntate cuáles faltan.

La media que esconde. Dos modelos con la misma media pueden tener perfiles opuestos: uno constante, otro que alterna picos y desastres. Para un uso profesional la varianza cuenta tanto como la media, y ningún índice sintético te la enseña.

La regla final

Los benchmarks sirven para orientarse en treinta segundos, y para eso son valiosos. La decisión, en cambio, queda en tus casos: cinco ejemplos reales de tu trabajo, pasados por los modelos candidatos, dicen más que cualquier clasificación. El playground de un gateway lo convierte en un ejercicio de un cuarto de hora.