Dos benchmark lanzados con días de diferencia miden la brecha entre las condiciones de prueba y la realidad operativa. SWE-Touch evalúa qué ocurre cuando un usuario humano modifica el código mientras un agente de IA trabaja en un repositorio. El SWE-bench clásico daba por sentado que el código permanecía intacto entre el inicio y el fin de la tarea: en la realidad, los desarrolladores siguen haciendo commits mientras el agente trabaja.

ExtractBench, del que hablamos el 3 de agosto, coloca a los agentes frente a 4.869 páginas de documentos empresariales reales con diseños complejos, en lugar de textos limpios. Aquí también, los modelos frontier truncan registros largos y los coding agent cuestan demasiado en relación al valor que aportan.

En ambos casos, el patrón es el mismo: los benchmark tradicionales medían lo mejor que un agente puede hacer en condiciones ideales. Estos dos miden qué sucede cuando las condiciones no lo son, y los frontier model pierden rendimiento de manera significativa.

Para quienes despliegan agentes en producción, la diferencia importa. SWE-bench te dice cuánto vale un modelo cuando nadie toca nada. La producción real tiene desarrolladores que hacen commits mientras el agente trabaja, documentos con tablas rotas, contexto que se desplaza. El delta entre la puntuación en el benchmark limpio y la del benchmark realista es la medida de cuánto riesgo tienes cuando el agente sale de la demo.

En detalle

El problema que SWE-Touch y ExtractBench abordan es estructural. SWE-bench, el benchmark de referencia para coding agent, toma issues reales de GitHub y mide si un agente resuelve el problema. Pero congela el repositorio en el momento en que se abrió la issue: nadie toca el código mientras el agente trabaja. En la vida real, un colega hace push, una dependencia se actualiza, el archivo que el agente está leyendo cambia bajo sus pies. SWE-Touch simula exactamente esto: el usuario humano modifica el código durante la ejecución del agente, y el benchmark mide cómo reacciona el agente.

ExtractBench aborda un problema similar en el aspecto documental. Los benchmark de extracción de datos tradicionales usan documentos con estructura predecible. ExtractBench reúne 67 tipos de documentos empresariales reales, para 4.869 páginas totales, y mide cuatro dimensiones en conjunto: precisión, completitud, trazabilidad y costo. Los resultados muestran que los vision-language model truncan registros cuando son largos, y los coding agent que navegan el documento paso a paso gastan demasiado para el valor que aportan.

Lo que une a los dos benchmark es la idea de que la evaluación debe acercarse a las condiciones de producción. La medición multidimensional, no solo precisión sino también costo y trazabilidad, cambia el juicio sobre los modelos. Un agente que tiene 90% de precisión en SWE-bench puede colapsar cuando el código cambia a mitad del trabajo, porque su plan de acción fue construido sobre un estado que ya no existe.

La limitación de ambos es que siguen siendo simulaciones. SWE-Touch simula modificaciones humanas según patrones predefinidos, no captura la creatividad destructiva de un desarrollador real que reescribe un archivo completo mientras el agente trabaja en la versión antigua. ExtractBench usa documentos reales pero los selecciona, no cubre todos los casos que un pipeline documental empresarial puede encontrar. Para quien quiera hacerse una idea concreta de cuánto aguanta su agente en producción, el método del banco de pruebas personalizado sigue siendo el próximo paso: toma tus propios casos, ensuciálos, y mide.