Un paper en HuggingFace documenta un fenómeno que quien trabaja con agentes siempre ha sospechado: cuando el usuario cambia de idea a mitad de conversación, los modelos pierden el hilo. El problema está en el tracking de la intención. El modelo tiene acceso al contexto, pero no sabe recalcularlo cuando el objetivo cambia.

Los investigadores tomaron tareas conocidas, evaluadas en versión single-turn, y las transformaron en conversaciones multi-turno donde la intención del usuario se revela gradualmente, se revisa, a veces se desvía a mitad de camino. El protocolo de evaluación se mantiene igual, así que los benchmarks existentes funcionan como banco de prueba sin nuevas anotaciones.

El resultado es nítido: los modelos que funcionan bien en el escenario estático se desmoronan cuando la intención evoluciona. La caída es consistente entre diferentes familias de modelos. El rendimiento en tareas fully-specified, la métrica con la que toda la industria se mide, no predice cómo se desempeña un modelo cuando el usuario repensa lo que pidió.

Para quien usa agentes en el trabajo cotidiano, esto explica un patrón frustrante e inexplicable hasta ahora. Pides algo, el modelo empieza bien. Añades una restricción, corriges una premisa, cambias un detalle. Después de dos o tres de estos ajustes, el agente se convence de un objetivo que ya no es el que le pediste. Permanece coherente paso a paso, pero en general fuera de camino.

Como contábamos el 25 de julio con ICAE-Bench y WorkBuddy, los benchmarks están aprendiendo a probar agentes con intenciones vagas e incompletas. Este paper va un paso más allá: muestra que incluso cuando el modelo comienza con la información correcta, no sabe recalibrarse cuando esa información cambia.

La conclusión práctica: si tu flujo de trabajo con agentes prevé iteración con correcciones de rumbo, el modelo por sí solo no es suficiente. Necesitas un mecanismo explícito que rastreé el objetivo actual e lo reinyecte en cada turno.

En detalle

El paper parte de una observación simple. Los modelos se evalúan casi siempre en tareas cerradas: una solicitud, una respuesta, una puntuación. Pero cuando usas un agente, la conversación funciona diferente. Comienzas con una idea aproximada, la afinas, a veces la inviertes. El usuario real especifica la intención poco a poco, y las especificaciones iniciales casi siempre son incompletas o incorrectas.

Para medir esta brecha, los investigadores construyeron un framework que toma tareas de benchmarks existentes y las transforma en conversaciones multi-turno. El usuario simulado revela la intención incrementalmente: primero una solicitud vaga, luego una corrección, después una revisión, a veces una redirección completa. El protocolo de evaluación se mantiene idéntico al original, así que se pueden comparar directamente las prestaciones estáticas y dinámicas en la misma tarea.

El resultado es una caída generalizada. Los modelos que en las pruebas estáticas obtienen puntuaciones altas pierden rendimiento sustancialmente en el escenario dinámico, y el patrón se repite en múltiples familias arquitectónicas. El rendimiento en single-turn, la métrica que domina el discurso público sobre modelos, es ciego a esta dimensión.

Un comentarista en HuggingFace, que trabaja con coding agent en proyectos largos, añade un detalle útil. El modelo construye una representación comprimida del proyecto que puede desviarse hacia hipótesis introducidas en iteraciones anteriores. El agente permanece coherente con los supuestos acumulados, pero se alinea cada vez menos con el objetivo original. Es un fallo sutil: paso a paso todo tiene sentido, pero en conjunto te has perdido.

Para quien construye flujos de trabajo con agentes, la implicación es operativa. Si la sesión prevé correcciones y revisiones, la mera memoria de conversación no mantiene la alineación. Necesitas un estado explícito del objetivo, actualizado en cada cambio de rumbo e reinyectado en el contexto en cada turno. El playbook De chat kilométrico a sesión nueva va en esta dirección: compactar la conversación en un contexto de partida limpio, sin perder decisiones y restricciones.

Qué queda abierto. El paper describe el fenómeno y lo mide, pero las soluciones aún son vagas. Los mecanismos explícitos de rastreo de intención (memoria estructurada, estado del objetivo reinyectado) son propuestas razonables, pero no se prueban en este trabajo. El framework de evaluación, sin embargo, es inmediatamente reutilizable: quien construya un banco de prueba con intenciones que evolucionan puede medir su agente en una dimensión que los benchmarks estándar ignoran.