Tres papers publicados el mismo día en Hugging Face Daily Papers convergen en una pregunta que los benchmarks hasta ahora habían eludido: ¿la experiencia acumulada realmente mejora a los agentes con el tiempo?

PAST-Bench, ContinualSkillBench y “When Agents Learn to Be You” miden tres caras del mismo problema. El primero verifica si un agente que conserva preferencias, historiales y capacidades entre sesiones mejora en las tareas posteriores. El segundo mide si los agentes logran evolucionar sus propias habilidades reutilizándolas en tareas encadenadas. El tercero documenta el riesgo de que las “persona skills”, habilidades personales destiladas del historial de interacciones, se conviertan en un vector de fuga de datos privados.

La respuesta común es honesta y decepcionante: hay mejoras, pero son desiguales y frágiles. PAST-Bench, sobre siete modelos y cuatro frameworks, encuentra que dos agentes con la misma ganancia final pueden haberla obtenido a través de rutas completamente diferentes, y no siempre siguiendo el camino previsto de guardar, recuperar y actualizar. ContinualSkillBench muestra que gran parte de la mejora proviene de la adaptación al contexto anterior, no de verdaderas habilidades reutilizables. Los modelos menos capaces acumulan colecciones fragmentadas de habilidades específicas en lugar de consolidarlas.

Para quienes utilizan o construyen agentes en su trabajo, la implicación es concreta. Como comentábamos el 4 de agosto, la memoria de los agentes cuesta tokens y debe diseñarse. Ahora resulta que incluso cuando la diseñas y la pagas, el rendimiento no está garantizado. Un agente puede conservar información sin por ello convertirse en un agente que aprende.

En detalle

Los tres benchmarks cierran un vacío que la investigación sobre agentes había dejado abierto. Hasta ahora, la evaluación se concentraba en la ejecución única: un agente recibe una tarea, la realiza, se mide el resultado. Lo que sucedía entre una tarea y la siguiente, y especialmente si la experiencia acumulada producía un agente sistemáticamente mejor, permanecía fuera del radar.

PAST-Bench (Universidad de Princeton) construye 26 escenarios y 204 episodios para aislar esta variable. La idea es simple pero rigurosa: cada agente atraviesa secuencias ordenadas de tareas en sesiones nuevas, y los investigadores activan y desactivan la memoria acumulada para medir la diferencia. Prueban siete modelos base y cuatro frameworks agénticos. El resultado es que la mejora existe, pero es desigual. Dos agentes con la misma ganancia final pueden diferir profundamente en la ruta que los llevó allí: uno sigue el camino previsto (guarda la experiencia, la recupera cuando es necesario, la actualiza), el otro obtiene el mismo resultado sin atravesar ese camino, lo que significa que la ganancia es accidental, no sistemática.

El framework Hermes+, desarrollado por los mismos autores, interviene en cinco puntos del bucle del agente para forzar la ruta correcta. La ganancia media crece y los rastros del camino se vuelven más claros, especialmente en tareas que requieren reemplazar información obsoleta. El efecto sigue siendo dependiente del modelo y de la capacidad.

ContinualSkillBench (Universidad de Pekín) aborda el problema desde el ángulo de las habilidades. Cinco dominios, cien subtareas cada uno, ordenadas por dificultad creciente y con oportunidades de reutilización cruzada. El hallazgo principal es que el aprendizaje en contexto (el modelo se adapta al contexto anterior) produce resultados comparables al mantenimiento explícito de habilidades. Gran parte de la mejora, en resumen, proviene de la simple adaptación al contexto anterior, no de verdaderas abstracciones reutilizables. Las habilidades explícitas ayudan, pero solo en tareas que requieren procedimientos repetibles o salidas precisas. Y los modelos menos capaces tienden a acumular grandes colecciones fragmentadas de habilidades específicas, en lugar de consolidarlas en algo transferible.

El tercer paper, “When Agents Learn to Be You”, lleva la discusión al terreno de la seguridad. Las “persona skills” son artefactos portátiles que destilan el historial de interacciones personales de un usuario: preferencias, hábitos, rutinas. Cuando estas habilidades son reutilizadas por agentes downstream, concentran señales personales fragmentadas y las amplifican. El benchmark, llamado AntiSkillBench, evalúa los riesgos de fuga e suplantación en toda la tubería. La defensa diseñada para registros individuales o para memoria basada en recuperación no se sostiene cuando la información personal se destila en una habilidad ejecutable y portátil.

La convergencia de los tres papers dice algo claro: la evolución del agente en el tiempo es el siguiente cuello de botella. El agente que recuerda ha dado medio paso. Debe consolidar lo que recuerda en habilidades transferibles, y hacerlo sin transformar el historial personal del usuario en una superficie de ataque. Los benchmarks dicen que aún no lo hemos logrado, y lo dicen con números.