Dos estudios del 19 de julio muestran las condiciones que hacen peligroso que un agente lea contenidos externos. El benchmark RadLE 2.0 del CRASH Lab de Ashoka University evaluó 16 modelos sobre 200 casos de radiología: los modelos fallan con total seguridad y no saben cuándo detenerse. Los radiólogos humanos sumaron 988,7 puntos de 2.000; el mejor modelo llegó a 758. Por separado, Epoch AI demostró que los detectores de texto IA fallan cuando el modelo imita el estilo de un autor real: hasta el 48% de los pasajes generados en contexto científico pasan desapercibidos.

¿Por qué te afecta? El agente que lee un PDF, un correo o una página web no controla lo que hay adentro. Si ese contenido oculta instrucciones (la técnica que llamamos inyección de prompt indirecta), el agente las ejecuta. Los dos estudios revelan dos condiciones que hacen que este ataque sea difícil de detener. La primera: los modelos no saben decir “no lo sé” ni siquiera cuando están equivocados, así que no se detienen ante un input anómalo. La segunda: el contenido manipulado es estadísticamente indistinguible del legítimo, así que ningún detector lo intercepta.

Si tu agente trabaja con documentos que no escribiste tú, debes asumir que parte de esos contenidos podría ser hostil. El playbook sobre cómo defenderse de la inyección de prompt parte de casos reales.

En detalle

RadLE 2.0: los modelos no saben que no saben.

El CRASH Lab de Ashoka University lanzó la segunda versión de “Radiology’s Last Exam”, un benchmark que mide tres cosas simultáneamente: precisión diagnóstica, nivel de seguridad del modelo y capacidad de admitir incertidumbre. La prueba cubre 200 casos sobre 16 modelos, comparados con un panel de radiólogos.

El sistema de puntuación es el corazón del método. Responder correctamente con alta confianza da puntos completos. Responder incorrectamente con alta confianza resta puntos. Decir “no sé” da cero pero no penaliza. Esta estructura de recompensas expone el problema central: los modelos entrenados solo para precisión aprenden a adivinar, y en medicina un diagnóstico incorrecto con confianza es más peligroso que una admisión de incertidumbre.

Los números son elocuentes. Los radiólogos humanos sumaron 988,7 puntos de 2.000. El mejor modelo, Claude Fable 5 de Anthropic, se quedó en 758. Gemini 3 Pro de Google tuvo la máxima precisión bruta pero perdió puntos por sobreconfianza. Meta Muse Spark 1.1 fue el mejor en reconocer cuándo derivar el caso a un humano, pero principalmente porque rechaza responder más frecuentemente. Los modelos de peso abierto y los entrenados específicamente para medicina son los peores: intentan casi todos los casos y fallan a menudo, con confianza media o alta.

La lección para quienes construyen agentes: la calibración (saber cuándo no se sabe) es un problema sin resolver, y empeora cuando el modelo recibe inputs que no controlas.

Epoch AI: el texto manipulado es invisible.

Epoch AI probó tres detectores (Pangram, GPTZero, Originality.ai) en tres categorías de texto: humano, IA generada con prompts simples, IA que imita el estilo de un autor real. El corpus incluye 495 pasajes de 99 autores reales, todos escritos antes de noviembre de 2022 para evitar contaminación.

Con prompts simples, los detectores son casi perfectos: tasa de falsos negativos por debajo del 0,7%. Pero cuando el modelo recibe cinco muestras de escritura de un autor e instrucciones para imitar su estilo, la tasa de falsos negativos sube al 13% en promedio. Para textos científicos, el dato empeora drásticamente: Pangram falla en el 25%, GPTZero en el 24%, Originality.ai en el 29%. En el peor caso, Pangram no detecta el 48% de los pasajes académicos generados por Gemini.

La conclusión de Epoch AI: una baja tasa de falsas alarmas en texto humano no dice nada sobre cuántos textos de IA realmente escapan. Los tres detectores usan métodos diferentes (red neuronal, previsibilidad de elecciones léxicas, patrones estadísticos), pero todos muestran el mismo punto débil.

Qué significa para quienes usan agentes.

Los dos estudios no hablan explícitamente de inyección de prompt. Pero muestran sus precondiciones. Cuando un agente lee contenidos externos, dos cosas pueden fallar: el contenido puede contener instrucciones ocultas que el modelo ejecuta, y el modelo carece de la calibración para reconocer que algo no está bien. Los detectores no son un remedio confiable, porque el texto manipulado logra pasar.

Las defensas prácticas pasan por la arquitectura: separar las instrucciones del sistema del contenido que se lee, limitar las acciones que el agente puede ejecutar autónomamente, verificar el output manualmente cuando el resultado genera dudas. Queda abierto el problema de la calibración: ningún modelo evaluado sabe decir “no sé” en el momento correcto, y esto aplica tanto a radiología como a la lectura de un correo. Mientras la metacognición de los LLM siga siendo débil, la responsabilidad de detener al agente recae en la persona.