Abel Jansma publica un argumento formal que demuestra un límite teórico en la detección de mentiras en LLM. Si una sonda intenta clasificar las respuestas de un modelo como verdaderas o falsas, basta darle la frase «la sonda dice que esta frase es falsa» para crear una paradoja insoluble. Es el mismo argumento de Tarski: ningún lenguaje suficientemente expresivo puede contener su propio predicado de verdad. Jansma lo demuestra en la práctica con Qwen3.5-4B, donde la sonda pierde coherencia ante frases autoreferenciales paradójicas.

Por qué te importa. El resultado llega mientras el panorama de seguridad en IA se tensa en dos direcciones. Opus 5 resistió cero ataques de inyección de prompts en 129 escenarios, el mejor resultado entre modelos frontier. Pero los guardrails de esos mismos modelos bloquean a investigadores de seguridad que buscan vulnerabilidades antes que los criminales. El ataque Tarski añade un tercer dato estructural: la detección perfecta de mentiras es teóricamente imposible. La defensa sigue siendo un trabajo de capas de software y permisos, no de un oráculo integrado en el modelo. Y la tensión entre modelos cerrados con guardrails rígidos y modelos abiertos donde los investigadores pueden trabajar se estrecha aún más.

En detalle

El contexto. En los últimos meses, los investigadores de seguridad en IA han construido «truth probes»: clasificadores que leen el espacio de embedding de un modelo y dicen si una respuesta es verdadera o falsa. La hipótesis de fondo, llamada Linear Representation Hypothesis, es que conceptos como género, emociones o capitales corresponden a direcciones en el espacio vectorial de los embeddings. Si la «verdad» fuera una dirección, una sonda lineal podría detectarla. Funciona sorprendentemente bien: Jansma construye una sonda en Qwen3.5-4B que alcanza 94% de precisión en frases de evaluación, con un AUC de 0,98.

El ataque. El problema es la autorreferencia. Si el lenguaje del modelo es lo bastante expresivo para describir la sonda y su salida (y el inglés lo es), se puede construir una frase que diga «la sonda clasifica esta frase como falsa». Si la frase es verdadera, la sonda debería decir VERDADERO, pero entonces la frase es falsa. Si la frase es falsa, la sonda dice VERDADERO, pero entonces la frase es verdadera. Es la paradoja del mentiroso formalizada por Tarski: ningún lenguaje suficientemente expresivo puede contener su propio predicado de verdad total. Jansma lo verifica en Qwen3.5-4B: en los 120 ejemplos de entrenamiento la sonda funciona, en las frases diagonales produce puntuaciones sin sentido.

Qué cambia. Las truth probes son una de las herramientas que los investigadores de seguridad quieren usar para entender si un modelo está mintiendo u ocultando algo, especialmente cuando los modelos se vuelven más capaces y potencialmente engañosos. El ataque Tarski demuestra que ninguna sonda, por bien entrenada que esté, puede ser un oráculo perfecto. Sigue siendo una herramienta probabilística, útil pero no definitiva.

Los límites de la demostración. El experimento de Jansma es un ejemplo simple: 120 frases de entrenamiento, 36 de evaluación, un modelo pequeño. El argumento formal, sin embargo, no depende de la escala: es un teorema que vale para cualquier modelo cuyo lenguaje de entrada sea suficientemente expresivo. La pregunta abierta es cuánto impactan en la práctica estos casos diagonales. En el uso cotidiano de un asistente, las frases autoreferenciales paradójicas son raras. El riesgo crece cuando la entrada no está controlada, como en inyecciones de prompts indirectas, donde documentos externos contienen instrucciones ocultas.

El ángulo práctico. Para quienes despliegan agentes en producción, el mensaje es doble. Primero: ninguna herramienta individual, ni siquiera una sonda de verdad, sustituye la defensa por capas (aislamiento, permisos, validación de salida). Segundo: la investigación de seguridad necesita acceso a los modelos para estudiarlos, y los guardrails que bloquean a investigadores honrados hacen los modelos menos transparentes, no más seguros.