Abel Jansma publie un argument formel qui démontre une limite théorique à la détection du mensonge dans les LLM. Si une sonde cherche à classer les réponses d’un modèle comme vraies ou fausses, il suffit de lui donner la phrase « la sonde dit que cette phrase est fausse » pour créer un paradoxe insoluble. C’est le même argument de Tarski : aucun langage suffisamment expressif ne peut contenir son propre prédicat de vérité. Jansma le démontre en pratique sur Qwen3.5-4B, où la sonde perd tout sens sur les phrases autoréférentielles paradoxales.

Pourquoi ça te concerne. Le résultat arrive alors que le panorama de la sécurité de l’IA est tendu dans deux directions. Opus 5 a résisté à zéro attaques d’injection de prompt sur 129 scénarios, le meilleur résultat parmi les modèles frontier. Mais les guardrails de ces mêmes modèles bloquent les chercheurs en sécurité qui cherchent les vulnérabilités avant les criminels. L’attaque Tarski ajoute une troisième donnée structurelle : la détection parfaite du mensonge est théoriquement impossible. La défense reste un travail de couches logicielles et de permissions, non d’un oracle incorporé dans le modèle. Et la tension entre modèles fermés avec guardrails rigides et modèles open où les chercheurs peuvent travailler se resserre encore.

En détail

Le contexte. Ces derniers mois, les chercheurs en sécurité de l’IA ont construit des « truth probe » : des classificateurs qui lisent l’espace d’embedding d’un modèle et disent si une réponse est vraie ou fausse. L’hypothèse de fond, appelée Linear Representation Hypothesis, est que des concepts comme le genre, les émotions ou les capitales correspondent à des directions dans l’espace vectoriel des embeddings. Si la « vérité » était une direction, une sonde linéaire pourrait la détecter. Ça fonctionne étonnamment bien : Jansma construit une sonde sur Qwen3.5-4B qui atteint 94% de précision sur des phrases d’évaluation, avec un AUC de 0,98.

L’attaque. Le problème, c’est l’autoréférence. Si le langage du modèle est suffisamment expressif pour décrire la sonde et son output (et l’anglais l’est), on peut construire une phrase qui dit « la sonde classe cette phrase comme fausse ». Si la phrase est vraie, la sonde devrait dire VRAI, mais alors la phrase est fausse. Si la phrase est fausse, la sonde dit VRAI, mais alors la phrase est vraie. C’est le paradoxe du menteur formalisé par Tarski : aucun langage suffisamment expressif ne peut contenir son propre prédicat de vérité total. Jansma le vérifie sur Qwen3.5-4B : sur les 120 exemples d’entraînement la sonde fonctionne, sur les phrases diagonales elle produit des scores sans sens.

Ce qui change. Les truth probe sont l’un des outils que les chercheurs en sécurité aimeraient utiliser pour comprendre si un modèle ment ou cache quelque chose, surtout quand les modèles deviennent plus capables et potentiellement trompeurs. L’attaque Tarski démontre qu’aucune sonde, aussi bien entraînée soit-elle, ne peut être un oracle parfait. Elle reste un outil probabiliste, utile mais non définitif.

Les limites de la démonstration. L’expérience de Jansma est un toy example : 120 phrases d’entraînement, 36 d’évaluation, un petit modèle. L’argument formel, cependant, ne dépend pas de l’échelle : c’est un théorème qui vaut pour tout modèle dont le langage d’entrée soit suffisamment expressif. La question ouverte est l’impact pratique de ces cas diagonaux. Dans l’utilisation quotidienne d’un assistant, les phrases autoréférentielles paradoxales sont rares. Le risque augmente quand l’entrée n’est pas contrôlée, comme dans l’injection de prompt indirecte, où des documents externes contiennent des instructions cachées.

L’angle pratique. Pour ceux qui déploient des agents en production, le message est double. Premièrement : aucun outil unique, même pas une sonde de vérité, ne remplace la défense en couches (isolation, permissions, validation de l’output). Deuxièmement : la recherche en sécurité a besoin d’accéder aux modèles pour les étudier, et les guardrails qui bloquent les chercheurs honnêtes rendent les modèles moins transparents, non plus sûrs.