Les chercheurs en sécurité offensive, ceux qui découvrent les vulnérabilités avant les criminels, ne peuvent pas utiliser les modèles frontier pour leur travail. Les garde-fous d’OpenAI et Anthropic bloquent les demandes qui sentent l’exploit, même quand celui qui les formule est un défenseur.

Chris Anley, chief scientist de NCC Group, l’explique avec un exemple concret : demander à un modèle d’exploiter un bug est l’étape fondamentale pour confirmer que la vulnérabilité est réelle et doit être fermée. Si le garde-fou refuse, le défenseur reste bloqué. Le prompt « corrigez ce code » sert à la fois à défendre et à attaquer : séparer ces deux usages est impossible sans casser l’outil.

Certains chercheurs sont revenus aux modèles open-source sans garde-fou. Paolo Stagno de Crowdfense évite aussi les modèles cloud pour une autre raison : charger des données sur un modèle cloud signifie risquer qu’elles finissent dans les prochains cycles d’entraînement. Pour des bugs qui valent des millions de dollars, c’est un risque inacceptable.

Le paradoxe est flagrant. Les labs propriétaires poussent pour limiter les modèles open-weight en citant les risques de sécurité, comme nous l’avons raconté hier. Mais les modèles open sans garde-fou sont les seuls que les chercheurs en sécurité peuvent utiliser sans blocages ni fuites de données. La sécurité que les labs veulent construire dans leurs modèles est exactement celle qui pousse les professionnels sérieux à les abandonner.

En détail

Plusieurs chercheurs en sécurité offensive, la branche de la cybersécurité qui recherche activement les vulnérabilités dans les systèmes, décrivent un problème opérationnel concret. Ce n’est pas une plainte générique : c’est un blocage sur le travail quotidien.

Des programmes d’accès existent. OpenAI dispose du Trusted Access for Cyber, Anthropic du Cyber Verification Program : ceux qui travaillent en sécurité peuvent postuler, passer une vérification et obtenir des modèles avec moins de restrictions. Mais l’approbation n’est pas garantie et les garde-fou, même allégés, continuent à créer des obstacles.

Chris Anley, chief scientist de NCC Group, l’explique avec un exemple précis. Quand on découvre un bug possible, l’étape suivante est de le confirmer en construisant un exploit. Si vous demandez à un modèle IA d’essayer et que le garde-fou refuse, vous perdez l’outil quand vous en avez le plus besoin. Le prompt « corrigez ce code » est le même qui sert à fermer la vulnérabilité et à la comprendre en profondeur. Anley le compare à un marteau : outil et arme, inséparables.

Paolo Stagno, CTO de Crowdfense, ajoute une deuxième couche au problème. Même sans garde-fou, utiliser un modèle cloud pour travailler sur des vulnérabilités non encore patchées signifie charger des données sensibles sur l’infrastructure de tiers. Le risque est que ces données finissent dans les cycles d’entraînement futurs. C’est pourquoi Stagno n’utilise les modèles frontier que pour le reverse engineering et passe aux modèles open-source locaux pour tout ce qui concerne la découverte et le développement d’exploits.

Giuseppe Cali, un autre chercheur interrogé, a une position différente. Il n’utilise l’IA que pour le reverse engineering initial et pour construire des outils de support, pas pour la découverte de bugs. Sa position suggère que, pour l’instant, le rôle de l’IA dans la sécurité offensive est plutôt complémentaire que central.

Il y a aussi le contexte des contrôles à l’exportation. En juin, le gouvernement américain a imposé des restrictions sur les modèles Mythos et Fable d’Anthropic, en partie en raison d’un rapport montrant la possibilité de contourner les garde-fou conçus pour prévenir les attaques. Les restrictions ont été partiellement révoquées : Fable 5 a retrouvé un accès général le 1er juillet, Mythos 5 a été réintroduit uniquement pour les organisations américaines vérifiées.

Il y a quelques jours, nous avons raconté comment un chercheur a trouvé une vulnérabilité RCE dans WordPress en dépensant 25 dollars de compute avec GPT-5.6 (/fr/radar/wordpress-rce-gpt-5-6-sol-security-research-25-dollars). Cet exemple montre le potentiel de l’IA pour la sécurité défensive : exactement le type de travail que les garde-fou risquent de rendre plus difficile.

Pour ceux qui utilisent l’IA dans des contextes techniques sérieux, le tableau a deux implications concrètes.

Le choix entre cloud et local est aussi un choix de souveraineté sur les données. Quand vos données sont des vulnérabilités non patchées, les charger sur un modèle cloud est un risque métier, pas seulement technique.

La rhétorique sur la sécurité des modèles frontier et la pratique de la sécurité offensive pointent dans des directions opposées. Les labs veulent des modèles qui ne peuvent pas être utilisés pour attaquer, mais attaquer est exactement comment on découvre les vulnérabilités à fermer. La question est où s’arrêtent les garde-fou : et pour l’instant, ils s’arrêtent trop tôt, laissant ceux qui défendent avec un outil mutilé.