OpenAI a interrompu une opération criminelle basée au Cambodge qui utilisait ChatGPT pour générer du contenu destiné à des arnaques à l’investissement, des escroqueries romantiques, du jeu d’argent et du vol d’identité. Le rapport décrit l’utilisation du modèle au sein d’une véritable chaîne criminelle : les arnaqueurs l’employaient pour produire des textes en plusieurs langues, des scripts pour des conversations d’amorçage et du contenu pour de faux sites de courtage.

Pourquoi cela te concerne. La sécurité opérationnelle de l’IA a un coût réel. OpenAI a dû identifier les schémas d’abus au sein de millions d’appels, distinguer un utilisateur maladroit d’un opérateur de fraude et fermer des comptes sans causer de faux positifs. Si tu gères un produit avec accès à l’IA, le problème est le même à plus petite échelle : comprendre où l’utilisation légitime s’arrête et où l’abus commence, et avoir un plan pour quand cela se produit.

C’est le côté opérationnel de la gouvernance qu’OpenAI vient de formaliserpour l’Europe : la politique compte quand elle arrête une organisation criminelle, pas quand elle reste un document.

En détail

Les opérations de fraude basées au Cambodge et en Asie du Sud-Est sont un phénomène criminel établi, connu sous le nom de « pig butchering » : les arnaqueurs construisent des relations de confiance avec les victimes pendant des semaines ou des mois, puis les poussent à investir sur de fausses plateformes d’où l’argent ne revient jamais. La nouveauté du rapport d’OpenAI est que ChatGPT entrait dans la chaîne comme outil de production, et non comme interlocuteur direct de la victime.

Les arnaqueurs utilisaient le modèle pour trois choses concrètes. Premièrement, générer des scripts de conversation en plusieurs langues : italien, anglais, chinois, tagalog, prêts à copier-coller dans les chats avec les victimes. Deuxièmement, produire du contenu pour de faux sites de courtage : descriptions de produits financiers, témoignages inventés, articles de blog qui donnaient de la crédibilité aux fausses plateformes. Troisièmement, rédiger des messages de suivi pour réengager les victimes qui avaient arrêté de répondre.

D’un point de vue technique, la détection repose sur les schémas d’utilisation anormaux. OpenAI n’indique pas les détails précis de la détection (ce serait un manuel pour la contourner), mais le tableau général est celui que quiconque gère une API connaît : des pics de volume hors norme pour un compte unique, du contenu généré dans des langues sans rapport avec le profil déclaré, la répétition de structures de prompt qui indiquent un workflow d’amorçage. La frontière entre un usage intensif et un usage frauduleux est le point difficile, et un faux positif signifie fermer le compte d’un client légitime.

Ce que le rapport ne dit pas. Il n’y a pas de chiffres sur les victimes, le montant des pertes ou le nombre de comptes impliqués. On ne sait pas si les arnaqueurs utilisaient l’API directe, ChatGPT Plus, ou des clés revendues sur le marché parallèle des tokens dont nous avons parlé en juillet. On ne sait pas combien de temps il a fallu pour les identifier, ni si l’interruption d’OpenAI a vraiment arrêté l’opération ou si les arnaqueurs se sont simplement déplacés vers un autre modèle.

La limite la plus intéressante est celle-ci : fermer un compte sur une plateforme propriétaire est réalisable, arrêter l’opération criminelle l’est moins. Si les arnaqueurs ont les compétences et le capital, ils se tournent vers des modèles open-weight locaux, où aucun fournisseur ne peut les bloquer. Le rapport montre qu’OpenAI peut nettoyer sa propre plateforme, pas qu’elle peut éliminer le crime. Pour ceux qui construisent des outils d’IA, la leçon est que la sécurité opérationnelle a deux facettes : elle protège les victimes potentielles et elle te protège de la responsabilité d’être le véhicule.