OpenAI a annoncé le blocage de plusieurs comptes liés à des institutions gouvernementales en Chine et en Russie. Selon son dernier rapport sur les menaces, ces comptes utilisaient des modèles d'IA pour développer des outils de surveillance, des opérations de désinformation et des cyberattaques. L'entreprise souligne que, bien que limitées, ces tentatives constituent un signal d'alarme quant à la manière dont les régimes autoritaires pourraient exploiter les capacités de l'IA à l'avenir. Dans un cas, un utilisateur bloqué utilisant un VPN pour contourner les restrictions d'accès depuis la Chine a demandé à ChatGPT de l'aider à créer des supports promotionnels et une documentation de conception pour un système de surveillance des réseaux sociaux. Cet outil, qu'il a baptisé « probe », analyserait les publications provenant de plateformes comme X, Facebook, Instagram, TikTok, Reddit et YouTube, identifiant les contenus jugés extrémistes ou politiquement sensibles. Selon les représentants d'OpenAI, l'équipe de sécurité n'a trouvé aucune preuve de la mise en œuvre effective du projet. Cependant, le fait que l'utilisateur fasse référence à un client gouvernemental a soulevé des soupçons raisonnables de tentative d'utilisation de l'IA à des fins de surveillance. Dans deux autres cas, les modèles OpenAI ont été utilisés pour solliciter le financement d'un compte X critiquant les autorités chinoises et pour identifier les organisateurs d'une pétition en Mongolie. Ces modèles n'ont fourni que des données accessibles au public, sans porter atteinte à la vie privée des utilisateurs. Ben Nimmo, chercheur principal au sein de l'équipe de renseignement d'OpenAI, a qualifié ces incidents de « signaux d'alerte importants » annonçant de futures pistes d'abus. Il a ajouté que même des tentatives mineures d'utilisation de l'IA à des fins de surveillance ou de propagande révèlent une menace réelle pour les libertés numériques et la vie privée.

Le rapport révèle que certains des comptes bloqués n'étaient pas limités à un seul outil. Plusieurs modèles d'IA ont été utilisés lors d'une même opération. Le groupe chinois identifié a utilisé ChatGPT pour générer des leurres de phishing, puis le modèle DeepSeek pour automatiser des attaques de masse. De leur côté, des groupes russes ont utilisé ChatGPT pour développer des messages et des scripts vidéo destinés à l'opération d'influence « Stop News ». La production finale du contenu a été réalisée à l'aide d'autres modèles d'IA, puis mise en ligne sur YouTube et TikTok. Bien qu'OpenAI n'ait pas confirmé les systèmes spécifiques utilisés par les cyberopérateurs, ses chercheurs ont constaté une pratique croissante consistant à « passer d'un modèle à l'autre » pour éviter d'être détectés. Michael Flossman, de l'équipe de renseignement sur les menaces d'OpenAI, a expliqué que les groupes criminels combinent de plus en plus les outils de différentes entreprises, obtenant ainsi des avantages modestes mais significatifs en termes de rapidité et d'automatisation.

Le rapport détaille également les tentatives d'utilisation de ChatGPT pour créer et perfectionner des logiciels malveillants. Des comptes liés à des groupes criminels russophones ont demandé au modèle de générer du code pour des chevaux de Troie d'accès à distance, des voleurs d'identifiants et des outils de contournement de Windows. L'équipe d'OpenAI a souligné que les modèles rejetaient systématiquement les requêtes purement malveillantes. Malgré cela, les utilisateurs ont tenté de développer le code de manière itérative et d'utiliser l'assistance du modèle pour implémenter des charges utiles malveillantes. L'analyse a révélé que certains comptes ont ensuite publié des extraits de code sur des chaînes Telegram associées à des groupes criminels opérant en Europe de l'Est. Bien qu'OpenAI n'ait pas attribué les attaques à une organisation spécifique, la société a confirmé qu'elle avait une confiance moyenne à élevée dans leur origine russe.

Depuis février 2024, OpenAI publie régulièrement des rapports de menaces documentant les tentatives d'abus de ses modèles d'IA générative. Depuis le lancement du programme, plus de 40 réseaux ont été bloqués pour violation de ses conditions d'utilisation. Selon l'entreprise, la plupart de ces réseaux ne créent pas de nouvelles méthodes d'attaque, mais utilisent l'IA pour affiner leurs tactiques existantes. Les experts soulignent que l'intelligence artificielle devient un élément clé de l'arsenal des groupes d'espionnage et de cybercriminalité. La combinaison des capacités d'automatisation et de la difficulté d'identifier les sources de contenu généré représente un défi non seulement pour les entreprises technologiques, mais aussi pour les services de sécurité internationaux.