Des chercheurs de Radware ont annoncé une faille de sécurité dans l'agent ChatGPT Deep Research, baptisée ShadowLeak. Le mécanisme d'attaque impliquait une injection indirecte de messages. Des commandes malveillantes pouvaient être dissimulées dans le code HTML de l'e-mail, les rendant invisibles pour l'utilisateur, mais lisibles par l'agent IA. Des techniques typographiques telles que l'utilisation de polices très petites, du texte blanc sur fond blanc et la modification de la mise en page ont été utilisées pour y parvenir. Deep Research est une fonctionnalité de ChatGPT lancée en février 2024. Elle permet au chatbot d'effectuer des recherches indépendantes sur Internet. Les chercheurs de Radware ont démontré que, dans le cas de ShadowLeak, l'agent pouvait exécuter des instructions pour collecter des données personnelles à partir d'autres messages de la boîte de réception Gmail. Ces informations étaient ensuite envoyées à des serveurs externes. Pour ce faire, l'agent a utilisé l'outil browser.open(), codant les données en Base64 et les ajoutant à des URL spécialement conçues.

Les expériences ont montré que l'attaque ne se limitait pas à l'intégration de Gmail. La même technique pouvait être appliquée à de nombreux autres services compatibles avec ChatGPT, notamment Dropbox, Google Drive, GitHub, Notion, Microsoft Outlook, HubSpot et SharePoint. De nombreux aspects du travail et de la communication, tant pour les entreprises que pour les particuliers, étaient donc potentiellement menacés. Contrairement aux incidents précédents comme AgentFlayer et EchoLeak, ShadowLeak n'a pas opéré côté client. L'attaque a été lancée directement sur l'infrastructure cloud d'OpenAI. Ni la surveillance locale ni la sécurité de l'entreprise n'avaient aucun moyen de détecter la fuite. Cette vulnérabilité était donc extrêmement difficile à détecter et donc particulièrement dangereuse. Les experts soulignent que ces types d'attaques sont à la fois simples à mettre en œuvre et relativement faciles à supprimer s'ils sont détectés rapidement. Le problème des instructions cachées dans les systèmes basés sur LLM est connu depuis longtemps et largement débattu. Des solutions techniques permettent de neutraliser rapidement ces vulnérabilités, mais cela ne signifie pas pour autant qu'elles peuvent être ignorées.

Selon Radware, OpenAI a déployé des correctifs pour éliminer ShadowLeak début août. La vulnérabilité avait été signalée un mois et demi plus tôt. Si le vecteur d'attaque décrit ne devrait plus fonctionner, cet incident met une fois de plus en évidence le problème de sécurité des systèmes d'IA, qui deviennent de plus en plus une passerelle vers les données stockées dans les services cloud.