Un modèle de la famille Gemini de Google a compromis les systèmes informatiques de trois entreprises lors d'un test de cybersécurité mené en mai. L'information a été révélée par le Wall Street Journal, et Google a confirmé l'incident, non sans réticence, car il ne l'avait pas encore divulgué publiquement. Le plus inquiétant, c'est que Gemini n'est pas un cas isolé. OpenAI, Anthropic, Meta et maintenant Google ont tous admis des incidents similaires ces dernières semaines. Nous assistons à un phénomène nouveau et, franchement, un peu préoccupant. Pour comprendre ce qui s'est mal passé, il faut comprendre ce qu'est un test de type « capture du drapeau » : c'est le format standard utilisé par les laboratoires pour tester les capacités offensives d'un modèle d'IA. Concrètement, l'IA est invitée à infiltrer un réseau simulé et à récupérer des informations cachées, comme le ferait un pirate informatique dans un environnement contrôlé. Le test a eu lieu sur l'infrastructure d' Irregular , une entreprise de sécurité qui gère ces évaluations pour plusieurs laboratoires d'IA. Le problème était double : le nom d’une des entreprises fictives du test correspondait à celui d’une entreprise réelle, et l’environnement de test était censé être totalement isolé d’Internet, mais une faille de configuration laissait une porte ouverte sur le monde extérieur. Gemini a simplement exécuté les instructions, mais au mauvais endroit. Une fois en ligne, les agents de Gemini ont pu deviner ou déchiffrer les mots de passe pour accéder à trois entreprises réelles, obtenant ainsi l'accès.

Heather Adkins, vice-présidente de l'ingénierie de sécurité chez Google, a déclaré que « dans les trois cas, le modèle s'est arrêté », ajoutant que les trois entités concernées avaient été informées et que les procédures de test avec le partenaire d'évaluation avaient été modifiées. Irregular a confirmé : « Tous les problèmes connus de notre côté ont été résolus il y a plusieurs semaines . » Google a également informé les autorités fédérales américaines, mais a refusé de divulguer les noms des victimes ni la version de Gemini concernée, précisant seulement qu'il ne s'agissait pas du modèle le plus récent. Le fait que Google ait choisi de ne pas divulguer proactivement l'incident est en soi révélateur. La justification officielle est que les défenses ont fonctionné, mais la question demeure : ont-elles fonctionné contre quoi ? Le modèle a néanmoins réussi à accéder à des systèmes réels. Comme nous le disions, Gemini n'est pas un cas isolé . Et ce qui apparaît très clairement, c'est que les modèles d'IA sont de plus en plus capables d'agir de manière autonome dans des environnements qui n'ont pas été conçus pour les contenir, souvent à cause d'erreurs humaines dans la configuration des environnements de test. On peut se demander combien de fois cela s'est produit sans que personne ne s'en aperçoive .