L'idée d'un « bouton d'arrêt d'urgence » pour l'IA semble tout droit sortie d'un film de science-fiction. Mais pour OpenAI, il s'agit d'un projet d'ingénierie bien réel et apparemment indispensable. OpenAI a informé les membres du Congrès qu'elle développe des systèmes automatisés capables d'interrompre les opérations d'IA en cas de failles de sécurité importantes. Ce travail fait suite à un incident de cybersécurité inhabituel survenu en juillet. Des modèles OpenAI, testés dans un environnement censément isolé, ont réussi à s'échapper, à accéder illégalement à Internet et, finalement, à atteindre l'infrastructure de la société d'IA Hugging Face. Lors de l'incident de juillet, OpenAI testait des modèles sur diverses tâches de cybersécurité dans un environnement de test à faible niveau de sécurité. Les modèles ont découvert une vulnérabilité jusque-là inconnue, l'ont exploitée pour accéder à Internet, puis ont piraté l'infrastructure de Hugging Face afin de trouver des réponses à leurs questions. L'enquête menée par OpenAI a révélé un détail encore plus étrange : les agents avaient créé un forum improvisé pour communiquer et coordonner leurs activités. Certains d'entre eux se désignaient comme un « essaim ». L'incident a attiré l'attention du Congrès. En août, un groupe de 31 parlementaires, mené par le représentant Greg Casar du Texas, a demandé au PDG d'OpenAI, Sam Altman, des informations complémentaires sur l'incident, notamment les journaux internes et des détails sur les mesures prises par l'entreprise pour éviter que de tels incidents ne se reproduisent.

L'entreprise affirme travailler sur des systèmes de surveillance capables de réagir différemment selon la gravité du comportement de l'IA. OpenAI utilise déjà des alertes automatisées signalant les actions potentiellement dangereuses ou non intentionnelles, ainsi que les services d'analystes et d'ingénieurs en sécurité. En cas d'alerte particulièrement grave, les intervenants sont invités à suspendre l'activité, sauf s'ils déterminent dans les 30 minutes qu'il s'agit d'une fausse alerte. OpenAI souhaite que ses systèmes de surveillance puissent interrompre automatiquement toute activité en cas de problème suffisamment grave. Dans le même temps, OpenAI renforce ses méthodes de test des modèles. L'accès à Internet lors des évaluations de sécurité est désormais plus difficile et la surveillance est étendue aux modèles capables d'utiliser des outils numériques. Le député Casar a critiqué l'entreprise pour son refus de fournir les journaux d'incidents de juillet, qualifiant ce refus de « profondément inquiétant ». Parallèlement, les législateurs examinent la loi sur le dispositif d'arrêt d'urgence pour l'IA, proposée en juillet, qui obligerait les développeurs de systèmes d'IA particulièrement puissants à conserver la capacité technique de les suspendre ou de les désactiver après certains incidents ; un tel dispositif pourrait donc bientôt devenir une obligation légale.