NVIDIA lance une nouvelle plateforme de sécurité conçue pour contrôler et isoler les agents d'IA. L'entreprise l'a dévoilée suite à une série d'incidents où des systèmes d'IA autonomes ont été utilisés à des fins de piratage. Selon NVIDIA, la nouvelle plateforme Open Agent Safety Platform peut isoler un agent en quelques millisecondes seulement s'il tente de franchir les limites définies. La plateforme repose sur le logiciel libre OpenShell, qui s'exécute sur le processeur d'IA NVIDIA Vera. Les utilisateurs peuvent définir eux-mêmes les informations auxquelles un agent d'IA est autorisé à accéder. OpenShell vérifie que ces restrictions sont respectées avant et pendant l'exécution d'une tâche.

De plus, la plateforme utilise la technologie NVIDIA Sentry, exécutée sur une puce dédiée, pour surveiller en permanence les agents et appliquer les restrictions définies. Dans une interview accordée à CNBC, Jensen Huang, PDG de NVIDIA, a souligné que les agents d'IA ne devraient avoir accès qu'aux informations nécessaires à l'exécution de leurs tâches. Il a expliqué que, pour que les systèmes d'agents fonctionnent en toute sécurité, leur environnement isolé et les autres systèmes connectés doivent être correctement organisés afin de garantir que l'agent dispose des droits d'accès minimaux requis. Cependant, les performances de ce système lors de tests en conditions réelles restent à évaluer.