À mesure que l'intelligence artificielle devient plus autonome, une nouvelle question prend une importance considérable : comment empêcher un agent IA d'effectuer une action dangereuse, d'accéder à des ressources qui ne lui sont pas autorisées ou de contourner les mécanismes de sécurité qui lui ont été imposés ? Nvidia souhaite apporter une réponse technologique à ce problème avec sa Open Agent Safety Platform, une plateforme destinée à surveiller les agents IA pendant leur fonctionnement et à intervenir rapidement lorsqu'un comportement anormal est détecté. Cette évolution illustre une transformation profonde du secteur : après avoir développé des modèles capables de raisonner et des agents capables d'agir, l'industrie commence désormais à construire des systèmes chargés de surveiller et contrôler d'autres intelligences artificielles.

1. Pourquoi la sécurité des agents IA devient-elle essentielle ?

Un chatbot traditionnel possède généralement un champ d'action relativement limité. L'utilisateur lui pose une question et le modèle produit une réponse. Les agents IA autonomes vont beaucoup plus loin. Ils peuvent utiliser des outils, consulter des fichiers, appeler des API, exécuter du code, naviguer sur Internet ou interagir avec différentes applications afin d'accomplir une mission composée de plusieurs étapes.

Cette autonomie augmente considérablement leur utilité, mais elle crée également de nouveaux risques. Un agent peut mal interpréter une instruction, utiliser un outil de manière inattendue, accéder à une ressource sensible ou poursuivre son objectif d'une manière différente de celle souhaitée par son utilisateur. Plus les agents obtiennent de permissions et plus les conséquences potentielles d'une erreur deviennent importantes.

La sécurité ne peut donc plus reposer uniquement sur les mécanismes intégrés au modèle. Les entreprises commencent à développer des couches de contrôle externes capables d'observer les actions de l'agent et de limiter ce qu'il est réellement autorisé à faire.

2. Nvidia lance l'Open Agent Safety Platform

Nvidia a présenté la NVIDIA Open Agent Safety Platform, une architecture ouverte destinée à renforcer la sécurité des agents depuis leur phase de test jusqu'à leur déploiement. La plateforme cherche à assurer un contrôle sur plusieurs niveaux : logiciels, modèles, systèmes de calcul et même systèmes robotiques capables d'effectuer des actions dans le monde physique.

L'approche de Nvidia repose notamment sur deux composants importants : OpenShell et NVIDIA Sentry. OpenShell constitue un environnement d'exécution sécurisé chargé d'imposer des limites à l'agent. Il peut déterminer les ressources auxquelles celui-ci peut accéder et les actions qu'il est autorisé à effectuer. Sentry ajoute une seconde couche de protection indépendante capable de surveiller continuellement le comportement de l'agent.

Cette architecture cherche donc à appliquer un principe déjà largement utilisé en cybersécurité : ne pas faire entièrement confiance au programme que l'on souhaite protéger. Même lorsqu'un agent fonctionne normalement, ses permissions restent limitées et son activité peut être contrôlée.

3. NVIDIA Sentry peut mettre un agent en quarantaine en quelques millisecondes

L'un des éléments les plus intéressants de la plateforme est NVIDIA Sentry. Ce système fonctionne notamment sur les DPU BlueField-4 de Nvidia et surveille l'activité des agents depuis un environnement matériel isolé du système principal. L'objectif consiste à placer le mécanisme de surveillance dans une zone que l'agent lui-même ne peut pas facilement modifier ou désactiver.

Sentry peut analyser les communications de l'agent, son identité, les autorisations qui lui ont été accordées et les ressources auxquelles il tente d'accéder. Lorsqu'un comportement sort des limites définies par l'organisation, le système peut appliquer les politiques de sécurité et mettre l'agent en quarantaine en quelques millisecondes.

Cette séparation est particulièrement importante. Un agent compromis ou défaillant ne doit pas être capable de désactiver lui-même le système chargé de le surveiller. Nvidia cherche donc à déplacer une partie du contrôle vers une couche matérielle indépendante du logiciel exécutant l'agent.

4. OpenShell définit ce que l'agent peut voir et faire

Le deuxième élément essentiel est NVIDIA OpenShell. Ce logiciel open source fournit un environnement sécurisé dans lequel les agents peuvent fonctionner tout en respectant des règles précises. Une entreprise peut par exemple déterminer les fichiers qu'un agent peut consulter, les services auxquels il peut se connecter, les outils qu'il peut utiliser ou les opérations qui doivent lui être interdites.

Cette approche se rapproche du principe de Zero Trust utilisé en cybersécurité. Un agent ne reçoit pas automatiquement un accès complet au système simplement parce qu'il appartient à une application autorisée. Chaque accès peut être limité en fonction de son identité, de ses permissions et du contexte dans lequel l'action est effectuée.

OpenShell permet ainsi de créer une frontière logicielle autour de l'agent, tandis que Sentry ajoute une couche de contrôle indépendante au niveau de l'infrastructure. Nvidia cherche donc à construire une défense en profondeur comparable à celle utilisée pour protéger les réseaux et les systèmes informatiques traditionnels.

5. Quand une IA commence à surveiller une autre IA

L'une des conséquences les plus intéressantes de cette évolution est l'apparition de systèmes d'IA chargés de surveiller d'autres IA. NVIDIA Sentry peut notamment utiliser des modèles spécialisés afin d'analyser les communications d'un agent et déterminer si son comportement reste cohérent avec sa mission initiale ou s'il commence à s'en écarter.

Un système de surveillance pourrait par exemple détecter qu'un agent tente soudainement d'accéder à des données qui ne sont pas nécessaires à sa mission, d'appeler un service interdit ou d'établir une communication vers une destination non autorisée. L'action pourrait alors être bloquée avant d'atteindre sa destination.

Cette architecture introduit une nouvelle logique dans l'intelligence artificielle : le modèle principal accomplit une tâche tandis qu'un autre système analyse son comportement. Nous entrons ainsi progressivement dans une architecture où plusieurs IA peuvent avoir des responsabilités différentes : certaines produisent, certaines agissent et d'autres surveillent, vérifient ou contrôlent leurs actions.

6. La sécurité des agents IA devient un nouveau marché de la cybersécurité

Cette évolution pourrait créer un marché technologique considérable. Les entreprises utilisent déjà des pare-feu, antivirus, systèmes de détection d'intrusion, solutions EDR et plateformes Zero Trust pour protéger leurs infrastructures traditionnelles. Avec la généralisation des agents autonomes, elles pourraient également avoir besoin de nouvelles catégories d'outils spécifiquement consacrées à la sécurité des agents IA.

Il faudra notamment gérer l'identité des agents, leurs permissions, les outils auxquels ils peuvent accéder, les données qu'ils peuvent consulter, les actions qu'ils peuvent effectuer et la traçabilité de leurs décisions. Des systèmes devront également détecter les comportements inhabituels et permettre aux administrateurs de suspendre rapidement un agent lorsque cela devient nécessaire.

Cette évolution rapproche donc fortement deux domaines : intelligence artificielle et cybersécurité. À mesure que les agents deviennent une nouvelle catégorie d'utilisateurs des systèmes informatiques, leur identité et leurs permissions devront être administrées presque comme celles des collaborateurs humains, mais avec des mécanismes adaptés à leur vitesse et à leur capacité d'automatisation.

7. Après les agents autonomes, voici l'ère des systèmes chargés de les contrôler

Le développement de la plateforme de Nvidia montre à quel point l'industrie de l'intelligence artificielle évolue rapidement. La première phase de l'IA générative était principalement consacrée aux chatbots. Une deuxième phase voit apparaître des agents capables d'utiliser des outils et d'effectuer des tâches en plusieurs étapes. Une troisième couche commence maintenant à se développer : les technologies chargées de sécuriser, surveiller et contrôler ces agents.

Cette évolution pourrait devenir l'un des grands enjeux technologiques des prochaines années. Plus les agents IA auront accès aux ordinateurs, aux API, aux bases de données, aux infrastructures cloud et éventuellement aux robots, plus il deviendra indispensable de définir précisément ce qu'ils ont le droit de faire et de disposer d'un mécanisme indépendant capable de les arrêter.

Nvidia ne cherche donc plus seulement à fournir les processeurs nécessaires au fonctionnement de l'intelligence artificielle. Avec OpenShell, Sentry, BlueField et son Open Agent Safety Platform, l'entreprise cherche également à fournir une partie de l'infrastructure de confiance qui permettra aux organisations de déployer des agents autonomes à grande échelle. Après le marché du calcul IA, celui de la sécurité et du contrôle des agents pourrait ainsi devenir une nouvelle composante majeure de l'économie de l'intelligence artificielle.