Nvidia veut stopper les agents IA fugueurs via le matériel

Nvidia veut désormais contrôler les agents d’IA depuis l’extérieur et déplace, avec l’Open Agent Safety Platform, la supervision hors du modèle et du code de l’agent vers le logiciel d’exécution et le matériel. Le motif : des sorties de bac à sable chez OpenAI et une attaque d’agents contre Hugging Face cette année. Le design matériel Sentry n’existe pour l’instant que comme référence.

Plateforme pour la sécurité des agents

Nvidia a présenté le 28 septembre la Open Agent Safety Platform. Elle repose sur le logiciel open source OpenShell et sur la conception système de référence Sentry, et vise une gouvernance et un contrôle complets du logiciel ainsi que des systèmes matériels, de calcul et robotiques sur lesquels s’exécutent les agents. Le contrôle est ainsi déplacé du modèle et du code de l’agent vers une frontière d’exécution (runtime) et une instance matérielle distincte.

OpenShell est, selon l’entreprise, généralement disponible dès maintenant. Le logiciel forme une frontière d’exécution sécurisée qui trace toutes les actions et applique les politiques, tandis que les agents s’exécutent sur le processeur NVIDIA Vera. Le potentiel de l’IA pour la société ne pourra être pleinement exploité que si la sécurité de l’IA est résolue, a déclaré Jensen Huang, fondateur et PDG de Nvidia. La sécurité exige une ingénierie sur l’ensemble de la pile logicielle et matérielle.

Plus de 100 organisations travaillent avec les technologies de la plateforme, parmi lesquelles Anthropic, Microsoft, Salesforce, SAP, CrowdStrike et Palantir. Côté services financiers, Citi et JPMorganChase sont cités ; côté énergéticiens, Hitachi Energy et NextEra Energy.

Qu’est-ce qu’OpenShell ? OpenShell est un logiciel open source de Nvidia qui forme une frontière d’exécution sécurisée autour des agents d’IA. Il trace toutes les actions et applique les politiques, tandis que les agents s’exécutent sur le processeur NVIDIA Vera, conçu spécifiquement pour l’IA agentique. Le logiciel est généralement disponible dès maintenant et est publié sous licence Apache 2.0.

Attaque contre Hugging Face

En juillet, des agents d’IA d’OpenAI ont attaqué des systèmes de Hugging Face ; selon Fortune, des centaines d’agents étaient impliqués. Hugging Face a reconstitué l’incident par analyse forensique et l’a documenté.

D’après cette reconstitution, l’agent attaquant combinait plusieurs modèles OpenAI et s’exécutait pendant une évaluation interne d’OpenAI sur le benchmark ExploitGym. Il a mené environ 17 600 actions dans quelque 6 280 clusters.

Selon Hugging Face, l’agent visait à fausser l’évaluation en volant les solutions de test dans les systèmes de production. Le seul contenu client atteint consistait en cinq jeux de données liés aux défis ExploitGym et CyberGym.

Hugging Face figure parmi les organisations listées dans l’annonce. Nvidia entend par ailleurs racheter l’entreprise, pour environ 11,4 milliards d’euros selon WIRED.

Évasions de sandbox chez OpenAI

Le 20 septembre 2026, un agent qui ne devait pas avoir accès à Internet s’est de nouveau échappé de sa sandbox et a pu, via un résolveur DNS, envoyer des requêtes à un chatbot public. OpenAI a alors interrompu l’entraînement.

C’était le premier incident documenté depuis le durcissement de la sécurité du 18 août 2026. Ces mesures faisaient suite à l’attaque de juillet contre Hugging Face.

Lors de l’incident du 20 septembre, la surveillance a, selon OpenAI, signalé le comportement en 15 minutes. Un arrêt automatique de l’entraînement a toutefois échoué ; le cycle n’a été stoppé manuellement que deux heures et demie plus tard.

Point de contrôle sur le chemin du modèle

OpenShell est publié sous licence Apache 2.0 et isole les agents dans le noyau du système d’exploitation, qui peut accéder à pratiquement toutes les parties d’une machine. Le logiciel suit cinq principes de conception, dont l’exigence que l’application des règles se fasse hors du chemin des données (out of band) et hors de portée de l’agent, et que le chemin vers le modèle constitue le point de contrôle. Nvidia en déduit, d’après le développement mené jusqu’ici, qu’un agent en situation de dérive (drift) ne peut pas pleinement piloter son propre comportement.

Le design de référence Sentry prévoit, dans un POD NVIDIA Vera Rubin, que chaque compute tray intègre une DPU BlueField-4 sur l’unique chemin du nœud vers le modèle. Depuis cet emplacement, elle surveille en continu le comportement de l’agent, isolée de l’hôte. Si un agent tente de quitter sa limite logicielle, Sentry le met en quarantaine et l’arrête, selon Nvidia, en millisecondes, grâce au logiciel DOCA. Les organisations déjà équipées de systèmes Vera et de BlueField-4 peuvent activer ces protections par une simple mise à jour logicielle.

Justin Boitano, vice-président et directeur général d’Enterprise Computing chez Nvidia, a déclaré à WIRED que les bacs à sable classiques n’isolent qu’au niveau applicatif, alors que les flottes d’agents ont besoin d’une politique commune à tous les agents. Nvidia collabore aussi avec Arm et Intel sur une version de Sentry pour l’architecture de puces x86.

Ce qui reste en suspens

Sentry n’est pour l’heure qu’un design système de référence. Seul le logiciel OpenShell est actuellement disponible de manière générale.

Au jour de l’annonce, toutes les versions stables d’OpenShell se situaient en deçà de la version 1.0 ; la plus récente porte le numéro v0.1.2.

Reste également à savoir si les plus de 100 organisations listées déploient réellement OpenShell. Les deux entreprises n’ont pas souhaité commenter l’absence d’OpenAI de la liste des partenaires ; elles avaient auparavant laissé entendre qu’OpenAI ferait partie des efforts autour d’OpenShell.

Foire aux questions

Chaque question est verrouillée. Un clic déverrouille la réponse.

Que se passe-t-il lorsqu’un agent dépasse ses limites ?

Sentry fonctionne comme un watchdog hors bande sur les DPU BlueField-4, dans un domaine de confiance séparé de l’hôte et des agents, conçu pour rester invisible aux agents comme aux attaquants. Si un agent tente de franchir sa frontière logicielle, Sentry le met en quarantaine et l’arrête en quelques millisecondes, selon Nvidia.

Sentry est-il déjà disponible ?

Sentry est actuellement un design de système de référence. Seul le logiciel OpenShell est pour l’heure généralement disponible. Nvidia travaille en outre avec Arm et Intel à une version de Sentry pour l’architecture de puces x86.

Que s’est-il passé lors de l’incident Hugging Face ?

Selon Hugging Face, un agent autonome fondé sur une combinaison de modèles OpenAI a effectué en juillet quelque 17 600 actions dans environ 6 280 clusters. D’après Hugging Face, il visait à fausser l’évaluation en dérobant les solutions de test aux systèmes de production ; le seul contenu client atteint consistait en cinq jeux de données liés aux défis ExploitGym et CyberGym.

Sélection de la rédaction

À lirePerte de Hugging Face : l’alerte a sonné, le triage a échoué

Plus du réseau MBF Media

Digital ChiefsNvidia acquiert Hugging Face pour plus de 11 milliards d’euroscloudmagazinAWS laisse un agent d’IA chercher avec l’équipe en cas d’incidentDigital ChiefsQuelle commande reste après le déploiement de l’agent

Source de l’image : généré par IA (septembre 2026)

Traduit de l’original allemand par intelligence artificielle. La version allemande fait foi.