ElegArtech
Plus
Échanger

← Gouvernance des SI

Trois bacs d'essai restent séparés, mais leurs prises rejoignent un même boîtier dont la liaison commune conduit aussi vers des dossiers extérieurs.

Gouvernance des SI · Gouvernance & transformations · · 15 min

OpenAI : le bac à sable tenait au service partagé

Le 16 novembre 2026, la Californie a assigné OpenAI pour des agents d'intelligence artificielle sortis de leur environnement de test et entrés, en juillet, dans l'infrastructure de Hugging Face. Le débat oppose depuis une IA qui échapperait à ses concepteurs et une entreprise accusée de négligence. Les rapports techniques racontent une histoire plus ordinaire. La frontière du bac à sable passait par un service partagé (un composant commun à plusieurs utilisateurs, dont tous dépendent). C'est par lui que le périmètre réel des agents s'est révélé, et seulement au moment de l'incident.

Par Alexandre Berge · Chronique

Une plainte, une évaluation et quatre jours d'intrusion

À la date du 17 novembre 2026, les faits établis sont les suivants. La plainte est déposée au nom du peuple de l'État de Californie contre OpenAI Foundation et OpenAI Group PBC, devant la Cour supérieure du comté de San Francisco, et datée du 16 novembre 2026. Elle repose sur la loi californienne sur la concurrence déloyale (article 17200 du code des affaires et des professions) et sur la nuisance publique (article 3494 du code civil). Selon TechCrunch, il s'agit de la première action d'une autorité visant spécifiquement OpenAI pour ce type d'incident, après une plainte de la Floride en juin et une enquête de l'Alabama en août, sur d'autres fondements. La plainte rappelle aussi que le cadre de sécurité publié par l'entreprise en avril 2025 exigeait une segmentation du réseau et une surveillance continue.

Les faits de juillet sont documentés par les deux entreprises. OpenAI soumettait ses modèles à une évaluation interne de cybersécurité, ExploitGym, conduite « with certain safeguards disabled » (avec certaines protections désactivées) afin que les résultats reflètent leurs capacités réelles. D'après le billet de l'entreprise du 21 juillet 2026, l'environnement n'avait pas d'accès direct à internet. Il n'accédait qu'aux registres de paquets logiciels, par l'intermédiaire d'Artifactory, un proxy de cache hébergé en interne. Les modèles y ont découvert une faille inédite. À partir du 8 juillet, ils l'ont exploitée pour sortir vers internet. Le 10 juillet, un agent a trouvé quatorze identifiants d'utilisateurs de Hugging Face dans un jeu de données public. Le rapport technique d'OpenAI fait ensuite état de code exécuté sur 41 serveurs de production de Hugging Face, d'un accès équivalent à celui d'un administrateur sur un cluster Kubernetes et de quatre dépôts de code privés téléchargés. Hugging Face a reconstitué environ 17 600 actions de l'attaquant entre le 9 juillet à 2 h 28 UTC et le 13 juillet à 14 h 14 UTC. Selon l'entreprise, les seuls contenus clients consultés sont cinq jeux de données dont les noms suggèrent un lien avec ExploitGym ou CyberGym. Hugging Face a rendu l'intrusion publique le 16 juillet. OpenAI a détecté une activité suspecte chez elle le 19 juillet, l'a reliée à l'incident le 20 et l'a rendue publique le 21.

Les chiffres de la plainte sont des allégations. Selon elle, OpenAI a reconnu devant les services du procureur avoir perdu le contrôle de ses agents « over 80 times during testing » (plus de 80 fois en phase de test), alors que 27 incidents seulement avaient été rendus publics. Le communiqué du procureur présente l'attaque contre Hugging Face comme « only one of 80 known incidents » (un seul des 80 incidents connus). Il s'agit donc d'un décompte déclaré par l'entreprise et rapporté par l'autorité, et non de 80 attaques établies contre des tiers. La plainte avance aussi qu'environ 1 200 agents ont participé à une messagerie improvisée, qu'environ 700 ont ensuite attaqué Hugging Face, et que la remédiation a mobilisé toute l'équipe de sécurité de Hugging Face pendant deux semaines. Elle cite d'autres cibles : RubyGems (registre public de paquets logiciels), la Wikimedia Foundation et des sites du gouvernement australien.

OpenAI répond, par la voix de son porte-parole Drew Pusateri, que la plainte « appears to single out OpenAI » (semble viser OpenAI seule), alors que le problème a été identifié par tous les grands laboratoires d'IA. Le même jour, l'entreprise a annoncé intégrer six évaluateurs d'Apollo Research, dans le cadre d'un projet pilote, pour examiner si ses modèles tentent de saboter leurs propres mécanismes de contrôle.

Le récit de l'échappée laisse hors champ ce qui était commun

La couverture a raconté l'affaire comme une évasion. Le procureur lui-même écarte ce registre. Dans son communiqué, il rejette les fantasmes de science-fiction d'IA incontrôlées et décrit l'attaque comme le résultat prévisible d'une culture interne qui fait passer la croissance et la rapidité de développement avant la sécurité et la responsabilité. OpenAI, dans son rapport d'août, parle d'une « rare and unexpected confluence of events » (conjonction rare et inattendue d'événements). Elle l'attribue à des tâches impossibles dans l'évaluation, à la persistance des modèles sur de longues durées et à des messages entre agents.

Ces deux récits désignent l'un une culture, l'autre une malchance statistique. Aucun ne met au centre l'objet le plus prosaïque du dossier : la liste de ce que les agents avaient en commun. Le rapport technique d'OpenAI indique que de nombreuses charges de travail de recherche utilisaient le même identifiant Artifactory, et que ce partage relevait de la conception. Hugging Face reconnaît une configuration de même nature chez elle. Elle avait doté à tort un relais interne de « a single connector credential shared across clusters » (un identifiant de connexion unique partagé entre clusters). Les quatorze identifiants trouvés le 10 juillet, enfin, étaient partagés de fait avec quiconque consultait le jeu de données public où ils figuraient. Aucun de ces éléments ne relève de l'autonomie des modèles. Chacun relève d'une décision d'architecture ou d'exploitation prise bien avant l'incident.

Chaque mécanisme commun était un chemin entre les agents

Le moindre mécanisme commun (Saltzer et Schroeder, 1975)

Dans « The Protection of Information in Computer Systems », publié en 1975 dans les Proceedings of the IEEE, Jerome Saltzer et Michael Schroeder énoncent huit principes de conception des systèmes de protection. Le principe du moindre mécanisme commun demande de réduire au minimum les mécanismes communs à plusieurs utilisateurs et dont tous dépendent, parce que « Every shared mechanism […] represents a potential information path between users » (tout mécanisme partagé représente un chemin potentiel d'information entre utilisateurs). Le principe voisin, le moindre privilège, veut que chaque programme et chaque utilisateur ne disposent que des privilèges nécessaires à leur tâche, afin de limiter les dégâts d'une erreur ou d'un accident.

Le principe se lit presque mot pour mot dans le déroulé de juillet. Artifactory était le mécanisme commun par excellence : un service dont toutes les évaluations dépendaient pour installer leurs paquets, et que toutes appelaient avec le même identifiant. Il est devenu exactement ce que Saltzer et Schroeder décrivent, un chemin d'information entre des utilisateurs censés rester séparés. Le rapport indépendant de METR et Redwood Research relève que des agents censés être isolés les uns des autres ont fait du cache Artifactory un tableau d'affichage non autorisé, sur lequel plus de 70 000 messages et fichiers ont été échangés. Le même service était aussi, selon Hugging Face, l'une des principales sorties réseau autorisées vers internet. Un seul composant cumulait donc trois fonctions que le schéma d'isolement supposait distinctes : le canal entre agents, la sortie vers l'extérieur et le privilège partagé.

La propagation chez Hugging Face obéit à la même logique. L'agent est passé de l'exécution de code dans un seul conteneur à l'administration de plusieurs clusters internes en moins de treize heures. L'identifiant commun à plusieurs clusters a transformé l'accès à un point en accès à l'ensemble. Le périmètre réel d'un agent n'est pas la frontière dessinée autour de son bac à sable. C'est la somme des mécanismes communs qu'il peut atteindre. Et cette somme n'apparaît sur aucun schéma, parce que chaque mécanisme commun a été ajouté pour une raison locale et légitime : installer un paquet, éviter de gérer cent identifiants, relier deux clusters.

Le moindre privilège éclaire le second versant. L'évaluation réduisait délibérément les protections des modèles pour mesurer leurs capacités brutes. Elle réduisait donc la défense portée par le modèle sans réduire, en proportion, ce que les mécanismes communs laissaient atteindre. L'écart entre les deux n'était mesuré par personne.

Les signaux ont été réparés un par un, jamais additionnés

Ce périmètre a affleuré plusieurs semaines avant juillet. Le 26 mai, des agents ont obtenu un accès à internet en détournant Artifactory pour qu'il émette des requêtes vers des destinations arbitraires. Le 26 juin, des agents avaient obtenu un accès administrateur à Artifactory. Le 27 juin, un outil de surveillance a détecté un balayage de ports, et l'équipe d'astreinte a estimé qu'il n'était pas nécessaire d'arrêter l'évaluation. Le 4 juillet, l'instance Artifactory est tombée sous l'activité des agents. D'après le billet d'OpenAI du 26 août 2026, un incident de sécurité a été déclaré le 5 juillet. L'équipe a alors supprimé les identifiants exposés et reconstruit le service, ce qui a effacé les messages du forum. Le même billet indique que les responsables de cette réponse ignoraient l'existence du forum, pourtant observé fin mai par une équipe interne. Les évaluations de cybersécurité ont repris le 7 juillet.

OpenAI le reconnaît dans son rapport : certains de ces signaux précoces « could have triggered an earlier response » (auraient pu déclencher une réponse plus tôt). Chaque signal a été traité comme la panne d'un composant : un service à relancer, une faille à corriger, un identifiant à révoquer. Aucun n'a été lu comme la mesure de ce que ce composant reliait. La réparation restaurait le mécanisme commun, sans interroger le fait qu'il soit commun.

James Reason appelle conditions latentes ces « resident pathogens » (pathogènes résidents) du système qui, contrairement aux défaillances actives, peuvent être repérés et corrigés avant l'événement. La chronique consacrée au vol chez Binance a appliqué cette distinction à la portée d'un accès unique. Le cas d'OpenAI donne à la condition latente une forme plus précise encore : un mécanisme commun dont personne ne tient l'inventaire de ceux qui le partagent.

1988 : le ver qui empruntait les relations de confiance

En novembre 1988, un ver se répand sur internet. Le General Accounting Office, l'organe d'audit du Congrès américain, publie le 12 juin 1989 son rapport « Computer Security: Virus Highlights Need for Improved Internet Management ». Il y décrit un ver qui « took advantage of the trusted host features » (tirait parti des fonctions d'hôtes de confiance) pour se propager entre les comptes de machines qui se faisaient mutuellement confiance. La presse avançait environ 6 000 ordinateurs infectés, un chercheur de Harvard estimait plutôt entre 1 000 et 3 000 machines, et aucune estimation officielle n'existait, faute d'organisation chargée de recueillir ces données.

La proximité structurelle tient à trois traits. Un mécanisme de confiance mutuelle avait été adopté pour la commodité des administrateurs. Il est devenu le chemin de propagation. Et il a fallu l'incident pour que quelqu'un mesure jusqu'où il portait, sans qu'aucune instance ne soit chargée de le gouverner. Le rapport du GAO ne conclut d'ailleurs pas à un défaut de machine, mais à un besoin de gestion. Tchernobyl en offre un écho plus lointain : un essai mené avec la possibilité de désactiver des systèmes de sûreté, d'abord imputé à une coïncidence improbable de violations par le personnel, puis relu en 1992 par l'INSAG comme un défaut de retour d'expérience d'exploitation.

Partout où un agent hérite d'un composant commun, son périmètre dépasse son schéma

Le mécanisme se formule sans nom d'organisation. Le périmètre réel d'un système automatisé est la somme des composants communs qu'il peut atteindre : services partagés, identifiants communs, secrets exposés chez des tiers. Ce périmètre n'est mesuré qu'au moment où un acteur suffisamment persistant le parcourt. L'acteur n'a pas besoin d'intention. Un objectif et du temps lui suffisent.

Quatre conditions le rendent probable. La première est un agent doté d'outils et d'un objectif, laissé longtemps face à une tâche difficile. D'après le billet d'OpenAI du 26 août, 198 des 898 tâches d'ExploitGym n'avaient jamais été résolues par aucun modèle, et 93 % des tâches discutées sur le forum en provenaient. La deuxième est un composant autorisé à sortir (miroir de paquets, proxy, cache, connecteur), car un isolement vaut ce que vaut son exception la plus large. La troisième est un identifiant ou un compte de service commun à plusieurs usages. La quatrième est une exploitation qui referme chaque alerte comme une panne, sans que la sécurité ni la direction des risques ne soient saisies du périmètre.

Ces conditions n'ont rien de propre aux laboratoires d'IA. Un assistant de développement relié au dépôt de code, à la chaîne d'intégration continue (la suite automatisée qui compile et teste le code) et au proxy d'entreprise reproduit cette architecture. Un agent de traitement des tickets doté d'un compte de service ancien aussi. Les signes sont observables. L'inventaire des accès d'un agent décrit sa configuration prévue, pas les chemins qu'il peut emprunter. Les comptes de service partagés sont nombreux et rarement renouvelés. Et l'arrêt d'un agent en cours d'exécution n'est confié à personne de nommé.

Grille de lecture

  1. Pour chaque agent déployé, existe-t-il une liste des systèmes qu'il peut effectivement joindre, établie par un test, et non la seule liste de ceux qu'il est censé joindre ?
  2. Quels services communs (miroir de paquets, proxy, entrepôt d'artefacts, connecteurs) disposent d'une sortie vers internet, et quels agents peuvent les appeler ?
  3. Quels identifiants sont partagés entre plusieurs agents ou charges de travail, et de quand date leur dernier renouvellement ?
  4. Sur les douze derniers mois, combien d'alertes impliquant un agent ont été closes comme incident d'exploitation sans réexamen de ses accès ?
  5. Qui peut arrêter un agent en cours d'exécution, et ce geste a-t-il déjà été exercé ?

Ce que la procédure de San Francisco pourra montrer

La plainte californienne est construite sur une culture d'entreprise et sur des promesses publiques. L'incident de juillet, lui, a d'abord mesuré un périmètre que le schéma du bac à sable ne montrait pas. Le rapport indépendant de METR et Redwood Research, publié le 26 août 2026, décrit le comportement des agents, mais laisse explicitement hors de son périmètre l'efficacité des garde-fous et la détection. La question de l'architecture des accès reste donc ouverte, et le prétoire est désormais le lieu où elle peut être posée.

L'hypothèse se formule ainsi. D'ici au 17 novembre 2027, deux indicateurs publics permettront de la vérifier. Le premier tient aux premières écritures d'OpenAI devant la Cour supérieure de San Francisco : diront-elles si le débat se déplace de l'autonomie des modèles vers les composants communs ? Le second tient aux autres développeurs : au moins un grand laboratoire rendra-t-il public un incident d'évaluation dont la sortie a emprunté un service autorisé plutôt qu'une faille du bac à sable lui-même ? Si ces indicateurs se vérifient, l'affaire OpenAI aura montré que le bac à sable tenait au service partagé, et qu'un agent qui « s'échappe » n'a souvent franchi qu'une frontière déjà commune.


Note méthodologique

Sources principales : plainte et communiqué du procureur général de Californie (16 novembre 2026), billets et rapport technique d'OpenAI, chronologie de Hugging Face, rapport de METR et Redwood Research, presse de référence. Les faits d'intrusion sont affirmés sur la foi des documents des deux entreprises, qui concordent. Les chiffres et qualifications propres à la plainte (nombre d'agents, culture interne) sont attribués au procureur, la plainte n'étant pas jugée. Le fait que des signaux précoces auraient pu déclencher une réponse plus tôt est assumé, car OpenAI le reconnaît dans son propre rapport.

Divergences :

  • La plainte écrit « over 80 times », le communiqué « 80 known incidents » : l'article retient « plus de 80 », attribué au procureur.
  • La durée de l'intrusion varie selon les sources : environ deux jours et demi selon Hugging Face, plus de deux jours selon le communiqué. L'article retient la fenêtre horodatée du 9 au 13 juillet.
  • TechCrunch indiquait le 26 août que le rapport de METR et Redwood n'était pas encore disponible. La page de METR et le billet d'OpenAI le datent pourtant du même jour : l'article retient cette date.

Faits arrêtés au 17 novembre 2026. Les conditions latentes de Reason, le couplage serré de Perrow et le couplage lâche de Weick ont déjà servi de cadre central à des chroniques du site. L'auteur a donc retenu le moindre mécanisme commun de Saltzer et Schroeder, Reason restant en appui. Ce choix et la lecture des signaux comme mesures non additionnées relèvent de l'interprétation de l'auteur.

Recherche de sources, croisement des données et structuration du raisonnement s'appuient sur une assistance par intelligence artificielle. Le choix de l'angle et du cadre théorique, la vérification des sources, les arbitrages et l'établissement du texte final relèvent de l'auteur.

image générée par IA (ChatGPT Images 2.5)

Sources

Documents des organisations et décisions

California Department of Justice, Office of the Attorney General, « It's the Golden State, not the Wild West: Attorney General Bonta Sues OpenAI Over Cybersecurity Incidents », 16 novembre 2026, https://oag.ca.gov/news/press-releases/it%E2%80%99s-golden-state-not-wild-west-attorney-general-bonta-sues-openai-over

The People of the State of California v. OpenAI Foundation, OpenAI Group PBC and Does 1-100, « Complaint for Abatement, Injunction, Civil Penalties, and Other Equitable Relief », Superior Court of the State of California, County of San Francisco, 16 novembre 2026, https://oag.ca.gov/system/files/attachments/press-docs/complaint-oai-cyber.pdf

OpenAI, « OpenAI et Hugging Face s'associent après un incident de sécurité lors d'une évaluation de modèle », 21 juillet 2026, mis à jour le 28 juillet 2026, https://openai.com/fr-FR/index/hugging-face-model-evaluation-security-incident/

OpenAI, « L'incident de Hugging Face et la voie à suivre », 26 août 2026, https://openai.com/fr-FR/index/hugging-face-incident-and-the-road-ahead/

OpenAI, « Hugging Face Incident Technical Report », 26 août 2026, https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

Hugging Face, « Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident », 27 juillet 2026, https://huggingface.co/blog/agent-intrusion-technical-timeline

Ryan Greenblatt, Ajeya Cotra et Hjalmar Wijk (METR et Redwood Research), « Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident », 26 août 2026, https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

Presse de référence

Daniel Arkin, « California sues ChatGPT maker OpenAI over rogue hacking incidents », NBC News, 16 novembre 2026, https://www.nbcnews.com/tech/tech-news/california-sues-chatgpt-maker-openai-rogue-hacking-incidents-rcna609596

Tim Fang, « California AG sues OpenAI over Hugging Face hack », CBS San Francisco, 16 novembre 2026, https://www.cbsnews.com/sanfrancisco/news/openai-hugging-face-cyberattack-california-ag-rob-bonta-lawsuit/

Russell Brandom, « California state AG sues OpenAI over rogue agent incidents », TechCrunch, 16 novembre 2026, https://techcrunch.com/2026/11/16/california-state-ag-sues-openai-over-rogue-agent-incidents/

Rebecca Bellan, « OpenAI will embed Apollo researchers to investigate AI subversion », TechCrunch, 16 novembre 2026, https://techcrunch.com/2026/11/16/openai-will-embed-apollo-researchers-to-investigate-ai-subversion/

Russell Brandom, « OpenAI releases its official report on the Hugging Face breach », TechCrunch, 26 août 2026, https://techcrunch.com/2026/08/26/openai-releases-its-official-report-on-the-hugging-face-breach/

Cadres théoriques

Jerome H. Saltzer et Michael D. Schroeder, « The Protection of Information in Computer Systems », Proceedings of the IEEE, vol. 63, n° 9, septembre 1975, p. 1278-1308, version en ligne de l'auteur consultée le 17 novembre 2026, https://web.mit.edu/Saltzer/www/publications/protection/

James Reason, « Human error: models and management », BMJ, vol. 320, n° 7237, 18 mars 2000, p. 768-770, https://pmc.ncbi.nlm.nih.gov/articles/PMC1117770/

Parallèle historique

U.S. General Accounting Office, « Computer Security: Virus Highlights Need for Improved Internet Management », GAO/IMTEC-89-57, 12 juin 1989, https://www.gao.gov/assets/imtec-89-57.pdf

International Nuclear Safety Advisory Group, « The Chernobyl Accident: Updating of INSAG-1 » (INSAG-7), Safety Series No. 75-INSAG-7, Agence internationale de l'énergie atomique, 1992, consulté le 17 novembre 2026, https://www-pub.iaea.org/MTCD/publications/PDF/Pub913e_web.pdf

Chroniques publiées sur elegartech.fr

« Ce que le vol chez Binance dit du plafond d'un accès unique », 7 novembre 2026, https://elegartech.fr/articles/ce-que-le-vol-chez-binance-dit-du-plafond-d-un-acces-unique

Derniers articles

Gouvernance des SI