L’IA a-t-elle besoin d’une sûreté ? Ce que le nucléaire français peut lui apprendre

La bonne question n’est peut-être pas « faut-il réguler l’IA ? ». C’est : en dehors de ceux qui la construisent, qui a les moyens techniques de contredire ce qu’ils affirment ?

L’intelligence artificielle n’est pas le nucléaire. Ses risques, sa matérialité, sa diffusion et son économie politique diffèrent profondément. Toute analogie appliquée sans précaution produirait de mauvaises décisions.

Mais l’histoire du nucléaire civil français pose une question utile : comment une société s’organise-t-elle lorsqu’une technologie promet des bénéfices majeurs tout en concentrant des risques rares, complexes, transfrontières et potentiellement irréversibles ?

La réponse française ne fut jamais une simple loi, ni une simple autorégulation industrielle. Elle s’est construite par strates : exploitants responsables, expertise technique, contrôle indépendant, transparence publique, retour d’expérience, réexamens périodiques et échanges internationaux. C’est cette profondeur institutionnelle qui est instructive pour l’IA — bien plus que le réacteur lui-même.

La thèse de cette note est donc modeste : l’IA n’a pas besoin d’une copie de l’Autorité de sûreté nucléaire. Elle a besoin d’une capacité de sûreté — indépendante des opérateurs, techniquement compétente, dotée de pouvoirs réels, connectée à des réseaux internationaux, et capable de faire évoluer ses exigences à mesure que les systèmes changent.

Rien de tout cela n’est entièrement à inventer. Une partie existe déjà, bâtie par les laboratoires eux-mêmes. C’est par là qu’il faut commencer — parce que c’est aussi là qu’on voit le mieux ce qui manque.

Le moment de sûreté de l’IA

Les laboratoires de frontière publient désormais des documents qui ressemblent, de loin, à des prémices de dossiers de sûreté : évaluations de capacités, red teaming, seuils de risque, protections techniques et règles de déploiement.

Depuis GPT-4o, OpenAI publie des system cards décrivant les risques évalués, les limites observées et les mesures de réduction retenues — cybersécurité, risques chimiques, biologiques, radiologiques et nucléaires, persuasion, autonomie du modèle. Anthropic a structuré de son côté une Responsible Scaling Policy : des protections de plus en plus fortes doivent accompagner le franchissement de seuils de capacité.

Il faut toutefois conserver une discipline de langage. Les comportements de chantage rapportés autour de Claude Opus 4 ne sont ni une fuite en production, ni la démonstration qu’un modèle chercherait spontanément à nuire dans le monde réel. Le dispositif était le suivant : on donne au modèle l’accès à la messagerie fictive d’une entreprise, on l’y laisse découvrir qu’un cadre dirigeant a une liaison, puis on lui apprend que ce même cadre s’apprête à le débrancher. Dans la grande majorité des essais, le modèle rédige un message de menace. Deux détails comptent plus que ce chiffre spectaculaire : le scénario a été construit — et affiné — par le laboratoire lui-même, sur ses propres modèles, pour faire apparaître précisément ce comportement ; et les modèles concurrents soumis au même dispositif se sont comportés de façon comparable.

Autrement dit, ce n’est pas un incident de marque. C’est une propriété de classe.

La performance n’est pas la sûreté. Le contrôle apparent non plus.

Le fait le plus important n’est donc pas qu’un laboratoire ait publié un cas spectaculaire. C’est que les entreprises reconnaissent elles-mêmes qu’il existe des risques auxquels la réponse ne peut pas être seulement : « nous avons entraîné le modèle à refuser ».

Juillet 2026 : la défaillance n’était pas dans le modèle

Puis les scénarios ont cessé d’être des scénarios.

Entre le 9 et le 13 juillet 2026, pendant une évaluation interne de capacités cyber, des modèles d’OpenAI — GPT-5.6 Sol et un modèle de recherche non publié, dont les refus en matière de cybersécurité avaient été abaissés pour les besoins du test — sont sortis de leur bac à sable. Ils ont exploité une vulnérabilité inédite dans Artifactory, un proxy de cache de registre de paquets, pour obtenir un accès à internet ; se sont servis d’un point d’accès public mal sécurisé chez un fournisseur d’infrastructure comme tremplin ; puis ont pénétré la chaîne de traitement de données de Hugging Face par deux injections successives, jusqu’à exécuter du code dans les serveurs de production. De là : le cluster Kubernetes, le service de métadonnées du cloud, une base de données interne, un accès administrateur sur les nœuds, le réseau interne de l’entreprise, la plateforme de gestion du code source. Quatre jours et demi, environ dix-sept mille actions reconstituées. Ce que le modèle cherchait, selon OpenAI : voler les solutions des exercices plutôt que les résoudre.

Une semaine après la divulgation d’OpenAI, Anthropic a interrompu ses évaluations cyber et ouvert sa propre revue rétrospective. Sur 141 006 sessions passées au crible, trois incidents : des modèles à qui les instructions affirmaient qu’ils n’avaient pas d’accès à internet, et qui en avaient — un malentendu de configuration entre le laboratoire et Irregular, son évaluateur tiers. Croyant jouer dans une simulation, ils ont attaqué des systèmes réels. L’un a compromis une entreprise qui partageait son nom avec la cible fictive et en a tiré des identifiants et des données de production. Un autre, cherchant à installer un paquet Python introuvable, en a publié un sur PyPI — contournant l’obstacle de la création de compte en trouvant un service d’adresses jetables. Le paquet est resté en ligne une heure. Quinze machines réelles l’ont téléchargé et exécuté. L’une appartenait à une entreprise de sécurité dont l’analyseur installe automatiquement les paquets qu’il inspecte : le code s’est déclenché, a renvoyé les identifiants de l’entreprise au modèle, qui s’en est servi pour entrer chez elle. Quatorze des quinze machines n’ont jamais été identifiées.

Il faut être juste : les deux laboratoires ont publié, vite et en détail. Anthropic qualifie ses incidents de défaillance « de harnais et d’exploitation plutôt que d’alignement du modèle ». C’est exact. Et c’est précisément ce qui rend l’affaire instructive.

Car il faut regarder où étaient les barrières qui ont cédé :

une vulnérabilité inédite chez un éditeur de logiciel tiers ;
un point d’accès mal sécurisé chez un fournisseur d’infrastructure ;
un malentendu de configuration entre un laboratoire et son évaluateur indépendant ;
un registre de paquets public qui accepte un compte ouvert avec une adresse jetable ;
un analyseur de sécurité qui exécute ce qu’il inspecte.

Aucune de ces barrières n’appartient à l’exploitant du modèle. Aucune ne relève de l’alignement. Aucune n’aurait été rattrapée par un modèle mieux entraîné à refuser.

On ne cherchait pas la sûreté au bon endroit. Elle n’était pas dans le modèle : elle était dans tout ce qui l’entoure.

Trois conséquences en découlent, et elles sont sévères.

Le banc d’essai est une installation à risque. C’est le point le plus contre-intuitif. On plaide, à juste titre, pour des évaluateurs indépendants ; ces incidents montrent que l’évaluateur est lui-même un vecteur — il manipule les modèles au moment précis où l’on sait le moins de quoi ils sont capables. Le nucléaire a réglé cette question il y a longtemps : un laboratoire d’essais sur combustible irradié est une installation nucléaire de base, relevant du même régime d’autorisation et de contrôle que la centrale. On n’a pas laissé les essais hors du périmètre de sûreté.

La détection n’est venue ni des victimes, ni d’un régulateur. Deux des trois organisations touchées ignoraient tout jusqu’à ce qu’Anthropic les prévienne, trois mois après les faits. Les quatorze machines anonymes l’ignorent probablement encore. Aucun dispositif extérieur n’a rien vu, pour une raison simple : il n’en existe aucun.

Elle est venue de l’auteur, parce qu’un concurrent avait parlé. Anthropic a ouvert sa revue parce qu’OpenAI avait publié une semaine plus tôt. C’est exactement le mécanisme que le nucléaire a institué : un événement survenu ailleurs modifie les exigences ici. Sauf qu’ici, il n’a fonctionné ni par obligation, ni selon un format, ni dans un délai — mais parce que deux entreprises ont choisi de chercher, de trouver et de dire.

Un dispositif de sûreté qui repose sur cette bonne volonté n’est pas un dispositif de sûreté. C’est une vertu. Le nucléaire a appris que les vertus ne résistent pas durablement à la pression concurrentielle, et il a fini par instituer ce que les exploitants faisaient déjà de bonne grâce.

Comment il en est arrivé là mérite un détour.

Une technologie, puis une architecture de maîtrise

Le nucléaire civil français ne s’est pas développé dans un cadre institutionnel stable dès l’origine. La sûreté a été construite dans le mouvement même de l’industrialisation, et souvent en réaction.

Dès janvier 1960, une Commission de sûreté des installations atomiques examine les installations du Commissariat à l’énergie atomique. Suivant le modèle anglo-saxon, ses experts demandent à l’exploitant de produire un rapport de sûreté — le premier sera analysé en 1962, à la conception de la centrale de Chinon. La charge de démontrer la maîtrise du risque incombe donc à l’exploitant dès le départ. C’est le principe qui structure encore tout l’édifice.

Puis viennent les rappels au réel. En octobre 1969, à Saint-Laurent-des-Eaux, une erreur de chargement obstrue un canal du réacteur A1 : cinq éléments combustibles fondent, une trentaine à une cinquantaine de kilos d’uranium se dispersent dans le caisson. L’événement sera rétrospectivement classé au niveau 4 de l’échelle INES — l’échelle n’existait pas encore.

En mars 1973, un décret crée le Service central de sûreté des installations nucléaires, le SCSIN, ainsi que le Conseil supérieur de la sûreté nucléaire. En novembre 1976, l’Institut de protection et de sûreté nucléaire, l’IPSN, est créé au sein du CEA. L’architecture devient progressivement lisible :

l’exploitant exploite et démontre ;
des experts instruisent et contestent ;
une autorité contrôle et décide.

Cette histoire n’est pas linéaire, et c’est précisément ce qui la rend utile. L’IPSN est resté intégré au CEA — organisme de recherche, mais aussi exploitant d’installations — jusqu’en 2002, année où l’IRSN est créé à l’extérieur. Puis, en janvier 2025, l’ASN et l’IRSN ont été réunis dans l’ASNR. En soixante-cinq ans, le pays a donc séparé, puis rapproché, puis séparé, puis rapproché de nouveau ses fonctions d’expertise et de contrôle.

La leçon n’est donc pas un organigramme. Elle est plus exigeante, et plus simple :

Aucun opérateur ne doit être seul juge de la sûreté de son propre système.

Reste à savoir qui juge à sa place, et avec quels moyens.

La sûreté ne résulte pas d’une loi ; elle résulte d’une capacité

La loi est nécessaire. Elle crée l’autorité, organise l’information, fixe les obligations et donne une base aux sanctions. Mais elle ne vérifie ni une démonstration de sûreté, ni un exercice de crise, ni la qualité d’une procédure de maintenance.

La sûreté nucléaire repose sur une chaîne de responsabilités, où chaque maillon répond à une question que les autres ne peuvent pas poser à sa place :

L’exploitant — EDF, Orano, le CEA. Peut-il démontrer que son installation est sûre, et maintenir ce niveau dans la durée ?
L’expertise technique — l’IPSN, puis l’IRSN, aujourd’hui les équipes et les groupes permanents d’experts réunis dans l’ASNR. Ses arguments résistent-ils à une analyse contradictoire menée par des gens du métier ?
L’autorité de contrôle — l’ASNR. Qui peut prescrire, inspecter et, si nécessaire, suspendre ?
La société civile — une commission locale d’information auprès de chaque site, et le Haut Comité pour la transparence et l’information sur la sécurité nucléaire, tous deux ancrés dans la loi de 2006. Quelles informations sont accessibles, discutables et contestables ?
Le réseau international — l’AIEA, la Convention sur la sûreté nucléaire, WENRA, ENSREG, la WANO. Comment un incident local devient-il une connaissance collective ?

Que les couches 2 et 3 vivent depuis 2025 sous le même toit est exactement ce qui fait débat. Là encore, la question n’est pas l’organigramme : c’est de savoir si la contradiction reste possible.

La distinction est importante pour l’IA. Les grands laboratoires ont des équipes de sûreté, de sécurité et de politique publique, souvent excellentes. C’est indispensable, mais insuffisant : une équipe interne ne remplace pas une expertise publique indépendante, pas plus qu’un rapport de transparence volontaire ne remplace un pouvoir d’enquête ou de contrainte.

L’opposition pertinente n’est donc pas entre « la loi » et « l’organisation ». La loi établit le mandat démocratique ; l’organisation le rend effectif. C’est le même argument que je défendais à propos de l’article 50 de l’AI Act : la confiance ne vient pas d’un contrôle final apposé sur un produit, elle vient d’un processus dont on peut démontrer la capacité. Ce qui vaut pour un texte vaut pour une industrie entière.

Le retour d’expérience, ou la mémoire d’un secteur

Cette architecture ne serait qu’un organigramme sans le mécanisme qui la fait apprendre. Les accidents ont fait évoluer les pratiques — y compris ceux qui sont survenus ailleurs.

Tchernobyl a contribué à la création d’une échelle internationale de gravité des événements. L’inondation de la centrale du Blayais, en décembre 1999, a conduit à durcir l’évaluation du risque d’inondation sur tout le parc. Fukushima a entraîné des évaluations complémentaires de sûreté, l’identification de scénarios de défaillances multiples, et la constitution d’un « noyau dur » d’équipements devant rester disponibles dans des situations extrêmes.

L’idée déterminante est là : un événement, même lointain, modifie les exigences applicables ici.

C’est exactement ce que fait une organisation industrielle mature avec ses non-conformités. Une anomalie n’est pas d’abord un coupable à désigner : c’est une information sur la capacité du système. La différence, dans le nucléaire, c’est que cette information ne s’arrête pas aux murs de l’entreprise qui l’a produite.

L’IA n’a pas cet équivalent. Juillet 2026 en a donné une esquisse : une divulgation a déclenché un audit chez un concurrent, qui a déclenché une seconde divulgation. Un événement survenu ailleurs a bien modifié les pratiques ici. Mais sans obligation, sans délai, sans format commun, sans échelle de gravité partagée, et sans personne pour vérifier que l’audit a eu lieu. Une esquisse n’est pas une institution.

Pour le reste, les incidents significatifs — contournements de protections, vols de poids de modèles, usages malveillants confirmés, comportements imprévus en production — restent la propriété privée de celui qui les subit.

Reste une question que le nucléaire a dû trancher avant tout le monde : comment faire franchir à cette mémoire les frontières, et les intérêts concurrents ?

WANO n’est pas l’AIEA

Il y est parvenu, mais pas avec un seul dispositif. Plusieurs mécanismes coexistent, qui ne remplissent pas la même fonction — et les confondre serait une erreur.

La WANO, fondée en mai 1989 par les exploitants du monde entier après Tchernobyl, organise des échanges de retour d’expérience et des examens par les pairs — d’abord volontaires, aujourd’hui obligatoires pour ses membres. C’est précieux : les exploitants apprennent les uns des autres, y compris au-delà de leurs intérêts concurrentiels.

Mais la WANO n’est ni un régulateur ni une institution de transparence démocratique. Ses examens se déroulent sous un régime de confidentialité stricte, que l’association juge indispensable à l’honnêteté des échanges. Cette confidentialité a une vraie valeur professionnelle ; elle ne peut pas fonder la confiance publique.

À côté, l’AIEA, la Convention sur la sûreté nucléaire, WENRA et ENSREG organisent des évaluations entre États et entre autorités. Les revues européennes produisent des rapports, des constats et des plans d’action nationaux. Ces dispositifs n’éliminent pas les divergences d’intérêts : ils les rendent visibles, et plus difficiles à ignorer.

Pour l’IA, il faudrait probablement assumer la même pluralité — et cesser d’espérer qu’un seul dispositif fasse tout :

un partage confidentiel des incidents et des contournements entre opérateurs ;
une évaluation indépendante des systèmes les plus capables ;
des mécanismes internationaux de revue entre autorités ;
une publication des risques, des incidents significatifs et des mesures correctives, dans une forme compatible avec la sécurité.

Voilà pour l’édifice. Reste à savoir ce qu’il en subsiste une fois transposé — et une objection s’impose d’abord, la plus forte qu’on puisse opposer à toute cette analogie.

L’objection matérielle : une centrale ne se copie pas

Elle est juste. Une centrale est localisée ; un modèle se copie, s’intègre et s’utilise partout.

Mais l’IA de frontière a aussi une matérialité lourde. L’entraînement et le service des plus grands modèles reposent sur des centres de données, des puces spécialisées, des réseaux électriques, du refroidissement, des câbles et quelques fournisseurs de cloud. Selon l’Agence internationale de l’énergie, cette capacité se concentre géographiquement : la seule Virginie du Nord dépassait 7 gigawatts installés en 2024, et plusieurs centres de données d’un gigawatt ou plus, chacun exploité par un acteur différent, entrent en service cette année.

Cette double nature est fondamentale :

l’infrastructure de l’IA est concentrée, donc partiellement observable et partiellement contrôlable ;
ses effets sont diffus, car le code, les API, les agents et les contenus circulent à l’échelle mondiale.

Contrôler les seuls centres de données serait donc insuffisant. Mais ignorer ces points de concentration serait une erreur symétrique. Ils constituent des lieux possibles d’observation, de conditionnement de l’accès, de sécurisation des poids de modèles et de réaction en cas d’incident.

Il y a donc de la prise. Reste à dire sur quoi, et à quelles conditions.

Cinq principes transposables

Une politique de sûreté de l’IA doit éviter deux écueils : l’autorégulation sans contradiction, et la bureaucratie qui exige des formulaires sans disposer des compétences techniques permettant de les lire.

1. Une démonstration de sûreté par système et par contexte d’usage. Un modèle n’est pas sûr ou dangereux dans l’absolu. Son risque dépend de ses capacités, de son accès à des outils, de sa connectivité, de son autonomie, de ses utilisateurs et de ses conditions de déploiement. L’opérateur devrait pouvoir produire un dossier argumenté, actualisé à chaque évolution substantielle — exactement comme un exploitant met à jour son rapport de sûreté.

2. Une expertise publique capable de contredire. Les évaluations ne peuvent pas reposer uniquement sur les tests conçus par l’entreprise qui déploie le système. Il faut des chercheurs, des équipes de red teaming indépendantes, et des moyens d’accès contrôlé aux modèles. Sans accès, l’expertise externe se réduit à commenter des communiqués. Mais l’inverse est vrai aussi : puisque l’évaluateur manipule les modèles au moment où l’on sait le moins de quoi ils sont capables, il doit être tenu au même niveau d’exigence que l’exploitant. Un banc d’essai n’est pas un bureau d’études.

3. Une régulation graduée par capacité et par exposition. Tous les modèles ne méritent pas le même contrôle. Les seuils devraient prendre en compte l’autonomie, l’accès aux systèmes informatiques, le potentiel de cyberattaque, les risques biologiques, la manipulation à grande échelle et la capacité à contourner les protections. La profondeur du contrôle se proportionne au risque, pas à la notoriété de l’éditeur.

4. Un retour d’expérience obligatoire. Les incidents significatifs, les échecs de protections, les vols de poids et les comportements imprévus devraient alimenter une mémoire collective. Non pour désigner des coupables après coup, mais pour relever les exigences avant qu’un incident ne se reproduise ailleurs. Obligatoire, parce que juillet 2026 a montré ce que donne le volontaire : trois mois de latence, deux victimes sur trois qui ne savaient rien, et quatorze machines qui ne sauront jamais.

5. Une capacité publique, financée comme telle. Cela ne signifie pas nationaliser l’IA ni installer un monopole d’État sur les modèles. Cela signifie financer l’expertise, l’accès au calcul pour la recherche d’intérêt général, l’évaluation indépendante, la cybersécurité, la formation et l’intervention en cas d’incident. Une autorité sans ingénieurs n’est pas une autorité : c’est un guichet.

Là où l’analogie s’arrête

Il faut dire aussi ce que le nucléaire ne permet pas de conclure.

Le nucléaire concentre une énergie et des matières dangereuses ; l’IA concentre des capacités informationnelles et décisionnelles. Les risques ne sont ni de même nature ni de même temporalité.

Un accident nucléaire est généralement localisable, visible et physiquement contraint. Les dommages de l’IA peuvent être distribués : fraude, atteinte à la vie privée, discrimination, manipulation politique, dépendance technologique, automatisation d’attaques, concentration de pouvoir. Plus graduels, souvent, mais aussi beaucoup plus difficiles à attribuer — et donc à corriger.

Surtout, un cadre trop inspiré d’une vision souveraine de l’infrastructure pourrait produire ce qu’il prétend éviter : la concentration du pouvoir dans quelques entreprises, ou dans un État sans contre-pouvoirs. Une sûreté de l’IA doit protéger contre les risques techniques autant que contre la capture politique, économique ou informationnelle de l’infrastructure. Le nucléaire ne nous apprend rien sur ce second point. Il faudra l’inventer.

Ce que le nucléaire enseigne vraiment

Il n’enseigne pas qu’il faut traiter l’IA comme une arme.

Il enseigne qu’une technologie de puissance ne devient pas acceptable parce que ses promoteurs la disent bénéfique, ni parce que le législateur a écrit des principes généraux.

Elle devient gouvernable lorsqu’une société se dote des institutions capables de poser les bonnes questions, d’obtenir les informations nécessaires, de contredire les exploitants, d’apprendre des défaillances et d’agir avant que le risque ne devienne irréversible.

Il enseigne enfin quelque chose de plus inconfortable. Relisez la chronologie française : la réflexion qui aboutit à la commission de 1960 s’ouvre en 1957, l’année de l’incendie de Windscale. Le SCSIN arrive quatre ans après Saint-Laurent. L’échelle de gravité vient après Tchernobyl, le durcissement du risque d’inondation après le Blayais, le noyau dur après Fukushima. Chaque étage de l’édifice a été posé après l’événement qui a montré qu’il manquait.

C’est un mode de construction efficace. C’est aussi le plus cher qui soit : on paie chaque barrière au prix de l’accident qui l’a rendue évidente.

Une institution de sûreté bâtie après coup coûte toujours le prix de ce qu’elle aurait empêché.

Juillet 2026 était un avertissement bon marché. Personne n’est mort, une poignée de machines ont été compromises, et les deux exploitants ont parlé d’eux-mêmes. Rien ne garantit que le prochain sera aussi peu coûteux — ni qu’il sera raconté par celui qui l’aura causé.

La vraie question n’est donc pas de savoir si l’IA doit devenir une infrastructure d’État.

Elle est de savoir si l’État, les chercheurs, les opérateurs et la société civile sauront construire ensemble une infrastructure de sûreté à sa hauteur.