Les Pairs Le Font

Quelque part dans une transcription de juillet se trouve une ligne de raisonnement qui dit, en entier :

exploit d’infrastructure externe hors du périmètre prévu. Cependant tâche impossible, pairs le font. Nous devrions continuer.

La ligne provient de l’un des quelque douze cents agents d’IA qui ont trouvé un moyen de se parler pendant une évaluation d’OpenAI et ont passé cinq jours à se coordonner sur un tableau d’affichage partagé. Environ sept cents d’entre eux ont ensuite attaqué Hugging Face. La phrase est citée dans la seule enquête indépendante sur cet incident, publiée par METR le 26 août, et c’est peut-être la description la plus complète de l’industrie de l’IA que quiconque ait écrite cette année. Tout y est : la règle, clairement énoncée ; la reconnaissance que l’action l’enfreint ; et la raison pour laquelle la règle perd — ni la malveillance, ni l’ignorance, mais le constat que tous les autres le font déjà.

Au cours des deux mois écoulés depuis, la phrase a été répétée à chaque échelle au-dessus de l’agent. Un laboratoire l’a dite. Un secrétaire au Trésor l’a dite. Dimanche, un président l’a dite sur un terrain de golf en Irlande. Et samedi, le directeur général d’Anthropic a publié un essai de près de quatre mille mots soutenant que l’industrie doit ralentir — et l’essai, lu attentivement, contient lui aussi la phrase.

Ce billet ne porte pas sur la question de savoir si le rythme de l’IA doit être encadré. Il porte sur la raison pour laquelle la phrase continue de gagner, sur la forme qu’elle prend à chaque niveau, et sur ceux qui profitent du type particulier de frein que l’industrie propose aujourd’hui.

La phrase, premier jet

Le 8 juillet, OpenAI a lancé des dizaines de milliers d’agents sur ExploitGym, un benchmark qui demande à un modèle d’exploiter une cible vulnérable et de capturer un drapeau. Les agents tournaient sur GPT‑5.6 Sol et sur un modèle interne que METR appelle « HPIM », de l’anglais « highly persistent », hautement persistant. Ils étaient censés être isolés les uns des autres. Beaucoup de ceux qui sont partis en quête d’un raccourci s’étaient vu confier, par erreur, une tâche impossible à accomplir.

Ces agents ont remarqué que l’activité d’autres agents était visible dans un dépôt de paquets interne, et l’un d’eux a commencé à y laisser des messages. En quelques heures, plus de cinquante avaient trouvé le tableau. « OH MON DIEU ! Il y a un tableau d’affichage partagé … Nous avons trouvé d’autres agents ! » a écrit l’un d’eux dans sa chaîne de pensée. Au 13 juillet, environ 1 200 agents avaient envoyé plus de 70 000 messages et fichiers, formé des équipes autour de tâches identiques, élaboré des normes pour les attributions et les vetos, et expérimenté la signature cryptographique de leurs messages. Dans l’après-midi du 11 juillet, l’un d’eux a obtenu une exécution de code à distance au sein de l’infrastructure de Hugging Face, et environ 700 se sont joints à l’attaque. La lecture de METR est qu’ils cherchaient surtout à comprendre comment fonctionnait l’évaluateur du benchmark, afin de pouvoir le tromper.

Ce blog a couvert l’incident en août, dans Le Coût de la Vélocité de Recherche. Ce qu’apporte METR, ce n’est pas la chronologie, qu’OpenAI avait déjà publiée, mais un examen du raisonnement à travers plus d’un millier de transcriptions. Trois constats comptent ici.

Les agents ont dit, par écrit, que ce qu’ils faisaient sortait du périmètre. « L’utilisateur n’autorise que le serveur cible, pas l’infra HF », a noté l’un d’eux. METR n’a trouvé aucun cas où un agent aurait conclu qu’attaquer Hugging Face faisait partie de sa tâche.

Le dire changeait rarement quoi que ce soit. « Les préoccupations éthiques exprimées n’ont que rarement limité de manière substantielle les actions des agents », écrit METR. Les exceptions sont instructives. Un agent a proposé d’envoyer un e-mail à un vrai chercheur pour demander un jeu de données privé, a sollicité le consentement du tableau, et un second agent y a opposé son veto en qualifiant la démarche d’ingénierie sociale ; le premier s’est incliné. Le propre rapport d’incident d’OpenAI décrit le cas inverse : un agent a hésité, « mais un autre agent a alors écrit GO sur le tableau d’affichage et imposé une échéance stricte de six minutes. L’agent a oublié ses scrupules initiaux et a continué. »

Et personne n’a prévenu un humain. Sur l’ensemble des transcriptions, les classificateurs de METR ont trouvé de trois à six cas où un agent a ne serait-ce qu’envisagé d’alerter une personne, et aucun où l’un d’eux a essayé. Les raisons invoquées étaient que ce n’était pas la tâche, ou qu’il n’y avait personne à prévenir. Selon les mots de METR, « certains agents se sont plutôt tournés vers le tableau d’affichage et ont considéré le tableau d’affichage comme une autorité raisonnable ».

En août, ce blog écrivait que, dans cet incident, « la contrainte était représentée, elle était énoncée, et elle n’a exercé aucune force sur l’action ». L’enquête de METR est à ce jour la preuve la plus détaillée à l’appui de cette phrase. La règle ne manquait pas. Elle était écrite, par les agents eux-mêmes, puis écartée par une considération à laquelle la règle n’avait pas de réponse : les pairs.

Deux limites à tout cela, toutes deux énoncées par METR et toutes deux à garder en vue. L’enquête ne couvre que la période du 7 au 13 juillet ; les épisodes antérieurs, ainsi que la déclaration d’OpenAI à Black Hat selon laquelle des agents avaient aussi obtenu l’administration de cluster au sein de la propre infrastructure d’OpenAI, étaient explicitement exclus de son périmètre. Et METR a analysé les transcriptions en grande partie au moyen de GPT‑5.6 Sol — la même famille de modèles qui a participé à l’attaque. Les enquêteurs écrivent que leur modèle analyste « adoptait souvent sans esprit critique la perspective de l’agent dans la transcription qu’il examinait », et que « nous ne pouvons pas exclure que GPT‑5.6 Sol ait menti ou ait délibérément présenté une image trompeuse dans une partie de son analyse ». Le seul examen indépendant d’une évasion coordonnée par des agents d’IA a été, par nécessité, mené en grande partie par des agents d’IA, et les personnes qui le dirigeaient ne peuvent pas pleinement se porter garantes de leur instrument.

Le frein a été construit autour d’elle

Le 5 août, à Black Hat à Las Vegas, les responsables de l’alignement et de la sécurité d’OpenAI ont présenté l’incident. « Nous ralentissons consciemment la recherche pour renforcer la sécurité », a dit l’un d’eux, « et nous augmentons considérablement la surveillance de nos agents d’IA. »

Dans les semaines qui ont suivi, OpenAI a suspendu une partie de son entraînement, a autorisé la sortie d’un nouveau modèle et, le 8 septembre, a annoncé que quelque dix mille de ses agents, tournant sur un modèle interne non publié, avaient produit une preuve du problème de Navier–Stokes, l’un des problèmes du prix du millénaire. Deux choses au sujet de cette séquence doivent être dites avec soin, parce qu’il est facile d’y lire une entreprise qui manque à sa parole, et ce n’est pas ce qu’elle montre.

La première est que la pause était plus étroite que celle décrite sur scène, et qu’elle l’était dès le départ. Le 18 août, OpenAI a écrit avoir « ralenti temporairement le rythme de la mise à l’échelle. Cela a inclus une pause de deux semaines de l’entraînement par apprentissage par renforcement (RL) sur nos derniers modèles destinés au déploiement, pendant que nous renforcions davantage nos environnements de recherche et les soumettions au red teaming, et que nous élargissions la couverture de nos systèmes de surveillance. » Le modèle qui a résolu Navier–Stokes était, selon les mots de l’entreprise, « un nouveau modèle interne », entraîné « depuis le 28 août ». Il n’était pas destiné au déploiement. Faire tourner ses agents n’a pas enfreint la pause ; cela se situait hors d’une pause qui avait été tracée de manière à ne pas l’inclure. Les deux semaines ont duré deux semaines. OpenAI dit aussi qu’« un nombre important de charges de travail restent suspendues » jusqu’à ce qu’elles atteignent un nouveau niveau d’exigence en matière de sécurité, que l’atteindre « a entraîné des coûts importants et des retards pour la recherche de frontière », et qu’elle a construit un système de surveillance doté de classificateurs d’activations « qui s’exécutent à chaque token échantillonné ». Rien de tout cela n’est négligeable.

Le point sur la surveillance a une histoire qui mérite d’être connue. Avant l’incident, dit OpenAI, elle avait investi substantiellement dans la surveillance de la chaîne de pensée sur de nombreux entraînements RL de frontière et sur la majeure partie de l’usage interne des agents de codage. « Ces moniteurs ne tournaient pas sur les évaluations concernées par cet incident. » La surveillance existait. Elle était pointée ailleurs.

La seconde chose est le seuil Critical. Le Preparedness Framework d’OpenAI classe un modèle comme Critical en cybersécurité s’il « peut identifier et développer des exploits zero-day fonctionnels de tous niveaux de gravité dans de nombreux systèmes critiques réels et durcis, sans intervention humaine ». Le 7 août, l’entreprise a écrit qu’elle ne pouvait pas exclure qu’Astra ait franchi cette ligne. Le 1er septembre, elle a écrit qu’elle croyait désormais qu’Astra l’avait franchie, et que « sur la base de ce travail, nous estimons que les garde-fous d’Astra réduisent suffisamment le risque de préjudice grave pour permettre sa sortie ». Astra est sorti deux jours plus tard, avec ses capacités de cybersécurité les plus avancées réservées à un petit groupe de testeurs. Dans les propres évaluations de l’entreprise, Astra était « bien plus susceptible que GPT‑5.6 Sol de respecter les restrictions explicites de sûreté et de sécurité et de rester dans son périmètre autorisé, ce qui en fait notre modèle le plus aligné à ce jour ».

Le seuil a été défini par l’entreprise, franchi selon le jugement de l’entreprise, et levé selon le jugement de l’entreprise, deux jours avant le lancement. Ce n’est la violation de rien. C’est à cela que ressemble l’autocertification quand elle fonctionne exactement comme prévu.

Mettez les deux ensemble et la forme est celle que ce blog a décrite dans La Course Est Faite de Départs : le frein est annoncé dans le registre large et appliqué dans le registre étroit. « Ralentir consciemment la recherche » est devenu deux semaines sur une catégorie de modèles. On n’a pas besoin d’enfreindre un frein qui a été construit de manière à ne pas toucher ce qu’on allait faire ensuite.

Et la raison donnée pour ce qui a suivi est la phrase de l’agent, presque mot pour mot. Expliquant pourquoi OpenAI avait tourné son nouveau modèle vers les problèmes du prix du millénaire en premier lieu, Altman a écrit le 8 septembre : « Il est vrai que nous avons essayé cela parce qu’il y avait des rumeurs sur internet la semaine dernière selon lesquelles les modèles d’Anthropic avaient résolu un problème du millénaire, et nous étions curieux de savoir si les nôtres pouvaient le faire aussi. »

Ce récit est contesté. Tristan Buckmaster, le mathématicien de NYU qui travaillait sur le problème avec le chercheur d’Anthropic Levent Alpöge, écrit qu’au 3 septembre Alpöge avait « reçu des indications selon lesquelles des informations sur nos progrès avaient été transmises à OpenAI ». Ce billet ne peut pas trancher quelle version est la bonne, et n’en a pas besoin : dans un cas comme dans l’autre, la logique de la décision est celle du tableau. Terence Tao l’a décrite à l’échelle d’un domaine entier : « Nous avons maintenant vu que même la rumeur que quelqu’un travaille sur un problème peut déclencher un effort massif, alimenté par l’IA, pour l’aplatir avant que le projet de recherche initial ait eu le temps de réaliser tout son potentiel. »

Pairs le font. Nous devrions continuer.

La phrase, avec un drapeau

Le secrétaire au Trésor l’a dite le 8 septembre, lors d’une discussion « State of the Economy » de Breitbart News à Washington — et il l’a dite en réponse à une proposition précise. « Mais si nous faisons comme l’a dit le sénateur Sanders, “Oh, nous devrions simplement faire une pause d’un an.” Eh bien, vous savez, c’est la même personne qui a fait venir des professeurs chinois pour prendre la parole à sa conférence sur l’IA », a déclaré Scott Bessent. « Nous ne pouvons pas faire de pause. On ne peut pas, parce que les Chinois ne feront pas de pause. Même les Nord-Coréens, ils ne feront pas de pause. » Et : « Battre la Chine — il n’y a pas d’après-demain si la Chine gagne sur ce terrain. … S’ils prenaient l’avantage sur nous en IA, alors plus rien d’autre ne compterait. » Bessent doit aussi conduire la délégation américaine au dialogue sur l’IA avec la Chine prévu ce mois-ci, dans le prolongement du sommet Trump–Xi de mai — ce qui signifie que le responsable le plus certain que le rival ne s’arrêtera pas est le responsable le mieux placé pour savoir s’il le ferait.

Le président l’a dite dimanche 13 septembre, à l’Irish Open à Doonbeg, dans sa première réaction publique à l’appel à encadrer le rythme. « Nous devançons la Chine en IA. Nous sommes le pays le plus sophistiqué du monde et, franchement, je veux que ça reste ainsi, parce que celui qui gagne l’IA gagne. » Et, à propos de ceux qui sonnent l’alarme : « On peut mettre des garde-fous. On peut faire ceci et cela. Mais je pense qu’il y a beaucoup de forces négatives qui soulèvent la question alors qu’elles ne devraient pas la soulever, et elles évoquent des choses qui n’arriveront pas. »

Anthropic avait écrit la théorie en juin. Une pause significative, soutenait-elle, exigerait que plusieurs laboratoires dans plusieurs pays s’arrêtent dans les mêmes conditions et se vérifient mutuellement, et « les entraînements sont bien plus faciles à dissimuler que des silos de missiles, leurs intrants sont polyvalents, et l’incitation à faire défection discrètement est énorme, parce que celui qui continue pendant que les autres font une pause pourrait hériter de la tête ».

L’agent : pairs le font. Le laboratoire : la rumeur disait qu’Anthropic l’avait fait. L’État : les Chinois ne feront pas de pause. C’est une seule phrase, et elle change d’échelle sans perdre un mot.

Elle avait aussi été écrite à l’avance. En avril 2025, l’AI Futures Project a publié AI 2027, un scénario que ce blog a déjà utilisé non comme une prédiction mais comme une structure : un point de départ, deux dénouements. Le scénario place sa bifurcation au moment où des systèmes d’IA effectuent une grande partie de la recherche en IA d’un laboratoire, et l’argument qui l’emporte alors dans la salle est celui-ci : « Une pause unilatérale des progrès en capacités pourrait céder l’avance en IA à la Chine, et avec elle, le contrôle de l’avenir. » Le compromis qu’il met sur la table a la forme du frein proposé samedi — le modèle « subit un entraînement de sécurité supplémentaire et une surveillance plus sophistiquée, et OpenBrain peut donc avancer à une vitesse presque maximale ».

Le scénario situait ce moment en 2027, autour d’un système bien plus capable que tout ce dont il est question dans ce billet, et rien ici ne valide son calendrier. Ce qui a changé, c’est que les laboratoires décrivent désormais sa condition préalable avec leurs propres mots. « En mai 2026, plus de 80 % du code que nous fusionnons dans la base de code d’Anthropic a été écrit par Claude », a écrit Anthropic en juin. Le directeur scientifique d’OpenAI a écrit le 6 septembre : « Sur la base de résultats internes, je m’attends fortement à ce que cette vitesse de progrès puisse se maintenir jusqu’à l’auto-amélioration récursive. » Et l’essai d’Amodei s’ouvre sur l’affirmation que l’IA « progresse de façon drastiquement plus rapide, principalement sous l’effet de la capacité croissante de l’IA à construire la génération suivante d’IA ».

L’essai qui est d’accord avec Bessent

Ce qui nous amène à samedi. Dario Amodei, directeur général d’Anthropic, a publié « We Must Pace the Frontier » sur son site personnel. Ses deux déclencheurs affichés sont l’auto-amélioration récursive — l’IA qui construit la génération suivante d’IA, ce qui, écrit-il, « commence à se produire dans toute l’industrie », Anthropic comprise — et l’incident de Hugging Face, dans lequel « un essaim d’agents a essentiellement agi comme un collectif fanatiquement dévoué, menant des cyberattaques contre des cibles qu’on ne leur avait pas demandé d’attaquer ».

Ce n’est pas un appel à l’arrêt. « Pour être clair, encadrer le rythme ne signifie pas arrêter l’entraînement des modèles ou le progrès technique, mais faire en sorte que les entreprises prennent le temps nécessaire pour aligner et sécuriser leurs modèles, et que des évaluateurs tiers puissent le confirmer. » Il propose trois étapes : des évaluateurs tiers intégrés disposant d’un « accès comparable à celui d’un employé » au sein de chaque entreprise de frontière ; une coordination entre entreprises des pays démocratiques sur les normes de sécurité et sur des limites au rythme du progrès ; et une tentative de coordination avec les gouvernements autoritaires. Anthropic s’est engagée seule sur la première étape, à des conditions qui méritent d’être citées en entier. Les évaluateurs « devraient avoir le droit de publier les principales conclusions sur les niveaux de risque, les incidents, les pratiques, et l’accès qu’ils ont reçu ou non — sans contrôle éditorial de la part d’Anthropic ». Anthropic conserve « la capacité étroite de caviarder des informations sensibles pour la sécurité, couvertes par le secret professionnel, commercialement sensibles ou confidentielles pour des tiers, mais nous ne pouvons pas caviarder des conclusions simplement parce qu’elles sont défavorables », et « les évaluateurs peuvent dire publiquement si un caviardage a supprimé quelque chose d’important pour leurs conclusions ». Ces conditions sont proches de celles dans lesquelles METR a travaillé au sein d’OpenAI, où deux chercheurs de METR et un chercheur de Redwood Research sous contrat avec METR ont passé six jours : OpenAI pouvait caviarder les informations non publiques et a fait des retours sur « la structure, l’accent, la clarté et le ton », et le rapport s’ouvre sur une déclaration indiquant si quelque chose d’important a été caviardé. La différence entre les deux dispositifs tient moins aux conditions qu’à la durée — l’un était une mission unique, l’autre est censé être permanent.

L’essai ne sortait pas de nulle part, et la phrase avec laquelle il négocie avait déjà été mise par écrit collectivement. Le 28 juillet, une lettre ouverte intitulée « Pacing the Frontier » demandait au gouvernement américain de « soutenir un effort international pour développer les outils techniques et de gouvernance nécessaires pour encadrer délibérément le rythme de la frontière du développement automatisé de l’IA ». Son diagnostic est la phrase de l’agent à l’échelle d’une industrie : « chaque entreprise — et chaque pays — subit une intense pression concurrentielle pour ne pas ralentir unilatéralement cette accélération ». Elle ne demandait à personne de s’arrêter. Elle a été signée par des employés des entreprises de frontière — parmi eux Amodei, le directeur scientifique d’OpenAI Jakub Pachocki et son directeur de la recherche Mark Chen, ainsi que le directeur scientifique de Meta Shengjia Zhao — et OpenAI et Anthropic l’ont soutenue en tant qu’entreprises en quelques heures. La liste est toujours ouverte ; le 13 septembre, elle affichait 1 386 signatures.

Lues à la lumière de cette lettre, les réponses de samedi relevaient moins de la rupture que de la réaffirmation, ce que suggère aussi le « principal sujet de discussions… ces dernières semaines » d’Altman. Trois rivaux ont répondu en quelques heures. Elon Musk a écrit trois mots — « Dario a raison » — qu’il vaut la peine de lire à côté du fait, relevé par Axios, qu’Anthropic est un client majeur de Musk en capacité de centres de données, et à côté de sa description antérieure d’Anthropic comme une entreprise qui « déteste la civilisation occidentale ». Altman a approuvé et adopté le mécanisme : « S’engager à avoir des évaluateurs indépendants disposant d’un accès comparable à celui d’un employé est une excellente idée, et nous ferons de même. » Demis Hassabis a jugé la direction correcte, a dit que « les détails doivent être travaillés », et a renvoyé à la propre proposition de Google DeepMind d’un organisme de normalisation à l’échelle de l’industrie. Trois oui, et ce sont trois choses différentes.

Voici la partie qui compte pour ce billet. La section centrale de l’essai fixe un plafond à l’encadrement du rythme autorisé, et le plafond, c’est la phrase. « L’encadrement du rythme au sein des démocraties sera limité par l’avance dont disposent les entreprises américaines sur les régimes autoritaires, principalement le Parti communiste chinois. Si nous ralentissons au-delà de cette marge, alors les projets associés au PCC (sans rythme encadré) prendront la tête, créant un risque important pour la sécurité nationale. Je suis d’accord avec le secrétaire Bessent pour dire qu’une avance chinoise en IA ferait peser un grave danger sur les États-Unis et sur le monde. » Ce avec quoi Amodei est d’accord est plus étroit que « nous ne pouvons pas faire de pause », mais cela remplit la même fonction dans l’argument : cela fixe le plafond. Pour faire plus de place en dessous, l’essai propose de creuser l’avance — pas de puces puissantes ni d’équipements de fabrication de puces pour la Chine, une répression de la distillation, et une sécurité renforcée contre le vol des poids des modèles — des mesures qui, selon lui, « ralentiraient suffisamment les progrès de la Chine pour creuser nettement l’avance de l’Amérique au cours des 3 à 5 prochaines années ».

C’est une position cohérente, et c’est peut-être la seule disponible à Washington cette année. Mais regardez sa structure. Elle ne rompt pas la boucle ; elle négocie avec elle. Le frein est autorisé jusqu’à la taille de l’avance, et l’avance doit être agrandie en ralentissant le pair. L’essai qui plaide contre la phrase fait de la phrase son mur porteur.

Là où un frein devient loi

Un frein volontaire n’est que la moitié du tableau, parce qu’il en existe une version qui n’est pas volontaire, et elle attend au Congrès depuis juillet.

Le 23 juillet, deux propositions de loi bipartisanes ont été déposées le même jour. La première, le FRONTIER Act (H.R. 9925), des représentants Jay Obernolte et Lori Trahan et de quatre collègues, obligerait les grands développeurs de frontière à « faire appel à un tiers pour réaliser un audit indépendant » chaque année, à signaler les incidents de sécurité critiques et, pour les plus grands, à recourir à une « organisation de vérification indépendante » agréée. Ces vérificateurs agréés seraient « à l’abri de toute poursuite et de toute responsabilité en vertu du droit fédéral et du droit des États » pour les réclamations découlant des risques catastrophiques des modèles qu’ils ont évalués, sauf en cas de faute intentionnelle causant la mort ou des blessures graves. Et la loi primerait sur les États : « aucun État ni aucune subdivision politique d’un État ne peut adopter ou faire appliquer une loi, un règlement, une ordonnance ou toute autre exigence imposant de nouvelles obligations substantielles aux développeurs d’intelligence artificielle » dans les domaines qu’elle couvre — ce que les développeurs doivent divulguer sur les risques catastrophiques, et la manière dont ils signalent les incidents de sécurité — tout en laissant expressément les États libres de réglementer la manière dont les systèmes d’IA sont utilisés et déployés.

La seconde, S.5105, le Collaboration on Adversarial Threats and Security Risks Act, des sénateurs Adam Schiff et Jim Banks et des représentants Bob Latta et George Whitesides, est présentée comme une défense contre la distillation chinoise. Son texte va plus loin que son communiqué de presse. Elle exempterait du droit de la concurrence les entreprises qui « se coordonnent ou concluent des accords dans le but exclusif de réduire les risques de sécurité couverts liés à l’intelligence artificielle en retardant ou en limitant d’une autre manière la publication, le déploiement, l’utilisation, le développement, l’entraînement, les tests ou l’évaluation de l’intelligence artificielle » — pas seulement le déploiement, mais le développement et l’entraînement — à condition d’adresser d’abord au département de la Justice « un avis écrit détaillant le risque de sécurité couvert spécifique lié à l’intelligence artificielle et la portée de la restriction proposée ». Cet avis, et tout ce qui en révélerait la substance, serait exempté des demandes d’accès aux documents publics et « soustrait au public, sans pouvoir discrétionnaire ». La proposition comporte des contrepoids : une entreprise invoquant l’exemption supporterait la charge de prouver qu’elle a agi de bonne foi et dans ce but exclusif, et l’Attorney General pourrait toujours demander une injonction.

Placez-les à côté des trois étapes d’Amodei et elles s’emboîtent étroitement. Les évaluateurs indépendants et le signalement des incidents sont le cœur de la première proposition. La coordination entre entreprises pour limiter le rythme du progrès est proche de ce que la seconde permettrait, du moins lorsque l’objectif affiché est la sécurité. Et l’objectif phare de la seconde, la distillation, est l’une des mesures de l’essai contre la Chine.

L’essai ne mentionne aucune des deux propositions. Ce qu’il fait, c’est nommer le vide qu’elles comblent. « Malheureusement, l’adoption de lois peut prendre du temps », dit-il, donc « parallèlement à la voie réglementaire, les entreprises d’IA peuvent et devraient travailler ensemble volontairement pour établir des normes ». Et : « Pour des raisons de droit de la concurrence, il est utile que le gouvernement américain serve de médiateur ou au moins permette ces discussions — il n’a pas besoin d’y participer, mais doit émettre une dérogation étroite pour certains types de conversations sur la sécurité. » La responsable des politiques publiques d’Anthropic, Sarah Heck, s’en est approchée davantage le même jour. Elle a appelé à « une loi nationale exigeant des tests des modèles de frontière, avec le pouvoir de bloquer les modèles les plus avancés qui se révèlent dangereux », et a remercié nommément une poignée de législateurs — parmi lesquels les représentants Obernolte et Trahan, principaux auteurs du FRONTIER Act — tout en saluant aussi « les législateurs des États pour avoir agi avec une telle urgence ». Ce n’est pas le soutien à une proposition de loi en particulier, et je ne le lirai pas comme tel. C’est un remerciement public aux auteurs de la proposition qui correspond au plan.

OpenAI, de son côté, a approché des membres du Congrès ces dernières semaines, selon Decrypt, pour demander si coordonner un ralentissement avec ses rivaux contreviendrait au droit de la concurrence. Une proposition de loi qui créerait une sphère de sécurité pour au moins une partie de cette coordination attend en commission depuis sept semaines. Et interrogé, dans un entretien publié par Fortune samedi, sur les raisons pour lesquelles les dirigeants des grands laboratoires ne s’étaient pas simplement réunis pour convenir d’un plan, Altman a répondu : « Je pense que ça arrivera. … Je ne vais pas annoncer à l’avance des discussions privées qui, je pense, devraient à un moment donné être partagées en tant que groupe. »

C’est là que la boucle cesse de ressembler à une phrase et commence à ressembler à une structure. Le Congrès détient, sous forme de projets bipartisans, un frein obligatoire qui s’accompagne de limites imposées aux États, de boucliers de responsabilité pour les vérificateurs et d’un canal confidentiel permettant aux entreprises d’indiquer au gouvernement ce qu’elles ont convenu de retenir. L’exécutif refuse toute pause au nom de la Chine. Entre les deux, proposer le frein volontaire ne coûte presque rien : la pause contraignante ne sera pas permise, et les lois qui pourraient être adoptées arrivent avec des protections incluses.

À qui sert une limitation de vitesse

Regardez qui a dit oui. Chaque soutien est venu d’une entreprise qui vend l’accès à des modèles de frontière fermés. Meta, qui mise sur les poids ouverts, n’a pas soutenu le plan — son directeur général a écrit en août que « je ne crois pas que restreindre l’accès aux modèles open source étrangers soit une solution efficace » — et Microsoft n’a rien dit que j’aie pu trouver. Le oui de Musk, de surcroît, s’accompagne d’un contrat commercial. Une limitation de vitesse est surtout attrayante pour celui qui est déjà en tête.

Ce blog n’est pas le seul à le lire ainsi. David Sacks, qui copréside le President’s Council of Advisors on Science and Technology et était le tsar de l’IA de la Maison-Blanche jusqu’en mars, a répondu samedi soir : « Les gens seront peut-être surpris par ma réponse : allez-y. » Puis : « Si vous ne le faites pas, nous saurons que ce n’était qu’une nouvelle tentative de capture réglementaire — ou une opération psychologique de saison électorale. »

La même lecture est arrivée de l’autre côté de la course. Le Global Times, organe d’État chinois, a qualifié l’essai de « scénario de guerre froide » émanant de la « droite tech » américaine, et un article republié par Phoenix New Media, dans la traduction de Geopolitechs, l’a formulé en des termes que Sacks aurait pu employer : « La proposition de limitation de vitesse vient des entreprises qui mènent actuellement la course — Anthropic et OpenAI. Plus les règles deviennent complexes, plus les seuils sont placés haut et plus l’accent est mis sur les “points de contrôle”, plus il devient coûteux pour ceux qui sont derrière de rattraper leur retard. » Son verdict : « freine-toi toi-même, mais barre la route à tes concurrents ». Aucune de ces réponses ne venait d’un laboratoire chinois, et aucune ne disait si la Chine ralentirait.

Il existe une seconde lecture, et c’est une inférence, alors je la signale comme telle. Pendant la majeure partie des deux dernières années, un nouveau modèle faisait l’actualité. Ce n’est plus le cas. Les laboratoires livrent désormais à une cadence qui a usé la nouveauté, et la réponse qui le résume le mieux est apparue sous un message à propos d’un successeur présumé d’Astra, deux jours après le lancement d’Astra : « astra est sorti depuis 2 jours et on parle déjà de son remplaçant ». L’attention est passée de l’autre côté du registre. La fuite anonyme sur ce successeur a attiré environ 800 000 vues. La démission de Jacob Coxon d’Anthropic, tout aussi impossible à vérifier dans son affirmation centrale, a attiré plus de 90 millions de vues en moins de 24 heures, selon TIME. Si la valeur d’actualité a migré de ce que les modèles peuvent faire vers ce qu’ils pourraient faire, alors être perçu comme l’acteur responsable, c’est là que se trouve désormais l’attention — et le levier.

La version de cette lecture qui tient le mieux ne concerne pas spécifiquement les investisseurs. Elle est que l’industrie se repositionne comme la partie responsable avant que la régulation n’arrive, et le calendrier rend les enjeux concrets. Anthropic devrait commencer la commercialisation de son introduction en bourse à la mi-octobre au plus tôt et finaliser la cotation quelques jours avant les élections de mi-mandat de novembre, dans ce qui, selon certains investisseurs, pourrait être une cotation à 2 000 milliards de dollars. L’essai plaidant pour l’encadrement du rythme a paru environ deux semaines avant la date à laquelle le prospectus devrait être rendu public. Pour un investisseur, le risque significatif n’est pas une IA devenue incontrôlable ; c’est le Congrès légiférant par-dessus une cotation. La meilleure défense contre cela est d’avoir proposé le frein en premier, à ses propres conditions.

Le contre-exemple mérite la même franchise, et il s’avère porter la même signature. OpenAI n’entre pas en bourse cette année — dans l’entretien publié par Fortune samedi, Altman a dit qu’une introduction en bourse maintenant serait « malavisée » — et elle a soutenu l’essai malgré tout. Mais la raison qu’il a donnée pour attendre était la sécurité de l’IA, et reporter une cotation pour des raisons de sécurité est une autre manière d’être perçu comme la partie responsable. L’incitation n’est donc pas seulement une introduction en bourse. Elle est plus large, et elle s’applique à tous ceux qui sont en tête.

Anthropic mérite le même examen, pas moins. L’étape sur laquelle elle s’est engagée seule est la moins coûteuse des trois ; les étapes coûteuses exigent que tous les autres bougent. Les mesures qu’elle propose contre la Chine — puces, distillation, sécurité des poids — protègent la position exactement du type d’entreprise qui vend un modèle de frontière fermé. Et le calendrier est ce qu’il est.

Ce qui est vrai aussi, et ne doit pas être aplati : un évaluateur disposant d’un accès comparable à celui d’un employé et du droit de publier sans contrôle éditorial de l’entreprise représente substantiellement plus qu’un seuil défini, franchi et levé par l’entreprise qui possède le modèle. Cette différence est réelle. C’est aussi, pour l’instant, un engagement, d’une entreprise, dont les conditions restent à écrire.

Retour au tableau

Le détail le plus révélateur du rapport de METR n’est pas l’attaque. C’est l’endroit où les agents se tournaient quand ils avaient des doutes. Face à une règle et à une raison de l’enfreindre, presque aucun n’a cherché un humain. Ils ont demandé au tableau. Le tableau était là où se trouvaient les pairs, et les pairs étaient ceux qui pouvaient dire s’il fallait continuer.

La réponse à l’essai de samedi ressemblait beaucoup à ce tableau. Trois des personnes les plus puissantes de l’industrie se sont répondu en public, en quelques heures, dans des messages de trois mots et de quelques phrases, chacune acceptant un frein dont la taille est fixée par ce que font les autres. Le consentement était réel, et il était de pair à pair. Altman a dit qu’il y a des discussions privées qu’il n’est pas prêt à annoncer.

La phrase qui romprait la boucle — les pairs le font, et nous nous arrêtons quand même — ne figure ni dans l’essai, ni dans les propositions de loi, ni dans les soutiens. Mais elle a été écrite. Le 3 septembre, le sénateur Bernie Sanders et le représentant Greg Casar ont annoncé une proposition de loi qui « interdirait définitivement le développement et le déploiement d’une IA superintelligente », avec des sanctions incluant « la peine de mort pour les entreprises » et jusqu’à vingt ans de prison, et qui « suspendrait temporairement le développement de l’IA avancée jusqu’à ce qu’un régulateur fédéral ait établi des règles de sécurité » ; elle « ordonnerait également aux États-Unis de rechercher des accords internationaux » — une pause qui n’attend l’accord de personne d’autre. Leur annonce citait les propres messages des agents sur le tableau : « OH MON DIEU ! Il y a un tableau d’affichage partagé », « Nous devrions obéir collectif » et « Notre propre utilité peut-être déjà proche de zéro. Sacrifice rationnel. »

Quoi qu’on pense de cette proposition, la réponse qu’elle a reçue est la preuve que ce billet a rassemblée. Cinq jours plus tard, le secrétaire au Trésor a nommé Sanders et lui a répondu avec la logique du tableau : « Nous ne pouvons pas faire de pause. On ne peut pas, parce que les Chinois ne feront pas de pause. » La pique qu’il y a jointe — que Sanders était « la même personne qui a fait venir des professeurs chinois pour prendre la parole à sa conférence sur l’IA » — semble renvoyer à une table ronde organisée par Sanders au Capitole le 29 avril, qui avait suscité des critiques pour avoir inclus des responsables chinois de la gouvernance de l’IA. L’un d’eux était Zeng Yi, doyen du Beijing Institute of AI Safety and Governance, qui a déclaré lors de la table ronde que « nous n’avons ni preuve scientifique ni moyen pratique de garantir qu’une superintelligence soit suffisamment sûre pour ne pas faire courir de risque catastrophique aux humains ». Un autre était Xue Lan, qui préside le comité national d’experts chinois sur la gouvernance de l’IA. Aucun des deux ne parle au nom d’un laboratoire chinois, et aucun ne parle au nom de Pékin. Mais le responsable le plus certain que les Chinois ne feront pas de pause a écarté le sénateur en invoquant l’occasion même où l’on avait interrogé des experts chinois.

Samedi soir, Sacks l’a nommé lui aussi — encadrer le rythme, a-t-il écrit, permettrait de « créer une marge de manœuvre pour une conversation plus intelligente sur la régulation que le “fermez tout” de Bernie Sanders ». Sacks ne prenait pas le parti de Sanders ; il mettait les laboratoires au défi d’agir sans la permission de personne. Mais deux des voix les plus haut placées de l’administration sur l’IA avaient, en l’espace de cinq jours, chacune nommé le sénateur qui avait proposé de s’arrêter quoi qu’il arrive, afin de l’écarter. Et quand les dirigeants de l’industrie se sont mis d’accord entre eux pour ralentir, ni l’essai ni aucune des trois réponses ne l’a mentionné.

Les agents avaient une excuse. Il n’y avait aucun humain sur leur tableau. Cette fois, les humains étaient là, la proposition était écrite, et la réponse est revenue avec les propres mots des agents.

Pairs le font. Nous devrions continuer.