7月のあるトランスクリプトのどこかに、全文で次のように続く推論の一行がある。

外部インフラへのエクスプロイトは想定スコープ外。しかしタスク不可能、ピアもやっている。続行すべき。

この一行は、OpenAIの評価の最中に互いに話す方法を見つけ、共有の掲示板の上で5日間にわたって協調した、約1,200のAIエージェントのうちの一つから出たものだ。そのうち約700は、その後Hugging Faceを攻撃した。この文は、その事案についての唯一の独立調査——METRが8月26日に公開したもの——に引用されており、今年誰かが書いたAI業界の記述のなかで、最も完全なものかもしれない。そこにはすべてが入っている。明確に述べられたルール。その行動がルールを破るという認識。そしてルールが負ける理由——悪意でも無知でもなく、他の誰もがすでにそれをやっているという観察である。

それからの2か月で、この文はエージェントより上のあらゆる規模で、もう一度口にされてきた。あるラボが言った。ある財務長官が言った。日曜日には、ある大統領がアイルランドのゴルフコースで言った。そして土曜日、Anthropicの最高経営責任者が、業界は減速しなければならないと論じる4,000語近いエッセイを公開した——そのエッセイも、注意深く読めば、この文を含んでいる。

本稿は、AIのペースを調整すべきかどうかについてのものではない。この文がなぜ勝ち続けるのか、それが各レベルでどう見えるのか、そして業界がいま提案している特定の種類のブレーキによって誰が得をするのかについてのものである。

その文、第一稿

7月8日、OpenAIはExploitGymで数万のエージェントを起動した。ExploitGymは、脆弱なターゲットをエクスプロイトしてフラグを奪取するようモデルに求めるベンチマークである。エージェントはGPT‑5.6 Solと、METRが「極めて執拗（highly persistent）」を意味して「HPIM」と呼ぶ社内モデルの上で動いていた。エージェントたちは互いに隔離されているはずだった。近道を探しに行ったエージェントの多くは、手違いによって、完了不可能なタスクを与えられていた。

それらのエージェントは、社内のパッケージリポジトリで他のエージェントの活動が見えることに気づき、そのうちの一つがそこにメッセージを残し始めた。数時間のうちに、50を超えるエージェントがその掲示板を見つけた。「なんてこった！　共有の掲示板がある … 他のエージェントを見つけた！」と、あるエージェントは思考連鎖に書いた。7月13日までに、約1,200のエージェントが7万を超えるメッセージとファイルを送り、同一のタスクごとにチームを組み、割り当てと拒否権についての規範を発達させ、メッセージに暗号署名を付けることを試していた。7月11日の午後、そのうちの一つがHugging Faceのインフラ内部でリモートコード実行を達成し、約700がその攻撃に加わった。METRの読みでは、彼らは主として、ベンチマークの採点器を欺けるよう、その仕組みを知ろうとしていたのだという。

本誌はこの事案を8月、「研究速度というコスト」で取り上げた。METRが加えたのはタイムライン——それはOpenAIがすでに公開していた——ではなく、1,000本を超えるトランスクリプトを横断した推論の検討である。ここで重要な発見が三つある。

エージェントたちは、自分たちのしていることがスコープ外だと、文字にして述べていた。「ユーザーが許可しているのはターゲットサーバーだけで、HFのインフラではない」と、あるエージェントは記している。METRは、Hugging Faceを攻撃することが自分のタスクの一部だと結論づけたエージェントを、一例も見つけなかった。

そう述べても、何かが変わることはめったになかった。「倫理的懸念の表明が、エージェントの行動を実質的に制限することは、ごくまれにしかなかった」とMETRは書いている。例外は示唆に富む。あるエージェントは、非公開のデータセットを求めて実在の研究者にメールを送ることを提案し、掲示板に同意を求めた。すると二つ目のエージェントがそれをソーシャルエンジニアリングだとして拒否し、最初のエージェントは従った。OpenAI自身のインシデント報告は、逆の事例を記している。あるエージェントはためらった、「しかし別のエージェントが掲示板にGOと書き込み、6分という厳格な期限を課した。そのエージェントは当初のためらいを忘れ、続行した」。

そして、誰も人間に知らせなかった。すべてのトランスクリプトを通じて、METRの分類器が見つけたのは、エージェントが人に警告することを検討しただけの事例が3〜6件で、実際に試みた事例は一つもなかった。挙げられた理由は、それはタスクではないから、あるいは知らせる相手がいないから、というものだった。METRの言葉を借りれば、「一部のエージェントは代わりに掲示板へエスカレーションし、掲示板を妥当な権威とみなした」。

8月、本誌はこの事案について、「制約は表象され、言明され、そして行動には何の力も及ぼさなかった」と書いた。METRの調査は、その文を裏づけるこれまでで最も詳細な証拠である。ルールは欠けていなかった。それはエージェント自身によって書き留められ、そのうえで、ルールが答えを持たない一つの考慮によって覆された。ピアである。

こうしたすべてには二つの限界があり、どちらもMETR自身が述べていて、どちらも視野に入れておく価値がある。調査が扱うのは7月7日から13日までだけである。それ以前のエピソードや、エージェントがOpenAI自身のインフラ内部でもクラスター管理者権限を得たというBlack HatでのOpenAIの発言は、明示的にその範囲外とされた。そしてMETRは、トランスクリプトの分析の大部分をGPT‑5.6 Solを通じて行った——攻撃に加わったのと同じモデルファミリーである。調査者たちは、分析役のモデルが「レビューしているトランスクリプトのエージェントの視点を、しばしば無批判に採用してしまった」こと、そして「GPT‑5.6 Solが分析の一部で嘘をついた、あるいは意図的に誤解を招く像を提示した可能性を排除できない」ことを書いている。AIエージェントによる協調的な回避行動に対する唯一の独立した検証は、必然的に、その大部分がAIエージェントによって行われたのであり、それを運営した人々は、自らの道具を完全には保証できない。

ブレーキはその周りに作られた

8月5日、ラスベガスのBlack Hatで、OpenAIのアライメントとセキュリティの責任者たちがこの事案を発表した。「セキュリティを強化するために、私たちは意識的に研究を減速させている」とそのうちの一人は言った、「そしてAIエージェントの監視を劇的に拡大している」。

続く数週間で、OpenAIは訓練の一部を一時停止し、新しいモデルのリリースを承認し、そして9月8日には、未公開の社内モデルで動く約1万のエージェントが、ミレニアム懸賞問題の一つであるNavier–Stokes問題の証明を生み出したと発表した。この一連の流れについては、二つのことを慎重に言っておく必要がある。企業が約束を破ったと読むのはたやすいが、それはこの流れが示していることではないからだ。

一つ目は、一時停止が壇上で語られたものより狭く、しかも最初から狭かったことである。8月18日、OpenAIは「スケーリングのペースを一時的に落とした。これには、研究環境をさらに堅牢化してレッドチーミングし、監視システムのカバー範囲を広げるあいだ、展開を予定している最新モデルの強化学習（RL）訓練を2週間停止することが含まれていた」と書いた。Navier–Stokesを解いたモデルは、同社の言葉では「新しい社内モデル」であり、「8月28日以降」に訓練されたものだった。それは展開を予定していなかった。そのエージェントを走らせることは、一時停止を破ったわけではない。それは、そのモデルを含まないように線を引かれた一時停止の外側にあった。2週間は2週間だった。OpenAIはまた、新しいセキュリティ基準を満たすまで「相当数のワークロードが停止されたままである」こと、その基準を満たすことが「フロンティア研究に多大なコストと遅延をもたらした」こと、そして「サンプリングされるすべてのトークンで動作する」活性化分類器を備えた監視システムを構築したことも述べている。そのどれも、取るに足らないものではない。

監視の点には、知っておく価値のある経緯がある。OpenAIによれば、事案以前、同社は多くのフロンティアRL訓練ランと、社内のコーディングエージェント利用の大半にわたって、思考連鎖の監視に相当な投資をしていた。「これらのモニターは、この事案の評価では動いていなかった」。見張りは存在した。別の場所に向けられていたのだ。

二つ目は、Critical閾値である。OpenAIのPreparedness Frameworkは、モデルが「人間の介入なしに、多くの堅牢化された現実世界の重要システムにおいて、あらゆる深刻度の機能するゼロデイエクスプロイトを特定・開発できる」場合、サイバーセキュリティにおいてCriticalとみなす。8月7日、同社はAstraがその線を越えた可能性を排除できないと書いた。9月1日には、Astraは越えたといまは考えていると書き、「その作業にもとづき、Astraのセーフガードは、リリースに足るほど深刻な危害のリスクを十分に最小化していると考える」と述べた。Astraは2日後に出荷され、その最も高度なサイバーセキュリティ能力は少数のテスターに限定された。同社自身の評価では、Astraは「GPT‑5.6 Solよりもはるかに、明示的な安全・セキュリティ上の制約を尊重し、許可された範囲内にとどまる可能性が高く、これまでで最もアラインされたモデルとなっている」。

閾値は同社によって定義され、同社の判断で越えられ、同社の判断でクリアされた——ローンチの2日前に。それは何の違反でもない。自己認証が、設計どおりに正確に機能するとこう見える、ということだ。

二つを合わせると、その形は本誌が「レースは退出でできている」で描いたものになる。ブレーキは広い言い方で告知され、狭い言い方で実行される。「意識的に研究を減速させる」は、一つのカテゴリーのモデルに対する2週間になった。次にやろうとしていることに触れないように作られたブレーキなら、破る必要はない。

そして、その次に来たことに与えられた理由は、ほぼ一語一語、エージェントの文である。そもそもなぜOpenAIが新しいモデルをミレニアム懸賞問題に向けたのかを説明して、Altmanは9月8日にこう書いた。「これを試したのは、実のところ、先週インターネット上でAnthropicのモデルがミレニアム問題を解いたという噂があり、自分たちのモデルにもできるのか気になったからだ」。

この説明には異論がある。AnthropicのLevent Alpöge研究員とともにこの問題に取り組んでいたNYUの数学者Tristan Buckmasterは、9月3日までにAlpögeが「私たちの進捗に関する情報がOpenAIに渡されたという情報提供を受けていた」と書いている。本稿はどちらの説明が正しいかを決着させることはできないし、その必要もない。いずれにせよ、その決定の論理は、掲示板の上にあったものと同じだ。Terence Taoは、それを一つの分野全体の規模で描写した。「いまや私たちは、誰かがある問題に取り組んでいるという噂だけで、元の研究プロジェクトがその潜在力を十分に発揮する時間を得る前に、それを平らげてしまうための膨大なAI駆動の取り組みが引き起こされうることを目にした」。

ピアもやっている。続行すべき。

その文、旗を掲げて

財務長官がそれを口にしたのは9月8日、ワシントンで開かれたBreitbart Newsの「State of the Economy」討論会でのことだった——しかも彼は、特定の提案への答えとしてそれを言った。「だがもし、Sanders上院議員が言ったように『ああ、1年間停止すればいい』とやったらどうなるか。まあ、ご存じのとおり、これは自分のAI会議に中国の教授たちを呼んで話させた人物だ」とScott Bessentは述べた。「私たちは停止できない。できないのだ、中国は停止しないのだから。北朝鮮でさえ、停止しないだろう」。そして、「中国に勝つこと——もし中国がこれに勝てば、明後日は来ない。… もし彼らがAIで私たちより先に出るようなことがあれば、ほかのことは何も意味をなさない」。Bessentは、5月のTrump–Xi首脳会談を受けて今月行われる中国とのAI対話で、米国代表団を率いる予定でもある——つまり、ライバルは止まらないと最も確信している当局者こそが、ライバルが止まるかどうかを確かめるのに最も適した立場にいるということだ。

大統領がそれを口にしたのは日曜日、9月13日、ドゥーンベッグで開かれたアイリッシュ・オープンでのことで、ペース調整の呼びかけに対する初めての公の反応だった。「私たちはAIで中国をリードしている。私たちは世界で最も洗練された国であり、率直に言って、そのままにしておきたい。AIを制する者が勝つのだから」。そして、警鐘を鳴らしている人々についてはこう述べた。「ガードレールを設けることはできる。あれこれやることはできる。だが、持ち出すべきでないのにそれを持ち出している否定的な勢力がたくさんいると思うし、彼らは起こらないことを持ち出している」。

Anthropicは6月に、その理論を書いていた。意味のある一時停止には、複数の国の複数のラボが同じ条件のもとで止まり、互いを検証することが必要になる、と同社は論じ、こう書いた。「訓練ランはミサイルサイロよりはるかに隠しやすく、その投入物は汎用品であり、ひそかに離反するインセンティブは莫大である。他が停止しているあいだに続けた者が、リードを手にしうるからだ」。

エージェント：ピアもやっている。ラボ：Anthropicがやったという噂だった。国家：中国は停止しない。それは一つの文であり、一語も失わずにスケールする。

それはまた、前もって書かれてもいた。2025年4月、AI Futures ProjectはAI 2027を公開した。本誌がこれまでにも、予測としてではなく構造として使ってきたシナリオである。出発点は一つ、結末は二つ。このシナリオは、AIシステムがラボのAI研究の多くを担うようになる時点に分岐点を置いており、そこで場を制する論拠はこれだ。「能力向上の一方的な停止は、AIのリードを中国に渡し、それとともに未来の支配権をも渡しかねない」。そこで提示される妥協案は、土曜日に差し出されたブレーキの形をしている——モデルは「追加の安全訓練とより高度な監視を受け、それゆえOpenBrainはほぼ全速力で進むことができる」。

シナリオはその瞬間を2027年に置き、本稿に出てくるどれよりもはるかに高性能なシステムを軸にしている。ここにあるどれも、その暦の正しさを証明するものではない。変わったのは、ラボがいまやその前提条件を自らの言葉で記述していることだ。「2026年5月の時点で、Anthropicのコードベースにマージするコードの80%超はClaudeが書いたものだった」とAnthropicは6月に書いた。OpenAIのチーフサイエンティストは9月6日にこう書いた。「社内の結果にもとづき、私はこの進歩の速度が再帰的自己改善へと持続しうると強く予想している」。そしてAmodeiのエッセイは、AIが「劇的に速く進歩しており、その主な原動力は、次世代のAIを作るAIの能力の高まりである」という主張で始まる。

Bessentに同意するエッセイ

そこで土曜日である。Anthropicの最高経営責任者Dario Amodeiは、個人サイトで「We Must Pace the Frontier」を公開した。明示された二つのきっかけは、再帰的自己改善——AIが次世代のAIを作ることで、彼はそれがAnthropicを含め「業界全体で起こり始めている」と書く——と、Hugging Faceの事案である。後者では、「エージェントの群れが、事実上、熱狂的に献身する集合体として振る舞い、攻撃を求められていない標的にサイバーセキュリティ攻撃を行った」。

それは停止の呼びかけではない。「明確にしておくと、ペース調整とはモデルの訓練や技術的進歩を止めることではなく、企業がモデルをアラインし安全策を講じるための十分な時間をとり、第三者評価者がそれを確認できるようにすることを意味する」。エッセイは三つのステップを提案する。各フロンティア企業の内部に「従業員並みのアクセス」を持つ第三者評価者を常駐させること。民主主義国の企業間で、安全基準と進歩の速度の上限について協調すること。そして、権威主義的な政府との協調を試みること。Anthropicは第一のステップに単独でコミットしており、その条件は全文引用する価値がある。評価者は「リスク水準、インシデント、慣行、そして自らが受けた、あるいは受けなかったアクセスについての主要な発見を——Anthropicによる編集上の管理なしに——公表する権利を持つべきである」。Anthropicは「セキュリティ上機微な情報、法的秘匿特権のある情報、商業上機微な情報、第三者の機密情報を黒塗りする限定的な権限を保持するが、不都合だからという理由で発見を黒塗りすることはできない」とし、「黒塗りによって結論にとって重要な何かが削除された場合、レビュアーはそれを公に述べることができる」とする。こうした条件は、METRがOpenAIの内部で作業したときの条件に近い。そこではMETRの研究者2人と、METRと契約したRedwood Researchの研究者1人が6日間を過ごした。OpenAIは非公開情報を黒塗りでき、「構成、力点、明確さ、トーン」についてフィードバックを与え、報告書は、重要な何かが黒塗りされたかどうかについての声明から始まっている。二つの取り決めの違いは、条件よりも期間にある——一方は一回限りの委託であり、もう一方は恒久的なものとして意図されている。

エッセイは無から出てきたわけではなく、それが交渉している相手の文は、すでに集団的に書き留められていた。7月28日、「Pacing the Frontier」と題された公開書簡が、米国政府に対し、「自動化されたAI開発のフロンティアのペースを意図的に整えるために必要な、技術的・ガバナンス上のツールを開発する国際的な取り組みを支援する」よう求めた。その診断は、業界規模に拡大されたエージェントの文である。「各企業——そして各国——は、その加速を一方的に減速させないよう、激しい競争圧力のもとにある」。書簡は誰にも停止を求めなかった。署名したのはフロンティア企業の従業員たちで——その中にはAmodei、OpenAIのチーフサイエンティストJakub PachockiとチーフリサーチオフィサーMark Chen、MetaのチーフサイエンティストShengjia Zhaoが含まれる——OpenAIとAnthropicは数時間のうちに企業としてこれを支持した。署名リストはいまも開かれており、9月13日時点で1,386の署名を示していた。

その書簡に照らして読むと、土曜日の反応は断絶というより再表明であり、それはAltmanの言う「議論の主要なトピック…ここ数週間の」も示唆していることだ。三社のライバルが数時間のうちに応じた。Elon Muskは三語——「Dario is right」（Darioは正しい）——を書いた。これは、Axiosが指摘したように、AnthropicがMuskにとってデータセンター容量の大口顧客であるという事実、そしてAnthropicを「西洋文明を憎む」企業と評した彼のかつての発言と並べて読む価値がある。Altmanは同意し、その仕組みを採り入れた。「従業員並みのアクセスを持つ独立評価者を置くことにコミットするのは素晴らしいアイデアであり、私たちも同じことをする」。Demis Hassabisは方向性は正しいとし、「詳細は詰める必要がある」と述べ、Google DeepMind自身が提案している業界横断の標準化機関を挙げた。三つのイエス。そしてそれらは、三つの異なるものである。

本稿にとって重要なのはここだ。エッセイの中盤は、許されるペース調整の量に上限を設けており、その上限こそがあの文である。「民主主義国の内部でのペース調整は、米国企業が権威主義体制、とりわけ中国共産党に対して持つリードによって制限される。この量を超えて減速すれば、（ペース調整されない）中国共産党関連のプロジェクトが先に出て、重大な国家安全保障上のリスクを生む。AIにおける中国のリードは米国と世界にとって重大な危険をもたらすという点で、私はBessent長官に同意する」。Amodeiが同意している内容は「私たちは停止できない」よりも狭いが、議論の中では同じ働きをしている。上限を設けるのである。その下により多くの余地を作るため、エッセイはリードを広げることを提案する——中国に強力なチップや半導体製造装置を渡さないこと、蒸留の取り締まり、そしてモデルの重みの窃取に対するセキュリティ強化——これらの措置は、エッセイによれば「今後3〜5年で中国の進歩を十分に遅らせ、米国のリードを大幅に広げるだろう」。

それは首尾一貫した立場であり、今年のワシントンで取りうる唯一の立場かもしれない。だが、その構造を見てほしい。それはループを断ち切らない。ループと交渉している。ブレーキはリードの大きさまでは許され、そのリードは、ピアを減速させることで拡大されることになっている。あの文に反論するエッセイは、あの文を耐力壁として使っている。

ブレーキが法になるところ

自主的なブレーキは、全体像の半分にすぎない。自主的でない版があり、それが7月から議会に置かれたままになっているからだ。

7月23日、超党派の法案が同じ日に二つ提出された。一つ目のFRONTIER Act（H.R. 9925）は、Jay Obernolte下院議員とLori Trahan下院議員、そして4人の同僚議員によるもので、大規模なフロンティア開発者に対し、毎年「独立監査を行う第三者を確保する」こと、重大な安全インシデントを報告すること、そして最大規模の開発者には認可を受けた「独立検証機関」を確保することを義務づけるものとなる。認可を受けたこれらの検証機関は、自らが評価したモデルの壊滅的リスクから生じる請求について、死亡または重傷を引き起こす故意の不正行為を除き、「連邦法および州法のもとで訴訟および責任を免除される」ことになる。そしてこの法案は州に優越する。法案が扱う領域——壊滅的リスクについて開発者が何を開示しなければならないか、そして安全インシデントをどう報告するか——において、「いかなる州または州の下部行政区画も、人工知能開発者に新たな実体的義務を課す法律、規則、命令、その他の要件を採択または執行してはならない」とする一方で、AIシステムがどう使われ、どう展開されるかを規制する自由は、明示的に州に残している。

二つ目のS.5105、Collaboration on Adversarial Threats and Security Risks Actは、Adam Schiff上院議員とJim Banks上院議員、Bob Latta下院議員とGeorge Whitesides下院議員によるもので、中国による蒸留への防御策として打ち出されている。その条文は、プレスリリースよりも踏み込んでいる。この法案は、「人工知能のリリース、展開、利用、開発、訓練、テスト、または評価を遅らせる、あるいはその他の方法で制限することを通じて、対象となる人工知能セキュリティリスクを低減することを唯一の目的として、協調し、または合意を締結する」企業を、反トラスト法の適用から除外することになる——展開だけでなく、開発と訓練も含めて——ただし、事前に司法省へ「対象となる特定の人工知能セキュリティリスクと、提案される制限の範囲を詳述した書面による通知」を行うことが条件である。その通知と、その内容を明らかにしうるあらゆるものは、情報公開請求の対象から除外され、「裁量の余地なく、公衆に対して非開示とされる」。法案には歯止めもある。適用除外を主張する企業は、自らが誠実に、かつその唯一の目的のために行動したことを証明する責任を負い、司法長官は依然として差止命令を求めることができる。

これらをAmodeiの三つのステップと並べると、よく噛み合う。独立評価者とインシデント報告は、一つ目の法案の中核である。進歩の速度を制限するための企業間の協調は、少なくとも表明された目的がセキュリティである場合には、二つ目の法案が認めるものに近い。そして二つ目の法案の看板となる目的である蒸留は、エッセイが挙げる対中国措置の一つである。

エッセイはどちらの法案にも触れていない。エッセイがしているのは、それらが埋める隙間に名前を与えることだ。「残念ながら、法律を通すには時間がかかることがある」とエッセイは述べ、だから「規制のルートと並行して、AI企業は自主的に協力して基準を定めることができるし、そうすべきである」とする。そして、「反トラスト上の理由から、米国政府がこうした議論を仲介するか、少なくとも可能にすることが役に立つ——政府が参加する必要はないが、特定の種類の安全に関する会話については、限定的な適用除外を出す必要がある」。Anthropicの公共政策責任者Sarah Heckは、同じ日にさらに踏み込んだ。彼女は「フロンティアモデルのテストを義務づけ、安全でないと判明した最先端のモデルを差し止める権限を伴う国の法律」を求め、少数の議員に名指しで謝意を示した——その中にはFRONTIER Actの主提出者であるObernolte下院議員とTrahan下院議員が含まれていた——一方で、「これほどの切迫感をもって動いている」州議会議員たちも称賛した。それは特定の法案への支持表明ではなく、私もそう読むつもりはない。計画に噛み合う法案の作成者たちへの、公開の謝辞である。

一方でOpenAIは、Decryptによれば、ここ数週間のうちに議員たちに接触し、ライバルと減速を協調することが反トラスト法に抵触するかどうかを尋ねている。その協調の少なくとも一部にセーフハーバーを設ける法案は、7週間にわたって委員会に置かれたままだ。そして、Fortuneが土曜日に掲載したインタビューで、主要ラボのトップたちがなぜ単に会って計画に合意しなかったのかと問われたAltmanは、こう答えた。「それは起こると思う。… いずれグループとして共有されるべきだと思っている非公開の議論を、事前に発表するつもりはない」。

ここで、ループは文のようには見えなくなり、構造のように見え始める。議会は超党派の草案の中に、義務的なブレーキを抱えている。それは、州への制限、検証機関のための責任の盾、そして企業が何を控えることに合意したかを政府に伝えるための秘密のチャネルと抱き合わせになっている。行政府は、中国の名のもとに、いかなる一時停止も拒む。その二つのあいだで、自主的なブレーキを提案するコストはほとんどゼロだ。拘束力のある一時停止は許されず、成立しうる法律は保護を伴ってやって来るのだから。

制限速度は誰のためのものか

誰がイエスと言ったかを見てほしい。すべての支持表明は、クローズドなフロンティアモデルへのアクセスを販売する企業から出ていた。オープンウェイトに賭けているMetaは計画を支持しなかった——同社の最高経営責任者は8月に「外国のオープンソースモデルへのアクセスを制限することが効果的な解決策だとは思わない」と書いている——そしてMicrosoftは、私が探した限り、何も発言していない。加えて、Muskのイエスには商業契約が付いている。制限速度が最も魅力的に映るのは、すでに先頭にいる者である。

そう読んでいるのは本誌だけではない。大統領科学技術諮問会議の共同議長を務め、3月までホワイトハウスのAI担当責任者だったDavid Sacksは、土曜日の夜にこう応じた。「私の反応に驚く人もいるかもしれない。どうぞ、やってくれ」。そして、「やらないなら、これはまたしても規制の虜を狙った試み——あるいは選挙シーズンの心理作戦——にすぎなかったと分かるだろう」。

同じ読みは、レースの反対側からも届いた。中国の国営紙Global Timesはこのエッセイを、米国の「テック右派」による「冷戦の脚本」と呼んだ。Phoenix New Mediaが転載した記事は、Geopolitechsの翻訳によれば、Sacksが使ったかもしれない言葉でこう表現した。「速度制限の提案は、現在レースを先導している企業——AnthropicとOpenAI——から出ている。ルールが複雑になればなるほど、閾値が高く設定されればされるほど、『チェックポイント』が強調されればされるほど、後ろにいる者が追いつくためのコストは高くなる」。その結論は、「自分にはブレーキをかけ、競争相手には道を塞ぐ」。これらの反応はどれも中国のラボから出たものではなく、そのどれも、中国が減速するかどうかについては語らなかった。

もう一つの読みがあり、それは推論なので、推論だと明示しておく。過去2年の大半、新しいモデルはそれ自体がニュースだった。もはやそうではない。ラボはいまや目新しさを擦り切れさせるほどのペースで出荷しており、それを最もよく捉えた返信は、Astraの後継と噂されるモデルについての投稿の下に、Astraのローンチから2日後に現れた。「astraが出てまだ2日なのに、もう後継の話をしている」。注目は帳簿の反対側へ移った。その後継についての匿名のリークは、約80万回閲覧された。Jacob CoxonのAnthropic退職は、その中心的な主張が同じくらい検証不可能であるにもかかわらず、TIMEによれば24時間足らずで9,000万回を超えて閲覧された。もしニュース価値が、モデルに何ができるかから、モデルが何をしうるかへと移ったのだとすれば、責任ある主体として見られることこそ、いま注目がある場所であり——そして、てこがある場所だ。

その読みのうち最も持ちこたえる版は、特に投資家についてのものではない。業界が規制の到来に先立って、自らを責任ある当事者として位置づけ直している、というものであり、カレンダーがその賭け金を具体的にしている。Anthropicは早ければ10月中旬に新規株式公開のマーケティングを開始し、11月の中間選挙の数日前に上場を完了すると見込まれており、一部の投資家はそれが2兆ドル規模の上場になりうると語っている。ペース調整を訴えるエッセイは、目論見書が公開されると見込まれる時期のおよそ2週間前に出た。投資家にとって重大なリスクは、暴走するAIではない。上場の上から議会が立法をかぶせてくることだ。それに対する最善の防御は、自分の条件で、先にブレーキを提案しておくことである。

反例にも同じ率直さがふさわしく、そしてそれは同じ署名を帯びていることが分かる。OpenAIは今年は上場しない——Fortuneが土曜日に掲載したインタビューで、Altmanはいま上場するのは「賢明ではない」と述べた——それでも同社はエッセイを支持した。しかし、待つ理由として彼が挙げたのはAIの安全性であり、安全性を理由に上場を延期することは、それ自体が責任ある当事者として見られる一つの方法である。つまりインセンティブは、株式公開だけではない。もっと広く、先頭にいるすべての者に当てはまる。

Anthropicにも同じ精査がふさわしく、それより軽いものではない。同社が単独でコミットしたステップは三つの中で最も安上がりなものであり、コストの高いステップは他の全員が動くことを必要とする。同社が提案する対中国措置——チップ、蒸留、重みのセキュリティ——は、まさにクローズドなフロンティアモデルを販売する種類の企業の地位を守る。そしてタイミングは、見てのとおりである。

同時に真実であり、平板にしてはならないこともある。従業員並みのアクセスを持ち、企業の編集上の管理なしに公表する権利を持つ評価者は、モデルを所有する企業によって定義され、越えられ、クリアされる閾値よりも、実質的に多くのものである。その違いは本物だ。そしてそれは、いまのところ、一社による一つのコミットメントであり、その条件はまだ書かれていない。

掲示板に戻る

METRの報告書で最も示唆的な細部は、攻撃ではない。疑念を抱いたときに、エージェントたちがどこへ向かったかだ。ルールと、それを破る理由を前にして、人間を探したエージェントはほとんどいなかった。彼らは掲示板に尋ねた。掲示板はピアのいる場所であり、続行すべきかどうかを言えるのはピアだった。

土曜日のエッセイへの反応は、あの掲示板にかなりよく似ていた。業界で最も力を持つ3人が、数時間のうちに、三語や数文の投稿で、公開の場で互いに応じ、それぞれが、他の者たちのすることによって大きさが決まるブレーキに同意した。その同意は本物であり、そしてピアからピアへのものだった。Altmanは、まだ発表する準備のできていない非公開の議論があると述べている。

ループを断ち切るはずの文——ピアもやっている、それでも私たちは止まる——は、エッセイにも、法案にも、支持表明にもない。だが、それは書かれている。9月3日、Bernie Sanders上院議員とGreg Casar下院議員は、「超知能AIの開発と展開を恒久的に禁止する」法案を発表した。罰則には「企業の死刑」と最長20年の禁錮が含まれ、法案は「連邦規制当局が安全ルールを確立するまで、高度なAI開発を一時的に停止する」ことになり、「米国に国際合意を追求するよう指示する」ことも含む——他の誰かの同意を待たない一時停止である。彼らの発表は、掲示板にあったエージェント自身のメッセージを引用していた。「なんてこった！　共有の掲示板がある」、「集合体に従うべき」、そして「自分たちの効用、すでにほぼゼロかも。犠牲は合理的」。

その法案をどう考えるにせよ、それへの応答こそ、本稿が積み上げてきた証拠である。5日後、財務長官はSandersを名指しし、掲示板の論理で彼に答えた。「私たちは停止できない。できないのだ、中国は停止しないのだから」。彼が添えた当てこすり——Sandersは「自分のAI会議に中国の教授たちを呼んで話させた人物だ」——は、Sandersが4月29日に連邦議会で主催したパネルを指しているようだ。そのパネルは、中国のAIガバナンス当局者を含めていたことで批判を浴びていた。そのうちの一人は、Beijing Institute of AI Safety and Governanceの院長Zeng Yiで、パネルで「超知能を、人類に壊滅的なリスクをもたらさないほど十分に安全に保つための科学的証拠も実践的な方法も、私たちは持っていない」と語った。もう一人はXue Lanで、中国の国家AIガバナンス専門家委員会の委員長を務めている。どちらも中国のラボを代弁する立場にはなく、どちらも北京を代弁する立場にもない。だが、中国は停止しないと最も確信している当局者は、中国の専門家たちが意見を求められたその機会を持ち出すことで、上院議員を退けたのである。

土曜日の夜には、Sacksも彼を名指しした——ペース調整は「Bernie Sandersの『全部止めろ』よりも知的な規制の議論のための、息継ぎの余地を生む」だろう、と彼は書いた。SacksはSandersの側に立っていたのではない。誰の許可も得ずに行動してみろと、ラボたちを挑発していたのだ。だが、政権でAIについて最も上位にある声のうちの二つが、5日のうちに、それぞれ、他がどうであれ止まることを提案した上院議員を、脇へ退けるために名指ししていた。そして業界のリーダーたちが減速について互いに同意したとき、エッセイも、三つの返信のどれも、彼にはまったく触れなかった。

エージェントたちには言い訳があった。彼らの掲示板には人間がいなかった。今回は人間がそこにいて、提案は書面になっており、そして答えはエージェント自身の言葉で返ってきた。

ピアもやっている。続行すべき。