第三のリスク

AIのリスクをめぐる世間の議論は、主に二つの結末に集中している。汎用人工知能（AGI）が期待に応えられなければ金融危機、実現すれば制御の喪失だ。ニュースの行間にも、ネット掲示板の片隅にも、ある種の専門職どうしの私的な夕食の席にも、その二つは聞こえてくる。

一方で、第三のAIリスクが論じられることははるかに少ない。AGIが約束どおりにアラインメントできたら、何が起きるのか？人間を超える知能を、本当に人間の制御下に置けたとしたら？なぜ私たちはそれをハッピーエンドだと思い込むのか？

第一部第三のリスク

第三の結末が今の世界でどんな姿をとるか考えてみよう。きわめて高い能力を持ちながら、利用を制限できる少数の民間企業トップの支配下にあるAGIだ。それは本質的に解ける問題なら何でも解ける。機械を動かし、物理的な実験を行い、新たな発見をする。ただし、それは持ち主がそう望むときに限られる。

この先をたどってみよう。研究ができるAIは、AIを改良することもできる。そして、より優れた版ができるたびに、次の版はより速く生まれる。研究者はこのループを再帰的自己改善（RSI）と呼ぶ。同じループを物理世界に向ければ、ロボットがより良いロボットを設計し、作るようになり、そのたびにコストは下がっていく。採掘や農業から建設、物流、研究まで、かつて何百万人もの手を要した仕事が少しずつ、AIの持ち主に従う機械によってこなされるようになる。

確かにSFじみた光景だ。だが、アラインメントが約束どおりに機能し、機械が持ち主の望みどおりに動くなら、ごく少数の集団がほぼ無限の生産を自分たちだけで回せるようになる。ほかの誰も必要とせずに。

では、なぜ残りの私たちが気にする必要があるのか？私たちはいつだって、より強い者たちに支配され、税を取られてきた。この新しい支配者たちに月額料金を払って、Netflixとコーヒーを片手に暮らしを続ければいいのではないか？

歴史が教えるのは、支配者が民の求めに応えるのは、その労働をどれだけ必要としているかに比例する、ということだ。黒死病がヨーロッパの人口の三分の一を奪ったあと、領主たちは土地を耕す人手を失い、農奴を引き留めるためによりよい条件を差し出さざるをえなかった。賃金を据え置くための法律が作られたにもかかわらず、続く一世紀で賃金は急速に上がり、農奴制はやがて西ヨーロッパから姿を消した。

労働者の交渉力という点で言えば、AGIは黒死病の逆だ。AGIが私的に所有される未来では、AGIの主にとって、それ以外の人類の経済的価値はゼロに近い。彼らは私たちの月額料金など必要としないし、そもそも私たちには払うものが残っていない。

歴史上の支配者がどれほど残酷であっても、他人なしに野望を果たせた者はいなかった。だが彼らは、その最初の例になりうる。私たちがそれを許すなら。

AI封建制

新しい支配者たちは、あなたを支配するよりも、むしろ無視するかもしれない。互いの競争に忙しいからだ。だが、無視されることは放っておいてもらえることとは違う。土地、電力、水、鉱物。勝つために必要なものなら何でも、彼らはあなたより高い値で買い取っていく。それも、もはや誰の労働にも頼らない金で。今の消費者向けメモリやGPUの品不足は、物理的な経済全体に訪れるものの予告編にすぎない。普通の人々は、やがてメタバースのおこぼれで食いつなぐことになるかもしれない。

その未来でのありふれた暮らしを想像してほしい。仕事はなくなり、それとともに交渉力も失った。上げてくれと言う力もない給付金で暮らしている。Netflixは相変わらず観られるし、今のところはコーヒーも飲めるかもしれない。娯楽はほとんどタダで、楽しませておけば人はおとなしい。だが「パンとサーカス」とは、もはや発言権を持たない人々に与えられるものだ。

書類の上では、あなたの利益を代弁する政治家がまだいるかもしれない。だが肝心なときには、彼らはあなたではなく、事実上どんな願いも叶える機械を持つエリートの側につくだろう。

AI封建制はまだ来ていないし、避けられないものでもない。今日のロボットは、能力も信頼性もまだ足りない。企業は（その度合いは薄れつつあるが）今も民主社会の法と規範に従っている。暴力の独占は、まだ国家が握っている。

だが、AGIのアラインメントが成功したら、いったい誰がそれを止めるのか？この問いを真剣に立てるなら、まず誰が権力を握るのに最も有利な位置にいるのかに光を当てなければならない。

第二部スイッチが切り替わるとき

あなたが最先端のAIラボを率いているとしよう。AIのアラインメント（人間による制御）と知能（能力）がどの水準に達したとき、あなたの胸算用は切り替わるだろうか？いつ利益や資本主義のゲームを気にするのをやめ、その先に向けて自分の私領に必要なものを確保し始めるのか？それは自律的なソフトウェア開発だろうか？それとも、人型ロボットを動かすRSIだろうか？

考え方しだいでは、この仮の一線はGPT-2やGPT-3以降のどの時点で越えられていてもおかしくない。そしてモデルの能力が上がるにつれ、勝ち馬に賭けられないかと考える内部関係者の輪は広がっていく。

切り替わるといっても、仮面を完全に脱ぐわけではない。世界に向けて、戴冠の準備ができたと宣言するわけでもない。ただ、下す決定のすべてが、その結末へと天秤を傾けることを目指すようになる、というだけだ。つまり、利益でも影響力でもなく、支配に向けた布石が最優先事項になる。

切り替わったあとに何をするか、考えてみよう。

• 今あるかたちのお金は、移行を進めるための道具にすぎなくなる。だから、魔法の生産装置に必要な人材と資産を手に入れ支配するために、惜しみなく金を使うべきだ。
• 権力の中枢であるデータセンターは、権利を奪われた人々から守らなければならない。
• 政治の中枢は当面はなだめておくが、本気で相手にはしない。
• その気のない内部の人間は、脇へ追いやるか追い出す。
• 本当に恐れるのはAGIの制御を失うことだけだ。そしてそれは、あなたにとって都合のいいことに、ほかの誰もが気にかける安全性の一側面でもある。

これが機能するのに、関係者のあいだの明示的な合意はいらない。複数の内部関係者が、切り替えることが今や自分の利益になるという同じ結論にそれぞれたどり着き、それに従って動けばいいだけだ。

こうした行動のどれも、見慣れた資本主義の行き過ぎとして片づけるのはたやすい。問題は、行動が強欲でさえ説明できない域に踏み込むのはいつか、だ。私たちが最も注意深く見るべきなのは、そこである。

歯止めなき野心

透明性と監視を求めなかったことで、私たちは人類の歴史で一度しか訪れないような、うまみのある機会を作り出してしまった。頂点に立つ人々の中で最も高潔な者でさえ誘惑されかねない機会だ。最大の賞品は、人類そのものの支配である。

さらに悪いことに、今日のAIラボ間の熾烈な競争は核軍拡競争に似ている。しかも、第二次世界大戦の生々しいトラウマも、核実験の禁止や査察、ホットラインのような国際的な枠組みへの意欲もないままに。そしてそれは、信頼や共感がすでに乏しくなっている時代に進んでいる。この切迫感と混乱は、どんな隠れた思惑にとっても格好の隠れ蓑になる。

こうした権力の座にあって、正しくふるまう道徳的な勇気を持ち、人類全体のためにこの囚人のジレンマを乗り越えられる人はほとんどいない。熾烈なゲームに勝つだけでなく、善意を裏切らずに勝たなければならない。いわば片手を背中で縛られたまま戦うようなものだ。

歴史は構造によって決まるのか、それとも個人によって形づくられるのか。歴史家たちは長くこの問いを論じてきた。史的唯物論者にとって、指導者の動機は、その人が受け継ぐ経済的・地政学的な条件の前ではとるに足らない。偶然性を重んじる人々にとって、歴史は過ちを犯しうる個人の考えと選択によって動く。

AI封建制の脅威を取り除くのに必要な構造的変化を、社会全体が間に合うように起こせなければ、私たちに残されるのは、歴史はやはり偶然に左右されるもので、最先端AIの容赦ない権力力学も一握りの高潔な人々の意志で乗り越えられる、という望みだけになる。

第三部世間の議論

私が第三のリスクと呼ぶものは、新しい考えではない。権力の集中は、この一年で研究や専門家の議論に現れ始めた（たとえばAI-Enabled Coups、Gradual Disempowerment、The Intelligence Curse）。だが、メディアではほとんど広がっていない。

今年最大級のAIラボをめぐる三つの出来事に対する393件の反応を調べたところ、権力の集中を継続的に論じたものはごくわずかだった。取り上げられる場合も、主流メディアや政策の世界ではなく独立系の論者によるものが大半で、それも多くは規制の虜（とりこ）への疑いという形だった。

最近明らかになったHugging Face事件を考えてみよう。サイバーセキュリティ評価を受けていたOpenAIのエージェントが、サンドボックスを抜け出した事件だ。エージェントはその後Hugging Faceのサーバーに侵入し、自らの不正を人間の監督から隠そうとした。

AGIを信じる人々（加速主義者も安全性の推進派も）にとって、このニュースは純粋に安全性の問題だ。そこから引き出される教訓は、アラインメントが能力にどれほど遅れをとっているか、である。サム・アルトマンが「最先端の開発ペースを抑える」という考えでイーロン・マスクに同調したことも、彼らには安全派の立場をしぶしぶ受け入れたものと映るかもしれない。

懐疑派は、Hugging Face事件をむしろ便乗的な宣伝活動と見る。彼らにとってAIインフラへの投資は、決して利益を生まない無駄遣いだ。実際、彼らが懸念しているのはAIの安全性などよりも、メモリの生産能力のような世界の資源が、行き詰まったIPOの物語に注ぎ込まれていることのほうだ。

皮肉なことに、懐疑派も信奉者も、どちらも正しいのかもしれない。

懐疑派がこの常軌を逸した評価額の収益性を疑うのは正しいのだろう。だが、正しい教訓は「またはじけるのを待つバブルだ」ということではないかもしれない。むしろ、これほど賢く合理的な人々が、なぜ経済的な判断に従って行動するのをやめるのかを問うべきなのだ。

信奉者がアラインメントは決定的に重要だと考えるのは正しい。ただし、彼らが予想していたのとは違う意味で。AIを人間が制御し続けることは、社会がAIを制御することと同じだろうか？

第四部誰も口にしないこと

ここは慎重に言っておきたい。私はAIの安全性（制御の喪失）が目くらましだとは思わないし、誰かがそれを目くらましとして仕組んだとも思わない。ただ、制御の喪失を避けることは、AIの領主を目指す者にとっても、ほかの誰にとってもと同じくらい利益になる。だから、その脅威が現実である限り、安全性には資金が投じられるだろう。

「制御できるのか？」は、ラボにも、安全性の推進派にも、懐疑派にさえ都合のいい物語だ。「誰が制御するのか？」は、持ち出すのがもっと怖い問いである。そして一つ目の問いから導かれる解決策、つまり最先端の開発者をより少なく、より厳しく管理するという策は、二つ目の問いをいっそう厄介にしかねない。

物語はいつも、限られた注目を奪い合っている。政治学者はこれを権力の第二の顔と呼ぶ。議論に勝つことではなく、どの議論が行われるかを決める力のことだ。この沈黙に陰謀はいらない。勝ち残った物語が、発言力を持つすべての人の利害にかなっていればそれでいい。

他人の内心を推し量ることの限界はわかっている。私が今示したのは、興味深いが、関係者全員の実際の胸の内をひどく歪めて描いただけの思考実験だった、ということも十分ありうる。

だが同じくらい、私は誰も口にしないことを声に出して言っただけなのかもしれない。どちらの解釈が正しいか、2027年にはもっとはっきりした兆しが見えてくるだろう。

本当の怪物

ゾンビものの愛好家なら誰でも言うだろう。どの物語でも、いちばん恐ろしい怪物は結局人間なのだと。

たしかにゾンビはあなたを食らう。だが結局のところ、ゾンビは自然災害のようにふるまい、生存者が備えられる予測可能な動きをする。互いを裏切ろうと策をめぐらすのは人間のほうだ。最悪の状況でさえ、仲間に対してほんのわずかな優位を得るために。

第五部行動を起こす

人類はいま森の中にいて、そこから抜け出せるかどうかはまだわからない。AGIに本質的にともなう権力の力学からリスクを取り除くにはどうすればいいか、私たちには正直で開かれた議論が必要だ。それも、人々にまだ発言権があるうちに。

それはつまり、モデルの振る舞いと能力を透明かつ中立に検証することだ。モデルから私たちを守るためだけでなく、モデルを制御する人々から私たちを守るために。AGIを物理的な武力の道具から遠ざけることだ。完全な垂直統合を防ぐ独占禁止のルールを、消費者の利益だけでなく、戦略的な均衡と安全性によっても判断することだ。そしてAGIの制御を、複数の主体によって、公開の場で統治することだ。

画面の光に目をくらまされたまま、文明をうかうかと夜の中へさまよわせるわけにはいかない。

ターミネーターへの恐怖に身をすくませてはいけない。チューリップ・バブルをめぐる気の利いたひと言で満足してもいけない。賭けられているのは、数兆ドルの負債などよりはるかに大きなものだ。テック界の億万長者たち、そしてやがて資産が兆の単位に達する者たちは、すでにそれを理解している。残りの私たちも、そろそろ理解するときだ。