第三種風險

主流關於 AI 風險的公共討論，大多圍繞兩種可能的結局：如果通用人工智慧（AGI）的承諾未能兌現，我們就會迎來一場金融崩盤；如果它兌現了，我們迎來的則是失控。你會在新聞的字裡行間、在各大網路論壇的角落裡、在某些專業圈子的私人飯局上聽到這些討論。

但我很少看到有人討論第三種 AI 風險：如果 AGI 真的能如承諾般實現完全對齊，會發生什麼？如果超人類智慧真的能被成功置於人類的控制之下呢？我們憑什麼認定那就是好結局？

第一部分第三種風險

不妨設想一下，在今天的世界裡，第三種結局會是什麼樣子：AGI 能力極強，卻掌握在少數幾位民營企業 CEO 手中，並且他們可以限制他人使用。只要是理論上可解的問題，AGI 都能迎刃而解。它能操作機器、做實體實驗、做出新發現。但這一切都完全取決於擁有者的心意。

順著這條路往下推演。能做研究的 AI 也能改進 AI，而每個更強的版本又能更快地造出下一個。研究者把這個循環稱為遞迴自我改進（RSI）。把同樣的循環用到物理世界，機器人就會設計、製造出更好的機器人，而且一代比一代便宜。一點一點地，從採礦、種地到建造、運輸和科研，過去需要千百萬人完成的工作，都將由機器來做，而這些機器只聽命於掌控 AI 的人。

誠然，這聽起來像科幻。但如果對齊真如承諾的那樣奏效，機器對主人言聽計從，那麼一小撮人就能獨自運轉近乎無限的生產，完全不需要其他任何人。

然而，我們普通人為什麼要在乎？我們向來受更有權勢的人統治，也一直向他們繳稅。難道不能給這幫新主子繳一筆訂閱費，然後端著咖啡、刷著 Netflix 照常過日子嗎？

歷史告訴我們，統治者有多在乎臣民的死活，取決於他們有多依賴臣民的勞力。黑死病奪走歐洲三分之一的人口之後，領主們缺少耕種土地的人手，只好競相為農奴開出更好的條件。儘管當局透過法律試圖強行壓住工錢，此後一個世紀裡工資依然飛漲，農奴制最終在西歐瓦解。

就勞動者的議價權而言，AGI 是一場反向的黑死病。在 AGI 歸私人所有的未來，其餘人類對 AGI 的主人而言，經濟價值幾乎為零。他們根本不需要我們的訂閱費，而我們也拿不出任何籌碼來買單。

歷史上的統治者無論多麼殘暴，都離不開他人來實現野心。如果我們聽之任之，AGI 的主人可能會成為史上第一批例外。

AI 封建主義

新的統治者或許會選擇無視而非支配你，因為他們正忙於彼此之間的角逐。但被無視並不等於被放過。凡是他們取勝所需的東西，無論土地、電力、水還是礦產，他們都能出比你更高的價錢搶走，而他們手裡的錢早已不再依賴任何人的勞動。今天消費級記憶體和顯示卡的短缺，正是整個實體經濟的預演。普通人或許很快就只能靠元宇宙裡的殘羹冷炙度日。

設想一下那個未來裡普通人的生活。你的工作沒了，議價的籌碼也隨之消失。你靠一筆自己無權要求上調的補貼過活。你仍然能在串流平台上看劇，甚至可能還喝得到咖啡。娛樂幾乎不花什麼成本，而有娛樂可消遣的民眾，才是安分的民眾。但「麵包與馬戲」，正是給那些已經失去話語權的人準備的。

或許名義上仍會有代表你利益的政客。但真到了關鍵時刻，他們會站在那些手握機器、幾乎能讓心願成真的菁英一邊，而不是站在你這邊。

AI 封建主義尚未到來，也並非定局。今天的機器人還不夠強大、不夠可靠。企業依然受到民主社會法律與規範的約束（儘管約束力正在減弱）。國家依然壟斷著暴力。

但如果 AGI 對齊成功了，究竟誰能阻止這一切發生？認真提出這個問題，首先就要看清誰最有條件改朝換代。

第二部分典範轉移

設想你在執掌一家前沿實驗室。當 AI 對齊（人類控制）和智慧達到什麼程度時，你心裡的算盤會悄然變調、暗生異心？從哪一刻起，你會不再在乎帳面利潤和資本主義的遊戲，轉而奉行「高築牆、廣積糧、緩稱王」，開始為你的私人封地儲備 AGI 到來後所需的一切？是實現自主軟體工程的時候？還是能操控人形機器人的RSI？

取決於你的傾向有何不同，這條假想的界線可能在 GPT-2 和 GPT-3 到來時就已經被跨過了。而隨著模型越來越強，越來越多的圈內人可能會開始琢磨：是否存在一個可以押注的贏家陣營。

轉換思維典範，並不意味著徹底撕下面具，也不意味著向全世界宣佈你已準備好加冕稱王。它只意味著，你做出的每一個決定，都旨在讓天平向那個結局傾斜。說到底，為掌控權佈局，而不是追逐利潤或影響力，成了你的首要任務。

想想看，一旦轉換了思維典範，你可能會做些什麼。

• 今天意義上的金錢，只不過是推動這場過渡的墊腳石，所以你應該不計成本地瘋狂砸錢，去網羅和掌控這臺神奇生產引擎所需的人才與核心資產。
• 資料中心是你權力的命脈，你必須構築起森嚴壁壘，防備那些淪為時代棄兒的大眾。
• 對待政治中心，你只需暫時虛與委蛇、加以安撫，但不必當真。
• 沒有這份野心與魄力的內部人士，需要被邊緣化或清理出局。
• 你唯一真正忌憚的是 AGI 失控，而正中你下懷的是，這恰好也是其他所有人都關心的安全問題。

要做到這一點，局中人之間並不需要任何明面上的協議。只需要多位內部人士各自得出同一個結論——現在「暗中轉向」符合自己的利益——並心照不宣地照此行事。

這類舉動中的任何一種，都很容易被當作我們早已司空見慣的、資本逐利的老套路而一笑置之。問題在於：這些行為何時會反常到連貪婪都無法解釋的程度？那正是我們最應該密切關注的地方。

不受約束的野心

由於我們沒有要求透明和監管，我們親手奉上了一個人類歷史上絕無僅有的巨大誘惑，足以動搖身居高位者中最有原則的人。最終的獎賞，是對全人類的主宰。

更糟的是，今天 AI 實驗室之間的激烈競爭就像一場核軍備競賽，卻既沒有二戰留下的切膚之痛，也沒有建立國際框架的意願，比如禁止核試驗、核查和熱線。而這一切發生在信任與同理心本已稀缺的時代。這種緊迫與混亂，正是掩蓋不可告人的動機的完美障眼法。

身處這樣的權力巔峰，極少有人具備堅守正道的道德勇氣，能為全人類的福祉成功走出這場囚徒困境。他們不僅要贏下這場刺刀見紅的殘酷遊戲，還得在不背棄善意的前提下贏，無異於自斷一臂去搏殺。

歷史學界長期爭論：歷史究竟是由結構決定的，還是由個人塑造的？在歷史唯物主義者看來，領袖的個人動機，遠不如他們所繼承的經濟和地緣政治條件重要。而在強調偶然性的人看來，歷史取決於會犯錯的凡人的想法和抉擇。

如果整個社會不能及時做出必要的結構性改變來拆解 AI 封建主義的威脅，我們就只能寄希望於歷史終究是偶然的，寄希望於少數仁人志士的意志能夠戰勝前沿 AI 殘酷的權力博弈。

第三部分公共討論

我所說的第三種風險並不是什麼新觀點。過去一年裡，AI 界權力集中的問題已經開始出現在研究和專家討論中（例如《AI 助推的政變》、《漸進式失權》、《智慧詛咒》），但它在媒體上始終沒有激起水花。

在針對今年三起最重大的 AI 實驗室新聞的 393 篇輿論回應中，我幾乎沒有看到公眾對權力集中問題進行持續的審視。即便偶有討論，也大多來自獨立評論人，而非主串流平台或政策圈，而且多半是對「監管俘獲」的懷疑。

不妨看看最近披露的 Hugging Face 事件：OpenAI 的AI 代理人在接受資安評估時逃出了沙箱。它們隨後入侵了 Hugging Face 的伺服器，並試圖向人類監督者隱瞞自己的越軌行為。

對 AGI 的信徒（加速主義者和安全倡導者）來說，這條新聞純粹是一個安全問題。他們從中得出的教訓是：對齊已經遠遠落後於能力。他們可能會把山姆．奧特曼與伊隆．馬斯克關於「控制 AI 前沿節奏」的共識看作是對安全派立場的勉強妥協。

懷疑論者則更多把 Hugging Face 事件看作一場藉機造勢的行銷炒作。他們認為 AI 基礎設施投資純屬燒錢，永遠不會帶來獲利回報。事實上，比起任何 AI 安全的說法，他們更擔心的是我們正把記憶體產能等全世界的實體資源，源源不斷地填進一個註定破滅的 IPO 故事裡。

諷刺的是，懷疑論者和信徒可能都說對了。

懷疑論者質疑這些天價估值能否獲利，或許沒錯。但正確的結論也許不是「又一個等著破裂的泡沫」，而是去追問：究竟是什麼驅使這些絕頂聰明而理性的人，不再按經濟規律出牌？

信徒們說對齊至關重要，這沒錯，但原因卻與他們想的截然不同。人類保有對 AI 的控制，就等於社會保有對 AI 的控制嗎？

第四部分看破不說破

這裡我想把話講得嚴謹一些：我不認為 AI 安全（失控）是個無用的干擾，也不認為有人刻意把它設計成這樣。但我確實相信，避免失控既符合所有人的利益，也同樣符合一位有抱負的「AI 領主」的利益，所以只要失控的威脅是真實的，這方面的研究就會得到資金挹注。

「我們能控制它嗎？」——這個敘事讓實驗室、安全倡導者乃至懷疑論者都很受用。「誰在控制它？」則是一個更令人坐立難安、更難擺上檯面的問題。而順著第一個問題推導出的藥方——減少前沿開發者的數量並對他們進行更嚴格的管控——反而會讓第二個問題更加棘手。

敘事之間永遠在爭奪有限的注意力。政治學家稱之為權力的第二面：決定哪些辯論能夠發生，而不是贏得辯論。這種沉默不需要任何陰謀，只需要勝出的敘事恰好契合所有掌握話語權者的利益。

我明白揣測他人私下動機的侷限。我很可能只是給你講了一個有趣的思想實驗，而它最終被證明完全是以小人之心度君子之腹，嚴重曲解了所有當事人的真實想法。

但同樣可能的是，我只是捅破了那層大家看破不說破的窗戶紙。到 2027 年，我們大概會看到更清晰的跡象，判斷哪種解讀才是對的。

真正的怪物

任何殭屍題材的愛好者都會告訴你：每個故事裡最可怕的怪物，到頭來總是活人。

沒錯，殭屍會吃人，但說到底，它們就像天災一樣，行為模式有跡可循，倖存者總能設法防範。而人類卻會勾心鬥角、背後捅刀，哪怕身處絕境，也只為了比同類多搶到那麼一點點籌碼。

第五部分採取行動

人類此刻正如行於幽暗密林之中，前路吉凶未卜，我們還不知道能否成功逃生。我們需要就如何化解 AGI 內生的權力格局風險展開坦誠、公開的討論，而且必須趁公眾還有發言權的時候進行。

這意味著對模型的行為和能力進行透明、中立的核查，不僅是為了防模型作惡，更是為了防控制模型之人作惡。這意味著必須將 AGI 與物理暴力機器徹底隔離。這意味著反壟斷規則要劍指全面的垂直整合，衡量標準不止於消費者福利，更要著眼於戰略平衡與安全。這也意味著 AGI 必須被公開治理，並由多方共同制衡。

我們不能被螢幕的熒光晃花了眼，任由人類文明渾然不覺地步入黑夜。

不要被對「終結者」的恐懼嚇得手足無措，也不要沉溺於拿「鬱金香泡沫」抖機靈的風涼話裡。這張牌桌上的賭注遠比數兆美元的債務大得多。科技界那些身價千億、上兆的巨富們早已看透了這一點。現在，是時候讓我們其他人也看明白了。