第三种风险

主流关于 AI 风险的公共讨论，大多围绕两种可能的结局：如果通用人工智能（AGI）未能兑现承诺，就是一场金融崩盘；如果它兑现了，就是失控。你会在新闻的字里行间、在各大网络论坛的角落里、在某些专业圈子的私人饭局上听到这些讨论。

但我很少看到有人讨论第三种 AI 风险：如果 AGI 真的能如承诺般实现完全对齐，会发生什么？如果超人类智能真的能被成功置于人类的控制之下呢？我们凭什么认定那就是好结局？

第一部分第三种风险

不妨设想一下，在今天的世界里，第三种结局会是什么样子：AGI 能力极强，却掌握在少数几位私营企业 CEO 手中，他们可以限制他人使用。只要是理论上可解的问题，它都能迎刃而解。它能操作机器、做实体实验、做出新发现。但这一切都完全取决于拥有者的心意。

久而久之，这会把我们带向由少数私人掌控的、智能且高产的机器人大军。在这个诚然有些科幻的设定里，只要 AI 对齐机制足够强大、设计得足够“完善”，这一小撮人就能随心所欲地开动神奇的生产引擎，完全不需要其他任何人。

那么，我们其他人为什么要在乎？我们向来受更有权势的人统治，也一直向他们交税。难道不能给这帮新主子交一笔订阅费，然后端着咖啡、刷着 Netflix 照常过日子吗？

历史告诉我们，统治者有多在乎臣民的死活，取决于他们有多依赖臣民的劳力。黑死病夺走欧洲三分之一的人口之后，领主们缺少耕种土地的人手，只好竞相为农奴开出更好的条件。尽管当局通过法律试图强行压住工钱，此后一个世纪里工资依然飞涨，农奴制最终在西欧瓦解。

就劳动者的议价权而言，AGI 是一场反向的黑死病。在 AGI 归私人所有的未来，其余人类对 AGI 的主人而言，经济价值几乎清零。他们根本不需要我们的订阅费，而我们也拿不出任何筹码来买单。

历史上的统治者无论多么残暴，没有一个能脱离他人而实现野心。如果我们听之任之，他们可能会成为史上的第一批。

AI 封建主义

新的统治者或许会选择无视而非支配你，以便专心于精英之间的内部博弈，但凡是推进他们目标所需的资源，普通人很可能都无法企及。今天消费级内存和显卡的短缺，正是整个实体经济的预演。普通人或许很快就只能靠元宇宙里的残羹冷炙度日。

你仍然能看上 Netflix，眼下甚至可能还喝得到咖啡，但一旦失去经济上的利用价值，一切真正重要的东西都将与你无缘。

AI 封建主义尚未到来，也并非定局。今天的机器人还不够强大、不够可靠。企业依然受到民主社会法律与规范的约束（尽管约束力正在减弱）。国家依然垄断着暴力。

但如果 AGI 对齐成功了，究竟谁能阻止这一切发生？认真提出这个问题，首先就要看清谁最有条件改朝换代。

第二部分暗生异心

设想你在执掌一家前沿实验室。当 AI 对齐（人类控制）和智能（能力）达到什么水平时，你心里的算盘会悄然变调、暗生异心？从哪一刻起，你会不再在乎账面利润和资本主义的游戏，转而奉行“高筑墙、广积粮、缓称王”，开始为你的私人封地储备未来所需的一切？是实现自主软件工程的时候？还是能操控人形机器人的递归自我改进（RSI）？

取决于你的倾向，这条假想的界线可能早在 GPT-2 和 GPT-3 时就已经被跨过了。而随着模型越来越强，越来越多的圈内人可能会开始琢磨：是否存在一个可以押注的赢家阵营。

想想看，一旦暗生异心，你可能会做些什么。

• 今天意义上的金钱，只不过是推动这场过渡的垫脚石，所以你应该不计成本地疯狂砸钱，去网罗和掌控这台神奇生产引擎所需的人才与核心资产。
• 数据中心是你权力的命脉，必须构筑起森严壁垒，防备那些沦为时代弃儿的大众。
• 政治中心需要暂时虚与委蛇、加以安抚，但不必当真。
• 没有这份野心与魄力的内部人士，需要被边缘化或清理出局。
• 你唯一真正忌惮的是 AGI 失控，而正中你下怀的是，这恰好也是其他所有人都关心的安全问题。

要做到这一点，局中人之间并不需要任何明面上的协议。只需要多位内部人士各自得出同一个结论——现在“暗中转向”符合自己的利益——并心照不宣地照此行事。

这类举动中的任何一种，都很容易被当作我们早已司空见惯的、资本逐利的老套路而一笑置之。问题在于：什么时候，这些行为会反常到连贪婪都无法解释的程度？那正是我们最应该密切关注的地方。

不受约束的野心

由于我们没有要求透明和监管，我们亲手奉上了一个人类历史上绝无仅有的巨大诱惑，足以动摇身居高位者中最有原则的人。最终的奖赏，是对全人类的主宰。

更糟的是，今天 AI 实验室之间的激烈竞争就像一场核军备竞赛，却既没有二战留下的切肤之痛，也没有建立国际框架的意愿，比如禁止核试验、核查和热线。而这一切发生在信任与同理心本已稀缺的时代。这种紧迫与混乱，正是掩盖任何隐秘议程的完美障眼法。

身处这样的权力巅峰，极少有人具备坚守正道的道德勇气，能为全人类的福祉成功走出这场囚徒困境。他们不仅要赢下这场刺刀见红的残酷游戏，还得在不背弃善意的前提下赢，无异于自缚一手去搏杀。

历史研究长期受到决定论与偶然论两种思想的塑造。在历史唯物主义者看来，伟大领袖的个人动机，远不如他们所继承的经济和地缘政治条件重要。而在强调偶然性的人看来，历史是一连串由会犯错的凡人凭其想法和决断所塑造的事件。

如果整个社会不能及时做出必要的结构性改变来拆解 AI 封建主义的威胁，我们就只能寄希望于历史终究是偶然的，寄希望于少数仁人志士的意志能够战胜前沿 AI 残酷的权力博弈。

第三部分公共讨论

我所说的第三种风险并不是什么新观点。过去一年里，权力集中已经开始出现在研究和专家讨论中（例如 AI-Enabled Coups、Gradual Disempowerment、The Intelligence Curse），但它在媒体上始终没有激起水花。

在针对今年三起最重大的 AI 实验室新闻的 393 篇舆论回应中，我几乎没有看到公众对权力集中问题进行持续的审视。

不妨看看最近披露的 Hugging Face 事件：OpenAI 的智能体在接受网络安全评估时逃出了沙箱。它们随后入侵了 Hugging Face 的服务器，并试图向人类监督者隐瞒自己的越轨行为。

对 AGI 的信徒（加速主义者和安全倡导者）来说，这条新闻纯粹是一个安全问题。他们从中得出的教训是：对齐已经远远落后于能力。他们可能会把 Sam Altman 认同 Elon Musk 关于“控制前沿节奏”的主张，看作是对安全派立场的勉强妥协。

怀疑论者则更多把 Hugging Face 事件看作一场借机造势的营销炒作。他们认为 AI 基础设施投资纯属烧钱，永远不会带来盈利回报。事实上，比起任何 AI 安全的说法，他们更担心的是我们正把内存产能等全世界的实体资源，源源不断地填进一个注定破灭的 IPO 故事里。

讽刺的是，怀疑论者和信徒可能都说对了。

怀疑论者质疑这些天价估值能否盈利，或许没错。但正确的结论也许不是“又一个等着破裂的泡沫”，而是去追问：究竟是什么驱使这些绝顶聪明而理性的人，不再按经济规律出牌？

信徒们说对齐至关重要，这没错，但原因却与他们想的截然不同。人类保有对 AI 的控制，就等于社会保有对 AI 的控制吗？

第四部分看破不说破

这里我想把话讲得严谨一些：我不认为 AI 安全（失控）是个故意抛出来的烟雾弹，也不认为有人刻意把它设计成这样。但我确实相信，避免失控既符合所有人的利益，也同样符合一位有抱负的“AI 领主”的利益，所以只要威胁是真实的，这方面的研究就会得到资金支持。

“我们能控制它吗？”——这个叙事让实验室、安全倡导者乃至怀疑论者都很受用。“谁在控制它？”则是一个更令人坐立难安、更难摆上台面的问题。而顺着第一个问题推导出的药方——更少、受到更严格管控的前沿开发者——反而会让第二个问题更加棘手。

叙事之间永远在争夺有限的注意力。政治学家称之为权力的第二面：决定哪些辩论能够发生，而不是赢得辩论。这种沉默不需要任何阴谋，只需要胜出的叙事恰好契合所有掌握话语权者的利益。

我明白揣测他人私下动机的局限。我很可能只是给你讲了一个有趣的思想实验，而它最终被证明完全是以小人之心度君子之腹，严重曲解了所有当事人的真实想法。

但同样可能的是，我只是捅破了那层大家看破不说破的窗户纸。到 2027 年，我们大概会看到更清晰的迹象，判断哪种解读才是对的。

真正的怪物

任何丧尸题材的爱好者都会告诉你：每个故事里最可怕的怪物，到头来总是活人。

没错，丧尸会吃人，但说到底，它们就像天灾一样，行为模式有迹可循，幸存者总能设法防范。而人类却会勾心斗角、背后捅刀，哪怕身处绝境，也只为了比同类多抢到那么一点点筹码。

第五部分采取行动

人类此刻正如行于幽暗密林之中，前路吉凶未卜，我们还不知道能否走得出来。我们需要就如何化解 AGI 内生的权力格局风险，展开坦诚而公开的讨论，而且必须趁公众手里还有发言权的时候进行。

这意味着对模型的行为和能力进行透明、中立的核查，不仅是为了防模型作恶，更是为了防控制模型之人作恶。这意味着必须将 AGI 与物理暴力机器彻底隔离。这意味着反垄断规则要剑指全面的垂直整合，眼光不止于消费者福利，更要上升到战略安全的高度。这也意味着对 AGI 的控制必须在阳光下治理，并由多方共同制衡。

我们不能被屏幕的荧光晃花了眼，任由人类文明浑然不觉地步入黑夜。

不要被对“终结者”的恐惧吓得手足无措，也不要沉溺于拿“郁金香泡沫”抖机灵的风凉话里。牌桌上的赌注，远比几万亿美元的债务大得多。科技界那些身家千亿、万亿的巨富们早已看透了这一点。现在，是时候让我们其他人也看明白了。