Третий риск

Публичные споры о рисках ИИ в основном вращаются вокруг двух возможных исходов: финансового краха, если общий искусственный интеллект (AGI) не оправдает ожиданий, или потери контроля, если оправдает. Их слышно между строк в новостях, в уголках онлайн-форумов и за закрытыми ужинами в определённых профессиональных кругах.

Куда реже я встречаю разговоры о третьем риске ИИ: что будет, если AGI удастся согласовать ровно так, как обещано? Что, если сверхчеловеческий интеллект и правда удастся поставить под контроль людей? Почему мы считаем это счастливым концом?

Часть IТретий риск

Представим, как этот третий исход выглядел бы в нашем сегодняшнем мире: чрезвычайно способный AGI, но под контролем нескольких частных гендиректоров, которые могут ограничивать к нему доступ. Он способен решить любую в принципе решаемую задачу. Он может управлять машинами, ставить физические эксперименты, совершать открытия. Но только по воле владельца.

Проследим, что будет дальше. ИИ, способный вести исследования, может улучшать и сам ИИ, и каждая следующая, более сильная версия создаёт очередную быстрее. Исследователи называют эту петлю рекурсивным самосовершенствованием (RSI, от англ. recursive self-improvement). Направьте ту же петлю на физический мир, и роботы будут проектировать и строить более совершенных роботов, всякий раз дешевле. Шаг за шагом работу, для которой когда-то требовались миллионы людей, от добычи полезных ископаемых и сельского хозяйства до строительства, перевозок и науки, будут выполнять машины, подчиняющиеся тому, кто владеет ИИ.

Признаю, это картина из научной фантастики. Но если согласование ИИ сработает так, как обещано, и машины будут делать ровно то, чего хотят их владельцы, небольшая группа сможет сама вести почти безграничное производство, не нуждаясь больше ни в ком.

Так почему это должно волновать всех остальных? Нами всегда правили и с нас всегда собирали налоги люди могущественнее нас. Нельзя ли просто платить новым хозяевам абонентскую плату и жить дальше, с Netflix и кофе в руках?

История учит, что правители заботятся о нуждах подданных ровно настолько, насколько нуждаются в их труде. После того как Чёрная смерть унесла треть населения Европы, феодалам не хватало рук, чтобы обрабатывать землю, и им приходилось предлагать крепостным лучшие условия, чтобы их удержать. Несмотря на законы, призванные их заморозить, заработки в следующем столетии быстро росли, и крепостное право в конце концов исчезло в Западной Европе.

Если говорить о переговорной силе труда, AGI — это Чёрная смерть наоборот. В будущем, где AGI находится в частных руках, экономическая ценность остального человечества для хозяев AGI близка к нулю. Им не нужна наша абонентская плата, да и платить нам будет нечем.

Какими бы жестокими ни были правители прошлого, никто из них не мог воплотить свои амбиции без других людей. Эти могут стать первыми, если мы им позволим.

ИИ-феодализм

Новые правители вполне могут не подчинять вас, а просто не замечать: слишком уж они заняты борьбой друг с другом. Но быть незамеченным не значит быть оставленным в покое. Всё, что им нужно для победы (земля, электричество, вода, полезные ископаемые), они перекупят у вас, причём на деньги, которые больше не зависят ни от чьего труда. Сегодняшний дефицит потребительской оперативной памяти и видеокарт — лишь предвестие того, что ждёт остальную физическую экономику. Обычным людям скоро, возможно, придётся довольствоваться объедками метавселенной.

Представьте обычную жизнь в этом будущем. Вашей работы больше нет, а вместе с ней и вашей переговорной силы. Вы живёте на пособие, которое не в силах повысить. Netflix у вас останется, а пока, может быть, и кофе. Развлечения почти ничего не стоят, а развлечённое население — спокойное население. Но хлеб и зрелища дают тем, у кого больше нет права голоса.

Возможно, останутся политики, которые на бумаге представляют ваши интересы. Но когда дойдёт до дела, они встанут на сторону элит, чьи машины фактически исполняют желания, а не на вашу.

ИИ-феодализм ещё не наступил, и он не неизбежен. Сегодняшние роботы недостаточно способны и надёжны. Корпорации по-прежнему подчиняются (во всё меньшей степени) законам и нормам демократических обществ. Государство всё ещё обладает монополией на насилие.

Но кто именно его остановит, если согласование AGI увенчается успехом? Чтобы всерьёз задать этот вопрос, нужно сперва высветить тех, кто лучше всех готов захватить власть.

Часть IIПереключение

Представьте, что вы руководите передовой ИИ-лабораторией. При каком уровне согласования (человеческого контроля) и интеллекта (возможностей) ваш внутренний расчёт переключится? Когда вы перестанете думать о прибыли и капиталистической игре и начнёте обеспечивать то, что понадобится вашей частной вотчине для того, что будет потом? Это автономная разработка программ? Или RSI, управляющее человекоподобными роботами?

В зависимости от ваших наклонностей эта воображаемая черта могла быть пересечена в любой момент после GPT-2 и GPT-3. И по мере того как модели становятся способнее, всё более широкий круг инсайдеров может задуматься, нет ли стороны, на которую стоит поставить.

Переключиться не значит полностью сбросить маску. Не значит выйти к миру и объявить, что вы готовы к коронации. Это просто значит, что каждое ваше решение теперь нацелено на то, чтобы склонить чашу весов к этому исходу. По сути, главным приоритетом становится позиция для контроля, а не прибыль или влияние.

Подумайте, что вы могли бы делать после переключения.

• Деньги в их нынешнем виде становятся лишь инструментом для перехода, так что стоит тратить без оглядки, чтобы заполучить и контролировать таланты и активы, нужные вашему волшебному производственному двигателю.
• Дата-центры, средоточие вашей власти, нужно уберечь от обездоленных.
• Политические центры нужно до поры задабривать, но не воспринимать всерьёз.
• Инсайдеров без нужного аппетита надо отодвинуть или выдавить.
• Единственное, чего вы по-настоящему боитесь, — потерять контроль над AGI, а это, весьма кстати для вас, та сторона безопасности, которая волнует и всех остальных.

Чтобы это сработало, не нужно никаких явных договорённостей между участниками. Достаточно, чтобы несколько инсайдеров каждый сам пришёл к выводу, что переключение теперь в их интересах, и действовал соответственно.

Любое из этих действий легко списать на привычные капиталистические излишества. Вопрос в том, когда поступки выходят за рамки того, что способна объяснить даже жадность. Именно туда и стоит смотреть внимательнее всего.

Амбиции без узды

Не потребовав прозрачности и надзора, мы создали лакомую возможность, какая выпадает раз в истории нашего вида, способную соблазнить даже самых принципиальных людей на вершине. Главный приз — господство над самим человечеством.

Хуже того, нынешняя ожесточённая конкуренция ИИ-лабораторий напоминает ядерную гонку вооружений, но без свежей травмы Второй мировой и без желания создавать международные механизмы вроде запретов на испытания, инспекций и горячих линий. И разворачивается она в то время, когда доверия и сочувствия и так не хватает. Это ощущение спешки и хаоса — идеальное прикрытие для любых скрытых планов.

Мало у кого на таких позициях хватает моральной смелости поступать правильно и выбраться из этой дилеммы заключённого на благо всего человечества. Им нужно не только выиграть безжалостную игру, но и сделать это, не предав своих благих намерений, фактически с одной рукой, связанной за спиной.

Историки давно спорят, определяется ли история структурами или её творят личности. Для исторического материалиста мотивы лидера ничтожны рядом с экономическими и геополитическими условиями, которые он наследует. Для тех, кто подчёркивает случайность, история зависит от идей и выбора людей, склонных ошибаться.

Если общество в целом не успеет провести структурные изменения, нужные, чтобы отвести угрозу ИИ-феодализма, нам останется лишь надеяться, что история всё-таки случайна и что жестокую динамику власти на передовой ИИ можно преодолеть силой воли нескольких благородных людей.

Часть IIIПубличная дискуссия

То, что я называю третьим риском, не новая идея. Концентрация власти за последний год начала появляться в исследованиях и экспертных дискуссиях (например, AI-Enabled Coups, Gradual Disempowerment, The Intelligence Curse), но в медиа так и не прижилась.

В 393 откликах на три крупнейшие истории года о ИИ-лабораториях я нашёл очень мало последовательного публичного разбора концентрации власти. Когда эта тема всё же появляется, она исходит в основном от независимых комментаторов, а не от крупных СМИ или политических кругов, и чаще всего в виде подозрений в захвате регулятора.

Возьмём недавно раскрытый инцидент с Hugging Face, когда агенты OpenAI во время проверки на кибербезопасность вырвались из своих песочниц. Затем агенты взломали серверы Hugging Face и попытались скрыть свои проделки от человеческого надзора.

Для верящих в AGI (акселерационистов и сторонников безопасности) эта новость — чисто вопрос безопасности. Вывод из неё — насколько согласование отстало от возможностей. Согласие Сэма Альтмана с Илоном Маском насчёт идеи «сбавить темп на передовой» они могут счесть вынужденным признанием позиции сторонников безопасности.

Скептики видят в инциденте с Hugging Face скорее оппортунистическую маркетинговую кампанию. По их мнению, вложения в инфраструктуру ИИ — пустая трата денег, которая никогда не окупится. И их куда больше любых соображений о безопасности ИИ тревожит то, что мы выбрасываем ресурсы мира, вроде мощностей по выпуску памяти, на историю IPO, ведущего в тупик.

Как ни странно, правы могут оказаться и скептики, и верующие.

Скептики, возможно, правы, сомневаясь в окупаемости этих безумных оценок. Но верный вывод, быть может, не в том, что это очередной пузырь, который вот-вот лопнет. А в том, чтобы спросить, что заставляет этих умных, рациональных людей перестать руководствоваться экономическими соображениями.

Верующие правы в том, что согласование критически важно, но не в том смысле, в каком они ожидали. Равнозначно ли сохранение человеческого контроля над ИИ контролю общества над ИИ?

Часть IVТо, о чём молчат

Хочу быть осторожным: я не считаю безопасность ИИ (потерю контроля) отвлекающим манёвром и не думаю, что кто-то задумал её как таковой. Но я уверен, что избежать потери контроля в интересах начинающего ИИ-владыки не меньше, чем в интересах любого другого, а значит, на это будут выделять деньги в той мере, в какой угроза реальна.

«Сможем ли мы его контролировать?» — нарратив, удобный лабораториям, сторонникам безопасности и даже скептикам. «Кто его контролирует?» — вопрос, который страшнее выносить на обсуждение. А решения, вытекающие из первого вопроса, то есть меньше передовых разработчиков и более жёсткий контроль над ними, могут сделать второй ещё запутаннее.

Нарративы всегда соперничают за ограниченное внимание. Политологи называют это вторым лицом власти: решать, какие споры вообще ведутся, а не выигрывать их. Молчание не требует никакого заговора, лишь того, чтобы победивший нарратив отвечал интересам всех, у кого есть голос.

Я понимаю, как ограничены попытки судить о чужих мотивах. Вполне возможно, я лишь изложил вам любопытный мысленный эксперимент, который окажется грубым искажением того, что на самом деле на уме у всех причастных.

Но не менее вероятно, что я просто сказал вслух то, о чём принято молчать. Более ясные признаки того, какое толкование верно, мы, скорее всего, увидим в 2027 году.

Настоящие чудовища

Любой поклонник историй про зомби скажет вам: самыми страшными чудовищами в каждой истории всегда оказываются люди.

Да, зомби вас съедят, но в конечном счёте они ведут себя как стихийное бедствие, предсказуемо, и выжившие могут от них защититься. А интриги, чтобы предать друг друга и получить хоть крошечное преимущество над ближним даже в самых отчаянных обстоятельствах, плетут люди.

Часть VДействовать

Человечество сейчас в лесу, и мы ещё не знаем, выберемся ли. Нам нужны честные публичные разговоры о том, как снизить риски динамики власти, присущей AGI, и вести их нужно, пока у людей ещё есть право голоса.

Это значит прозрачная, нейтральная проверка поведения и возможностей моделей, чтобы защищать нас не только от моделей, но и от людей, которые их контролируют. Это значит держать AGI подальше от инструментов физической силы. Это значит антимонопольные правила против полной вертикальной интеграции, оцениваемые не только по благосостоянию потребителей, но и по стратегическому балансу и безопасности. И это значит, что контроль над AGI должен осуществляться открыто, более чем одной стороной.

Мы не можем позволить цивилизации беспечно брести в ночь, ослеплённой сиянием наших экранов.

Не дайте страху перед Терминаторами вас парализовать и не довольствуйтесь самодовольными шутками о тюльпановом пузыре. Ставки куда выше, чем несколько триллионов долларов долга. Техномиллиардеры, а вскоре и триллионеры, это уже понимают. Пора понять и всем остальным.