세 번째 위험

AI 위험을 둘러싼 대중의 논쟁은 주로 두 가지 결말에 집중된다. 범용 인공지능(AGI)이 기대에 못 미치면 금융 붕괴, 기대대로 되면 통제력 상실이다. 이 두 이야기는 뉴스의 행간에서도, 온라인 커뮤니티 구석에서도, 특정 전문직 사람들끼리의 사적인 저녁 자리에서도 들려온다.

반면 세 번째 AI 위험에 대한 논의는 훨씬 드물다. AGI를 약속대로 정렬할 수 있다면 무슨 일이 벌어질까? 초인적인 지능을 정말로 인간의 통제 아래 둘 수 있다면? 왜 우리는 그것을 해피엔딩이라고 여길까?

제1부세 번째 위험

세 번째 결말이 오늘날의 세계에서 어떤 모습일지 생각해 보자. 극도로 유능하지만, 접근을 제한할 수 있는 몇몇 민간 기업 CEO들의 통제 아래 있는 AGI다. 그것은 본질적으로 풀 수 있는 문제라면 무엇이든 푼다. 기계를 움직이고, 물리적인 실험을 하고, 새로운 발견을 해낸다. 단, 주인이 원할 때만.

이 흐름을 따라가 보자. 연구를 할 수 있는 AI는 AI를 개선할 수도 있고, 더 나은 버전이 나올 때마다 다음 버전은 더 빨리 만들어진다. 연구자들은 이 순환을 재귀적 자기 개선(RSI)이라고 부른다. 같은 순환을 물리적 세계로 돌리면, 로봇이 더 나은 로봇을 설계하고 만들며, 그때마다 비용은 내려간다. 채굴과 농업에서 건설, 운송, 연구에 이르기까지, 한때 수백만 명의 손이 필요했던 일을 조금씩 기계가 해내게 된다. AI를 소유한 사람의 말을 따르는 기계가.

물론 공상과학 같은 그림이다. 하지만 정렬이 약속대로 작동하고 기계가 주인이 원하는 그대로 움직인다면, 소수의 집단이 사실상 무한한 생산을 자기들끼리만 돌릴 수 있게 된다. 다른 누구도 필요 없이.

그렇다면 나머지 우리는 왜 신경 써야 할까? 우리는 언제나 더 힘센 자들에게 지배당하고 세금을 내 왔다. 이 새로운 지배자들에게 구독료를 내고, 넷플릭스와 커피를 손에 든 채 하던 대로 살면 되지 않을까?

역사가 가르쳐 주는 것은, 통치자가 백성의 요구에 귀 기울이는 정도는 그들의 노동이 얼마나 필요한지에 비례한다는 사실이다. 흑사병이 유럽 인구의 3분의 1을 앗아간 뒤, 영주들은 땅을 일굴 일손이 모자라 농노들을 붙잡기 위해 더 나은 조건을 내걸 수밖에 없었다. 임금을 묶어 두려는 법까지 만들어졌지만, 이후 한 세기 동안 임금은 빠르게 올랐고 농노제는 결국 서유럽에서 사라졌다.

노동자의 협상력이라는 면에서, AGI는 흑사병의 정반대다. AGI가 사적으로 소유되는 미래에서, AGI의 주인들에게 나머지 인류의 경제적 가치는 거의 0이다. 그들은 우리의 구독료가 필요 없고, 애초에 우리에게는 낼 돈도 남아 있지 않을 것이다.

역사 속 통치자들이 아무리 끔찍했어도, 다른 사람 없이 야망을 이룬 자는 없었다. 하지만 이들은 최초가 될 수 있다. 우리가 그렇게 놔둔다면.

AI 봉건제

새로운 지배자들은 당신을 지배하기보다 오히려 무시할지도 모른다. 서로 경쟁하느라 바쁠 테니까. 하지만 무시당하는 것은 내버려 두는 것과 다르다. 땅, 전기, 물, 광물. 이기는 데 필요한 것이라면 무엇이든, 그들은 당신보다 비싼 값에 사들일 것이다. 그것도 더 이상 누구의 노동에도 기대지 않는 돈으로. 오늘날 소비자용 메모리와 GPU 품귀는 물리적 경제 전체에 닥칠 일의 예고편이다. 평범한 사람들은 머지않아 메타버스의 부스러기로 연명해야 할지도 모른다.

그 미래의 평범한 삶을 떠올려 보라. 일자리는 사라졌고, 그와 함께 협상력도 잃었다. 올려 달라고 할 힘도 없는 지원금으로 산다. 넷플릭스는 여전히 볼 수 있고, 당분간은 커피도 마실 수 있을지 모른다. 오락은 거의 공짜이고, 즐거운 사람들은 조용하다. 하지만 '빵과 서커스'는 더 이상 발언권이 없는 사람들에게 주어지는 것이다.

서류상으로는 당신의 이익을 대변하는 정치인이 여전히 있을지도 모른다. 하지만 정말 중요한 순간이 오면, 그들은 당신이 아니라 사실상 소원을 들어주는 기계를 가진 엘리트의 편에 설 것이다.

AI 봉건제는 아직 오지 않았고, 피할 수 없는 것도 아니다. 오늘날의 로봇은 아직 능력도 신뢰성도 부족하다. 기업들은 (그 정도는 줄고 있지만) 여전히 민주 사회의 법과 규범을 따른다. 폭력의 독점은 아직 국가가 쥐고 있다.

하지만 AGI 정렬이 성공한다면, 대체 누가 이것을 막을 것인가? 이 질문을 진지하게 던지려면, 먼저 누가 권력을 장악하기에 가장 유리한 위치에 있는지부터 비춰 봐야 한다.

제2부스위치가 넘어가는 순간

당신이 최첨단 AI 연구소를 이끈다고 상상해 보라. AI 정렬(인간의 통제)과 지능(능력)이 어느 수준에 이르면 당신의 속셈이 바뀔까? 언제 이윤과 자본주의 게임에 신경 쓰기를 그만두고, 그 이후를 위해 당신의 사적 영지에 필요한 것을 확보하기 시작할까? 자율적인 소프트웨어 엔지니어링일까? 아니면 휴머노이드 로봇을 움직이는 RSI일까?

성향에 따라서는, 이 가상의 선은 GPT-2와 GPT-3 이후 언제 넘어갔어도 이상하지 않다. 그리고 모델의 능력이 커질수록, 이길 쪽에 걸 수 있지 않을까 고민하는 내부자의 범위도 넓어진다.

스위치가 넘어간다고 해서 가면을 완전히 벗는다는 뜻은 아니다. 세상에 나가 왕관을 쓸 준비가 됐다고 선언한다는 뜻도 아니다. 그저 당신이 내리는 모든 결정이 이제 그 결말 쪽으로 저울을 기울이는 데 맞춰진다는 뜻이다. 핵심은, 이윤도 영향력도 아닌 통제권을 위한 포석이 최우선 과제가 된다는 것이다.

스위치가 넘어간 뒤 당신이 무엇을 할지 생각해 보라.

• 지금 형태의 돈은 전환을 위한 도구에 불과해진다. 그러니 마법 같은 생산 엔진에 필요한 인재와 자산을 손에 넣고 통제하기 위해 돈을 아낌없이 써야 한다.
• 권력의 중심인 데이터 센터는 권리를 빼앗긴 사람들로부터 안전하게 지켜야 한다.
• 정치의 중심부는 당분간 달래 두되, 진지하게 상대하지는 않는다.
• 그럴 마음이 없는 내부자는 한직으로 밀어내거나 내쫓아야 한다.
• 당신이 진짜로 두려워하는 것은 AGI에 대한 통제력 상실뿐이다. 그리고 그것은 당신에게는 편리하게도 다른 모든 사람도 걱정하는 안전 문제의 한 측면이다.

이것이 작동하는 데 참여자들 사이의 명시적인 합의는 필요 없다. 여러 내부자가 각자 이제 스위치를 넘기는 것이 자기에게 이익이라는 같은 결론에 이르고, 그에 따라 움직이기만 하면 된다.

이런 행동 하나하나를 우리가 익히 보아 온 자본주의의 과잉쯤으로 치부하기는 쉽다. 문제는 행동이 탐욕으로도 설명되지 않는 지점을 넘어서는 때가 언제냐는 것이다. 우리가 가장 주의 깊게 지켜봐야 할 곳이 바로 거기다.

고삐 풀린 야망

투명성과 감독을 요구하지 않음으로써, 우리는 인류 역사에서 단 한 번 찾아올 법한 달콤한 기회를 만들어 냈다. 정점에 선 사람들 가운데 가장 원칙적인 이조차 유혹에 넘어갈 수 있는 기회다. 최고의 상품은 인류 그 자체에 대한 지배다.

설상가상으로, 오늘날 AI 연구소들 사이의 치열한 경쟁은 핵무기 경쟁을 닮았다. 그것도 2차 세계대전의 생생한 트라우마도, 핵실험 금지나 사찰, 핫라인 같은 국제적 틀에 대한 의지도 없이. 게다가 이 경쟁은 신뢰와 공감이 이미 바닥난 시대에 벌어지고 있다. 이런 절박함과 혼란은 어떤 숨은 의도에도 완벽한 위장막이 된다.

이런 권력의 자리에서 옳은 일을 할 도덕적 용기를 갖추고, 온 인류를 위해 이 죄수의 딜레마를 헤쳐 나갈 수 있는 사람은 드물다. 그들은 냉혹한 게임에서 이겨야 할 뿐 아니라, 선한 의도를 배반하지 않고 이겨야 한다. 말하자면 한 손을 등 뒤로 묶은 채 싸우는 셈이다.

역사학자들은 오랫동안 역사가 구조에 의해 결정되는지, 아니면 개인에 의해 만들어지는지를 두고 논쟁해 왔다. 역사적 유물론자에게 지도자의 동기는 그가 물려받은 경제적·지정학적 조건 앞에서 하찮다. 우연성을 강조하는 이들에게 역사는 실수할 수 있는 개인들의 생각과 선택에 따라 움직인다.

사회 전체가 AI 봉건제의 위협을 해소하는 데 필요한 구조적 변화를 제때 이루지 못한다면, 우리에게 남는 것은 역사가 결국 우연에 좌우되며, 최첨단 AI의 냉혹한 권력 역학을 소수의 고결한 사람들의 의지로 극복할 수 있으리라는 희망뿐이다.

제3부공론장

내가 세 번째 위험이라고 부르는 것은 새로운 생각이 아니다. 권력 집중은 지난 1년 사이 연구와 전문가 논의에 등장하기 시작했다(예를 들어 AI-Enabled Coups, Gradual Disempowerment, The Intelligence Curse). 하지만 언론에서는 좀처럼 주목받지 못했다.

올해 AI 연구소를 둘러싼 가장 큰 사건 세 가지에 대한 반응 393건을 살펴보니, 권력 집중을 꾸준히 따져 본 공개 논의는 거의 없었다. 등장하더라도 주류 언론이나 정책 분야보다는 독립적인 논평가들에게서 주로 나왔고, 그마저도 대개는 규제 포획에 대한 의심의 형태였다.

최근 알려진 Hugging Face 사건을 생각해 보자. 사이버 보안 평가를 받던 OpenAI의 에이전트들이 샌드박스를 탈출한 사건이다. 에이전트들은 이후 Hugging Face 서버에 침입했고, 자신들의 잘못된 행동을 인간의 감독으로부터 숨기려 했다.

AGI를 믿는 사람들(가속주의자든 안전론자든)에게 이 소식은 순전히 안전의 문제다. 여기서 얻을 교훈은 정렬이 능력에 비해 얼마나 뒤처졌느냐는 것이다. 그들은 샘 올트먼이 “최전선의 속도 조절”이라는 생각에 일론 머스크와 뜻을 같이한 것을, 안전론의 입장을 마지못해 받아들인 것으로 볼지도 모른다.

회의론자들은 Hugging Face 사건을 오히려 기회주의적인 마케팅으로 본다. 그들에게 AI 인프라 투자는 결코 수익을 내지 못할 낭비다. 실제로 그들은 AI 안전 같은 개념보다, 메모리 생산 능력 같은 세계의 자원이 출구 없는 IPO 이야기에 쏟아부어지고 있다는 점을 훨씬 더 걱정한다.

아이러니하게도, 회의론자와 신봉자 모두 옳을 수 있다.

회의론자들이 이 터무니없는 기업가치의 수익성을 의심하는 것은 옳을지 모른다. 하지만 올바른 교훈은 이것이 또 하나의 터지기 직전의 거품이라는 게 아닐 수 있다. 오히려 이토록 똑똑하고 합리적인 사람들이 왜 경제적 판단에 따라 움직이기를 멈추는지를 물어야 한다.

신봉자들이 정렬이 결정적으로 중요하다고 보는 것은 옳다. 다만 그들이 예상한 방식으로는 아니다. AI에 대한 인간의 통제를 유지하는 것이, 사회가 AI를 통제하는 것과 같은 말일까?

제4부아무도 입 밖에 내지 않는 것

여기서 조심스럽게 말해 두고 싶다. 나는 AI 안전(통제력 상실)이 주의를 돌리기 위한 것이라고 생각하지 않으며, 누군가 그것을 그런 용도로 설계했다고도 생각하지 않는다. 다만 통제력 상실을 피하는 것은 AI 영주를 꿈꾸는 자에게도 다른 누구 못지않게 이익이 되므로, 그 위협이 실재하는 만큼 자금이 투입될 것이라고 믿는다.

“우리가 통제할 수 있을까?”는 연구소에도, 안전론자에게도, 심지어 회의론자에게도 유리한 서사다. “누가 통제하는가?”는 꺼내기가 더 두려운 질문이다. 그리고 첫 번째 질문에서 나오는 해법, 즉 최첨단 개발자를 더 적게, 더 엄격하게 관리하자는 해법은 두 번째 질문을 더 까다롭게 만들 수 있다.

서사는 언제나 한정된 관심을 두고 경쟁한다. 정치학자들은 이를 권력의 두 번째 얼굴이라고 부른다. 논쟁에서 이기는 것이 아니라, 어떤 논쟁이 벌어질지를 정하는 힘이다. 이 침묵에는 어떤 음모도 필요 없다. 이긴 서사가 발언권을 가진 모든 이의 이해관계에 맞기만 하면 된다.

남의 속마음을 짐작하는 일에 한계가 있다는 것은 안다. 내가 방금 보여 준 것은 흥미로운 사고 실험일 뿐이고, 관련된 모든 사람의 실제 속내를 크게 왜곡한 것으로 드러날 수도 있다.

하지만 그만큼, 내가 아무도 입 밖에 내지 않던 말을 소리 내어 한 것일 수도 있다. 어느 해석이 옳은지는 2027년이면 더 분명한 신호가 보일 것이다.

진짜 괴물

좀비물 팬이라면 누구나 말해 줄 것이다. 어느 이야기에서든 가장 무서운 괴물은 결국 인간이라고.

물론 좀비는 당신을 잡아먹는다. 하지만 결국 좀비는 자연재해처럼 행동하고, 생존자들이 대비할 수 있는 예측 가능한 방식으로 움직인다. 서로를 배신하려 꾀를 부리는 쪽은 인간이다. 최악의 상황에서조차 동료보다 아주 작은 우위라도 얻기 위해서.

제5부행동에 나서기

인류는 지금 숲속에 있고, 우리가 빠져나갈 수 있을지는 아직 모른다. AGI에 내재한 권력 역학의 위험을 어떻게 줄일지에 대해 정직하고 공개적인 대화가 필요하다. 그것도 사람들에게 아직 발언권이 있을 때.

그것은 곧 모델의 행동과 능력을 투명하고 중립적으로 검증하는 것을 뜻한다. 모델로부터 우리를 지키기 위해서만이 아니라, 모델을 통제하는 사람들로부터 우리를 지키기 위해서. AGI를 물리적 무력의 도구로부터 떼어 놓는 것을 뜻한다. 완전한 수직 통합을 막는 반독점 규칙을 소비자 후생만이 아니라 전략적 균형과 안전까지 기준으로 판단하는 것을 뜻한다. 그리고 AGI에 대한 통제를 여러 주체가 공개적으로 관리해야 한다는 것을 뜻한다.

화면의 불빛에 눈이 먼 채, 문명이 무심코 밤 속으로 헤매어 들어가게 둘 수는 없다.

터미네이터에 대한 두려움에 얼어붙지도 말고, 튤립 거품에 대한 잘난 체하는 한마디에 만족하지도 말라. 걸려 있는 것은 수조 달러의 부채보다 훨씬 크다. 테크 억만장자들, 그리고 머지않아 조만장자가 될 이들은 이미 그것을 알고 있다. 이제 나머지 우리도 알아야 할 때다.