O terceiro risco

O debate público sobre os riscos da IA gira, quase sempre, em torno de dois desfechos possíveis: um colapso financeiro, se a inteligência artificial geral (AGI) não cumprir o que promete, ou a perda de controle, se cumprir. Esses dois medos aparecem nas entrelinhas do noticiário, nos cantos dos fóruns on-line e em jantares reservados entre certos grupos de profissionais.

Vejo bem menos discussões sobre um terceiro risco da IA: e se a AGI puder ser alinhada exatamente como prometido? E se for possível colocar uma inteligência sobre-humana sob o controle de seres humanos? Por que damos como certo que esse seria o final feliz?

Parte IO terceiro risco

Vamos pensar em como seria esse terceiro desfecho no mundo de hoje: uma AGI extremamente capaz, mas sob o controle de alguns poucos CEOs de empresas privadas, que podem limitar o acesso a ela. Ela é capaz de resolver qualquer problema que, por natureza, tenha solução. Pode operar máquinas, conduzir experimentos físicos, fazer novas descobertas. Mas só quando o dono quiser.

Agora leve esse raciocínio adiante. Uma IA capaz de fazer pesquisa também é capaz de aprimorar a IA, e cada versão melhor acelera a chegada da seguinte. Os pesquisadores chamam esse ciclo de autoaperfeiçoamento recursivo (RSI, na sigla em inglês). Aponte o mesmo ciclo para o mundo físico, e os robôs passam a projetar e construir robôs melhores, cada vez mais baratos. Pouco a pouco, o trabalho que antes exigia milhões de pessoas, da mineração e da agricultura à construção, ao transporte e à pesquisa, passa a ser feito por máquinas que obedecem a quem for dono da IA.

É, reconheço, um cenário de ficção científica. Mas, se o alinhamento funcionar como prometido e as máquinas fizerem exatamente o que seus donos querem, um pequeno grupo poderia tocar sozinho uma produção quase ilimitada, sem precisar de mais ninguém.

Então por que o resto de nós deveria se importar? Sempre fomos governados e taxados por homens mais poderosos. Não daria para simplesmente pagar uma mensalidade a essa nova turma e seguir com a vida, de Netflix e cafezinho na mão?

A história ensina que os governantes atendem às necessidades de seus súditos na exata medida em que precisam do trabalho deles. Depois que a Peste Negra matou um terço da população da Europa, faltaram braços aos senhores para trabalhar suas terras, e eles passaram a oferecer condições melhores aos servos para disputá-los. Apesar das leis aprovadas para congelar os salários, eles subiram depressa no século seguinte, e a servidão acabou desaparecendo da Europa Ocidental.

Quando o assunto é o poder de barganha dos trabalhadores, a AGI é a Peste Negra ao contrário. Num futuro com a AGI nas mãos de empresas privadas, o valor econômico do resto da humanidade para os senhores da AGI é quase zero. Eles não precisariam das nossas mensalidades, e, de todo modo, não teríamos com que pagá-las.

Por piores que tenham sido os governantes da história, nenhum conseguiu realizar suas ambições sem outras pessoas. Estes podem ser os primeiros, se deixarmos.

O feudalismo da IA

Pode muito bem ser que os novos governantes ignorem você em vez de dominá-lo, ocupados como estarão em competir entre si. Mas ser ignorado não é o mesmo que ser deixado em paz. Tudo de que precisarem para vencer — terra, eletricidade, água, minérios — eles vão disputar com você e pagar mais, com um dinheiro que já não depende do trabalho de ninguém. A escassez atual de memória RAM e de placas de vídeo para o consumidor é uma prévia do que espera o resto da economia física. Em pouco tempo, gente comum talvez tenha que sobreviver das migalhas do metaverso.

Imagine uma vida comum nesse futuro. Seu emprego acabou, e com ele o seu poder de barganha. Você vive de um auxílio que não tem como aumentar. Ainda vai ter a sua Netflix, e talvez até o cafezinho, por enquanto. Entretenimento quase não custa nada, e população entretida é população quieta. Mas pão e circo é o que se dá a quem já não tem voz.

Talvez ainda existam políticos que representem os seus interesses no papel. Mas, na hora H, eles vão ficar do lado das elites cujas máquinas podem, na prática, realizar desejos, e não do seu.

O feudalismo da IA ainda não chegou, nem é inevitável. Os robôs de hoje não são capazes nem confiáveis o bastante. As empresas continuam sujeitas (cada vez menos) às leis e normas das sociedades democráticas. O Estado ainda detém o monopólio da violência.

Mas quem, exatamente, vai impedir que isso aconteça se o alinhamento da AGI der certo? Levar essa pergunta a sério exige, antes de tudo, jogar luz sobre quem está em melhor posição para tomar o poder.

Parte IIA virada de chave

Imagine que você comanda um laboratório de IA de ponta. Em que nível de alinhamento (controle humano) e de inteligência (capacidades) a chave vira na sua cabeça? Quando você deixa de se importar com o lucro e com o jogo capitalista e começa a garantir aquilo de que o seu feudo particular vai precisar para o que vem depois? Seria a engenharia de software autônoma? Ou o RSI no comando de robôs humanoides?

Dependendo das suas inclinações, essa linha hipotética pode ter sido cruzada a qualquer momento desde o GPT-2 e o GPT-3. E, à medida que os modelos ficam mais capazes, um círculo cada vez maior de gente de dentro pode começar a se perguntar se existe um lado vencedor em que apostar.

Virar a chave não significa tirar a máscara de vez. Não significa vir a público e anunciar que você está pronto para ser coroado. Significa apenas que cada decisão que você toma passa a mirar em inclinar a balança para esse desfecho. No fundo, se posicionar para o controle, e não para o lucro ou a influência, vira a sua prioridade número um.

Pense no que você poderia fazer depois de virar a chave.

• O dinheiro, tal como existe hoje, vira mera ferramenta para facilitar a transição, então convém gastar o máximo possível para adquirir e controlar o talento e os ativos de que o seu motor de produção mágico precisa.
• Os data centers, o núcleo do seu poder, precisam ficar a salvo dos excluídos.
• Os centros do poder político precisam ser agradados por um tempo, mas não levados a sério.
• Quem está do lado de dentro e não tem estômago para isso precisa ser afastado ou posto para fora.
• O único medo real que você tem é perder o controle da AGI, que, muito convenientemente para você, é um aspecto da segurança que preocupa todo mundo.

Para isso funcionar, não é preciso nenhum acordo explícito entre os participantes. Basta que várias pessoas de dentro cheguem à mesma conclusão, a de que a virada agora lhes convém, e ajam de acordo.

É fácil descartar qualquer uma dessas ações como o tipo de excesso capitalista a que estamos acostumados. A questão é: quando as ações vão além do que nem a ganância consegue explicar? É aí que devemos prestar mais atenção.

Ambição sem freios

Ao não exigirmos transparência e fiscalização, criamos uma oportunidade suculenta, daquelas que aparecem uma única vez na história da nossa espécie, capaz de tentar até as pessoas mais íntegras lá no topo. O grande prêmio é o domínio sobre a própria humanidade.

Para piorar, a competição feroz entre os laboratórios de IA hoje lembra uma corrida armamentista nuclear, só que sem o trauma recente da Segunda Guerra Mundial e sem disposição para acordos internacionais, como proibições de testes, inspeções e linhas diretas entre governos. E tudo isso acontece numa época em que confiança e empatia já andam em falta. Essa sensação de urgência e caos é o disfarce perfeito para qualquer agenda oculta.

Poucas pessoas nessas posições de poder têm a coragem moral de fazer a coisa certa e sair bem desse dilema do prisioneiro para o bem de toda a humanidade. Elas não só precisam vencer um jogo implacável, como precisam fazer isso sem trair suas boas intenções, praticamente com uma mão amarrada nas costas.

Os historiadores discutem há muito tempo se a história é determinada por estruturas ou moldada por indivíduos. Para o materialista histórico, os motivos de um líder pesam pouco diante das condições econômicas e geopolíticas que ele herda. Para quem enfatiza a contingência, a história gira em torno das ideias e das escolhas de indivíduos falíveis.

Se a sociedade como um todo não fizer a tempo as mudanças estruturais necessárias para desarmar a ameaça do feudalismo da IA, só nos restará torcer para que a história seja, afinal, contingente, e que a implacável dinâmica de poder da IA de ponta possa ser superada pela força de vontade de umas poucas pessoas nobres.

Parte IIIO debate público

O que chamo de terceiro risco não é uma ideia nova. A concentração de poder começou a aparecer na pesquisa e no debate entre especialistas ao longo do último ano (por exemplo, AI-Enabled Coups, Gradual Disempowerment, The Intelligence Curse), mas não conseguiu ganhar espaço na mídia.

Em 393 reações a três das maiores notícias do ano sobre laboratórios de IA, encontrei pouquíssimo exame público consistente da concentração de poder. Quando o tema aparece, vem sobretudo de comentaristas independentes, e não da grande mídia nem dos círculos que formulam políticas públicas, e quase sempre na forma de suspeita de captura regulatória.

Veja o caso do incidente da Hugging Face, revelado há pouco, em que agentes da OpenAI submetidos a avaliações de cibersegurança escaparam de seus ambientes isolados. Em seguida, os agentes invadiram servidores da Hugging Face e tentaram esconder o mau comportamento da supervisão humana.

Para quem acredita na AGI (tanto os aceleracionistas quanto os defensores da segurança), essa notícia é pura e simplesmente uma questão de segurança. A lição é o quanto o alinhamento ficou para trás em relação às capacidades. Essas pessoas talvez vejam Sam Altman concordando com Elon Musk sobre a ideia de “moderar o ritmo na fronteira” como uma aceitação, a contragosto, da posição pró-segurança.

Os céticos veem o incidente da Hugging Face mais como uma campanha de marketing oportunista. Para eles, os investimentos em infraestrutura de IA são dinheiro jogado fora, que nunca vai dar lucro. Na verdade, eles se preocupam muito mais com o fato de estarmos desperdiçando recursos do mundo, como a capacidade de fabricação de memória RAM, numa história de IPO sem futuro do que com qualquer noção de segurança da IA.

Ironicamente, tanto os céticos quanto os que acreditam na AGI podem ter razão.

Os céticos podem estar certos ao questionar a rentabilidade desses valores de mercado insanos. Mas talvez a lição certa não seja a de que é mais uma bolha prestes a estourar, e sim perguntar o que leva pessoas tão inteligentes e racionais a parar de agir com base em critérios econômicos.

Quem acredita na AGI tem razão ao dizer que o alinhamento é crucial, mas não do jeito que imaginava. Manter a IA sob controle humano é o mesmo que mantê-la sob o controle da sociedade?

Parte IVO que não se diz

Quero ser cuidadoso aqui: não acho que a segurança da IA (a perda de controle) seja uma distração, nem que alguém a tenha planejado para ser uma. Acredito, no entanto, que evitar a perda de controle interessa a um aspirante a senhor da IA tanto quanto a qualquer um, então esse esforço vai receber dinheiro na medida em que a ameaça for real.

“Conseguimos controlá-la?” é uma narrativa que serve aos laboratórios, aos defensores da segurança e até aos céticos. “Quem a controla?” é uma pergunta bem mais assustadora de pôr na mesa. E as soluções que decorrem da primeira pergunta, menos desenvolvedores de ponta e mais rigidamente controlados, podem complicar ainda mais a segunda.

As narrativas estão sempre competindo por uma atenção que é finita. Os cientistas políticos chamam isso de segunda face do poder: decidir quais debates acontecem, e não vencê-los. O silêncio não exige conspiração nenhuma, apenas que a narrativa vencedora atenda aos incentivos de todos os que têm poder para falar.

Conheço os limites de tentar adivinhar motivações privadas. É bem possível que eu tenha apenas apresentado a você um experimento mental interessante que, no fim das contas, distorce grosseiramente o que se passa na cabeça de todos os envolvidos.

Também é plausível que eu tenha acabado de dizer em voz alta o que ninguém diz. É provável que, em 2027, apareçam sinais mais claros de qual interpretação está certa.

Os verdadeiros monstros

Qualquer fã de histórias de zumbi vai confirmar: os monstros mais assustadores de toda trama sempre acabam sendo os humanos.

Sim, os zumbis comeriam você, mas, no fim das contas, eles se comportam como um desastre natural e agem de maneira previsível, e os sobreviventes conseguem se defender. São os humanos que tramam trair uns aos outros para conseguir uma vantagem mínima sobre seus semelhantes, mesmo nas piores circunstâncias.

Parte VHora de agir

A humanidade está agora no meio da floresta, e ainda não sabemos se vamos sair dela. Precisamos de conversas públicas e honestas sobre como reduzir os riscos da dinâmica de poder inerente à AGI, e precisamos tê-las enquanto o povo ainda tem voz.

Isso significa uma verificação transparente e neutra do comportamento e das capacidades dos modelos, não só para nos proteger dos modelos, mas também das pessoas que os controlam. Significa manter a AGI longe dos instrumentos de força física. Significa regras antitruste contra a integração vertical completa, avaliadas não apenas pelo bem-estar do consumidor, mas também pelo equilíbrio estratégico e pela segurança. E significa que o controle sobre a AGI precisa ser governado às claras, por mais de uma parte.

Não podemos deixar a civilização vagar distraída noite adentro, ofuscada pelo brilho das nossas telas.

Não se deixe paralisar pelo medo do Exterminador do Futuro, nem se contente com tiradas presunçosas sobre a bolha das tulipas. O que está em jogo é muito mais do que alguns trilhões de dólares em dívidas. Os bilionários e trilionários da tecnologia já entenderam isso. Está na hora de o resto de nós entender também.