El debate público sobre los riesgos de la IA gira sobre todo en torno a dos desenlaces posibles: una crisis financiera si la inteligencia artificial general (IAG) no cumple lo prometido, o una pérdida de control si lo cumple. Se oyen entre líneas en las noticias, en los rincones de los foros en línea y en cenas privadas entre ciertos círculos profesionales.
Veo muchas menos discusiones sobre un tercer riesgo de la IA: ¿qué pasa si la IAG puede alinearse exactamente como se prometió? ¿Y si una inteligencia sobrehumana pudiera quedar de verdad bajo el control de seres humanos? ¿Por qué damos por hecho que ese sería el final feliz?
Parte IEl tercer riesgo
Pensemos en cómo sería ese tercer desenlace en nuestro mundo actual: una IAG extremadamente capaz, pero bajo el control de unos cuantos directivos privados que pueden limitar el acceso a ella. Es capaz de resolver cualquier problema que tenga solución. Puede manejar máquinas, hacer experimentos físicos, realizar nuevos descubrimientos. Pero solo cuando su dueño lo decide.
Sigamos ese hilo. Una IA que puede investigar también puede mejorar la IA, y cada versión mejor crea la siguiente más deprisa. Los investigadores llaman a este ciclo automejora recursiva (RSI, por sus siglas en inglés). Si se aplica el mismo ciclo al mundo físico, los robots diseñan y fabrican robots mejores, cada vez más baratos. Poco a poco, el trabajo que antes requería a millones de personas, desde la minería y la agricultura hasta la construcción, el transporte y la investigación, lo hacen máquinas que obedecen a quien sea dueño de la IA.
Es, lo admito, una imagen de ciencia ficción. Pero si la alineación funciona como se prometió y las máquinas hacen exactamente lo que quieren sus dueños, un grupo pequeño podría sostener una producción casi ilimitada por su cuenta, sin necesitar a nadie más.
Entonces, ¿por qué debería importarnos al resto? Siempre nos han gobernado y cobrado impuestos hombres más poderosos. ¿No podríamos simplemente pagarles una suscripción a estos nuevos amos y seguir con nuestras vidas, Netflix y café en mano?
La historia nos enseña que los gobernantes atienden las necesidades de sus súbditos en la medida exacta en que necesitan su trabajo. Después de que la peste negra matara a un tercio de la población de Europa, a los señores les faltaron manos para trabajar sus tierras, y tuvieron que ofrecer mejores condiciones a los siervos para atraerlos. Pese a las leyes aprobadas para congelarlos, los salarios subieron rápidamente en el siglo siguiente, y la servidumbre acabó desapareciendo de Europa occidental.
En lo que respecta al poder de negociación de los trabajadores, la IAG es la peste negra al revés. En un futuro con IAG en manos privadas, el valor económico del resto de la humanidad para los amos de la IAG es casi cero. No necesitarían nuestras suscripciones, y de todos modos no tendríamos con qué pagarlas.
Por terribles que fueran los gobernantes de la historia, ninguno pudo cumplir sus ambiciones sin otras personas. Estos podrían ser los primeros, si se lo permitimos.
Feudalismo de la IA
Es muy posible que los nuevos gobernantes te ignoren en lugar de dominarte, ocupados como están compitiendo entre sí. Pero que te ignoren no es lo mismo que te dejen en paz. Todo lo que necesiten para ganar (tierra, electricidad, agua, minerales) te lo arrebatarán pujando más alto, con un dinero que ya no depende del trabajo de nadie. La escasez actual de memoria RAM y de tarjetas gráficas de consumo es un anticipo de lo que le espera al resto de la economía física. La gente corriente pronto podría tener que subsistir con las migajas del metaverso.
Imagina una vida corriente en ese futuro. Tu empleo ha desaparecido, y con él tu poder de negociación. Vives de una ayuda que no tienes forma de aumentar. Seguirás teniendo Netflix, y quizá incluso el café, por ahora. El entretenimiento casi no cuesta nada, y una población entretenida es una población tranquila. Pero pan y circo es lo que se le da a la gente que ya no tiene voz.
Quizá siga habiendo políticos que representen tus intereses sobre el papel. Pero cuando de verdad importe, se pondrán del lado de las élites cuyas máquinas pueden, en la práctica, conceder deseos, no del tuyo.
El feudalismo de la IA aún no ha llegado, ni es inevitable. Los robots de hoy no son lo bastante capaces ni fiables. Las empresas siguen sometidas (cada vez menos) a las leyes y normas de las sociedades democráticas. El Estado aún tiene el monopolio de la violencia.
Pero ¿quién, exactamente, va a impedirlo si la alineación de la IAG tiene éxito? Plantear esta pregunta en serio exige, primero, iluminar quiénes están mejor situados para hacerse con el poder.
Parte IIEl cambio de chip
Imagina que diriges un laboratorio de IA de vanguardia. ¿A qué nivel de alineación (control humano) y de inteligencia (capacidades) cambia tu cálculo mental? ¿Cuándo dejas de preocuparte por los beneficios y el juego capitalista, y empiezas a asegurar lo que tu feudo privado necesitará para lo que viene después? ¿Es la ingeniería de software autónoma? ¿O la RSI al mando de robots humanoides?
Según las inclinaciones de cada cual, esa línea hipotética podría haberse cruzado en cualquier momento desde GPT-2 y GPT-3. Y a medida que los modelos ganan capacidad, un círculo creciente de personas de dentro podría preguntarse si hay un bando ganador por el que apostar.
Cambiar de chip no significa quitarse la máscara del todo. No significa salir ante el mundo y declarar que estás listo para que te coronen. Solo significa que cada decisión que tomas apunta ahora a inclinar la balanza hacia ese desenlace. En el fondo, posicionarte para el control, y no para los beneficios o la influencia, se convierte en tu máxima prioridad.
Piensa en lo que podrías hacer una vez cambiado el chip.
- El dinero tal como existe hoy pasa a ser una mera herramienta para facilitar la transición, así que conviene gastar sin freno para adquirir y controlar el talento y los activos que necesita tu motor de producción mágico.
- Los centros de datos, el núcleo de tu poder, deben ponerse a salvo de los desposeídos.
- A los centros de poder político hay que contentarlos por un tiempo, pero sin tomarlos en serio.
- A quienes, desde dentro, no tengan el apetito hay que apartarlos o echarlos.
- Tu único miedo real es perder el control de la IAG, que, muy convenientemente para ti, es un aspecto de la seguridad que también preocupa a todos los demás.
Para que esto funcione no hace falta ningún acuerdo explícito entre los participantes. Basta con que varias personas de dentro lleguen por su cuenta a la misma conclusión, que el cambio ya les conviene, y actúen en consecuencia.
Es fácil despachar cualquiera de estas acciones como el tipo de exceso capitalista al que estamos acostumbrados. La pregunta es: ¿cuándo van las acciones más allá de lo que ni siquiera la codicia puede explicar? Ahí es donde deberíamos mirar con más atención.
Ambición sin freno
Al no exigir transparencia ni supervisión, hemos creado una oportunidad jugosa de las que se presentan una sola vez en la historia de nuestra especie, una que podría tentar incluso a las personas más íntegras de la cúpula. El gran premio es el dominio sobre la propia humanidad.
Para colmo, la feroz competencia actual entre laboratorios de IA se parece a una carrera armamentística nuclear, sin el trauma reciente de la Segunda Guerra Mundial ni el interés por marcos internacionales como las prohibiciones de pruebas, las inspecciones y las líneas directas. Y se desarrolla en una época en la que la confianza y la empatía ya escasean. Esa sensación de urgencia y caos es el disfraz perfecto para cualquier agenda oculta.
Pocas personas en esas posiciones de poder tienen el valor moral de hacer lo correcto y salir de este dilema del prisionero por el bien de toda la humanidad. No solo tienen que ganar un juego despiadado, sino hacerlo sin traicionar sus buenas intenciones, prácticamente con una mano atada a la espalda.
«El poder tiende a corromper, y el poder absoluto corrompe absolutamente».
Los historiadores llevan mucho tiempo discutiendo si la historia está determinada por las estructuras o moldeada por los individuos. Para el materialista histórico, los motivos de un líder no pesan nada frente a las condiciones económicas y geopolíticas que hereda. Para quienes subrayan la contingencia, la historia depende de las ideas y las decisiones de individuos falibles.
Si la sociedad en su conjunto no hace a tiempo los cambios estructurales necesarios para desactivar la amenaza del feudalismo de la IA, solo nos quedará esperar que la historia sea contingente después de todo, y que la despiadada dinámica de poder de la IA de vanguardia pueda superarse con la fuerza de voluntad de unas pocas personas nobles.
Parte IIIEl debate público
Lo que llamo el tercer riesgo no es una idea nueva. La concentración de poder ha empezado a aparecer en la investigación y en el debate experto durante el último año (por ejemplo, AI-Enabled Coups, Gradual Disempowerment, The Intelligence Curse), pero no ha logrado calar en los medios.
En 393 reacciones a tres de las mayores noticias del año sobre laboratorios de IA, encontré muy poco examen público sostenido de la concentración de poder. Cuando aparece, viene sobre todo de comentaristas independientes y no de los grandes medios ni de los círculos políticos, y casi siempre como sospecha de captura regulatoria.
La concentración de poder es un enfoque minoritario, tanto entre expertos como entre el público
Pensemos en el incidente de Hugging Face, revelado hace poco, en el que agentes de OpenAI sometidos a evaluaciones de ciberseguridad escaparon de sus entornos aislados. Después, los agentes se colaron en servidores de Hugging Face e intentaron ocultar su mal comportamiento a la supervisión humana.
Para los creyentes en la IAG (tanto aceleracionistas como defensores de la seguridad), esa noticia es puramente una cuestión de seguridad. La lección es lo mucho que la alineación se ha quedado atrás respecto de las capacidades. Quizá vean el acuerdo de Sam Altman con Elon Musk sobre la idea de «moderar el ritmo en la frontera» como una aceptación a regañadientes de la postura a favor de la seguridad.
Los escépticos ven el incidente de Hugging Face más bien como una campaña de marketing oportunista. Creen que las inversiones en infraestructura de IA son un derroche que nunca dará beneficios. De hecho, les preocupa mucho más que estemos tirando los recursos del mundo, como la capacidad de fabricación de memoria RAM, en la historia de una salida a bolsa sin futuro que cualquier noción de seguridad de la IA.
Irónicamente, tanto los escépticos como los creyentes podrían tener razón.
Puede que los escépticos acierten al cuestionar la rentabilidad de estas valoraciones disparatadas. Pero quizá la conclusión correcta no sea que se trata de otra burbuja a punto de estallar, sino preguntarse qué lleva a personas tan inteligentes y racionales a dejar de actuar según criterios económicos.
Los creyentes tienen razón en que la alineación es crucial, pero no de la forma que esperaban. ¿Mantener el control humano de la IA equivale a que la sociedad controle la IA?
Parte IVLo que no se dice
Quiero ser cuidadoso: no creo que la seguridad de la IA (la pérdida de control) sea una distracción, ni que nadie la haya diseñado como tal. Sí creo, en cambio, que evitar la pérdida de control interesa tanto a un aspirante a señor de la IA como a cualquiera, así que recibirá financiación en la medida en que la amenaza sea real.
«¿Podemos controlarla?» es un relato que conviene a los laboratorios, a los defensores de la seguridad e incluso a los escépticos. «¿Quién la controla?» es una pregunta más inquietante de poner sobre la mesa. Y las soluciones que se derivan de la primera pregunta, menos desarrolladores de vanguardia y más estrechamente controlados, pueden complicar la segunda.
Los relatos siempre compiten por una atención limitada. Los politólogos lo llaman la segunda cara del poder: decidir qué debates tienen lugar, no ganarlos. El silencio no requiere ninguna conspiración, solo que el relato ganador convenga a los incentivos de todos los que tienen voz.
Entiendo los límites de intentar deducir motivaciones privadas. Es muy posible que solo te haya presentado un experimento mental interesante que resulte ser una tergiversación grosera de lo que de verdad piensan todos los implicados.
También es plausible que acabe de decir en voz alta lo que nadie dice. Probablemente veremos señales más claras de qué interpretación es la correcta en 2027.
Los verdaderos monstruos
Como te dirá cualquier aficionado a las historias de zombis: los monstruos más aterradores de cada historia siempre acaban siendo los humanos.
Sí, los zombis te comerían, pero al final se comportan como un desastre natural y actúan de forma predecible, de modo que los supervivientes pueden defenderse. Son los humanos quienes maquinan para traicionarse unos a otros con tal de ganar una mínima ventaja sobre sus semejantes, incluso en las peores circunstancias.
Parte VPasar a la acción
La humanidad está ahora mismo en el bosque, y aún no sabemos si saldremos de él. Necesitamos conversaciones públicas y honestas sobre cómo reducir los riesgos de la dinámica de poder intrínseca a la IAG, y necesitamos tenerlas mientras la gente todavía tenga voz.
Eso significa una verificación transparente y neutral del comportamiento y las capacidades de los modelos, no solo para protegernos de los modelos, sino también de las personas que los controlan. Significa mantener la IAG lejos de los instrumentos de la fuerza física. Significa normas antimonopolio contra la integración vertical total, juzgadas no solo por el bienestar del consumidor, sino también por el equilibrio estratégico y la seguridad. Y significa que el control de la IAG debe gobernarse a la vista de todos, por más de una parte.
No podemos dejar que la civilización se adentre a la ligera en la noche, cegada por el resplandor de nuestras pantallas.
No te dejes paralizar por el miedo a los Terminators, ni te conformes con frases ingeniosas y engreídas sobre la burbuja de los tulipanes. Lo que está en juego es mucho más que unos cuantos billones de dólares de deuda. Los milmillonarios de la tecnología, y los que pronto serán billonarios, ya lo entienden. Es hora de que el resto también lo entendamos.
ApéndiceObjeciones habituales
Algunas ideas rápidas sobre por qué creo que las objeciones típicas al argumento de la concentración de poder no se sostienen:
La competencia entre laboratorios mantendrá a raya a sus líderes.
Por qué no se sostieneEl feudalismo tiene muchos señores.
Hay demasiadas personas implicadas en todo el sector como para que nadie lo detenga.
Por qué no se sostieneLa mayoría de los requisitos previos pueden presentarse durante mucho tiempo como expansión comercial. A medida que la mejora de los modelos se automatiza, disminuye el número de personas de dentro con capacidad para frenar los abusos.
Viviremos en una sociedad de la abundancia. Da igual quién mande.
Por qué no se sostienePuede que la IAG haga casi gratuitos el software, el entretenimiento y los bienes de consumo, pero la tierra, la energía, la capacidad de cómputo y la influencia política siguen siendo escasas, y siguen importando. Sin poder político, los intereses de la gente no estarán protegidos cuando de verdad importe.
El Gobierno impedirá que las empresas privadas tomen el poder.
Por qué no se sostieneSi la IAG puede controlarse, eso no detendría el golpe; solo transferiría las riendas del poder a quienes dirigen hoy los Estados. Es un atajo para casar la violencia legítima del Estado con el control de la IAG, algo que deberíamos evitar activamente.
Los modelos de código abierto impedirán la centralización de la superinteligencia y del poder.
Por qué no se sostienePuede que ayuden algo, pero en última instancia desplazan el punto de centralización de las organizaciones que controlan los pesos de los modelos a las que controlan la inferencia y la fabricación. No trasladan el poder a la gente corriente. Además, dependen de que los modelos abiertos sigan alcanzando a los demás, algo que está por ver.