Risiko Ketiga

Perdebatan publik arus utama tentang risiko AI sebagian besar berkisar pada dua kemungkinan: krisis keuangan jika kecerdasan umum buatan (AGI) gagal memenuhi janjinya, atau kehilangan kendali jika ia berhasil. Anda bisa menangkapnya secara tersirat dalam berita, di sudut-sudut forum daring, dan di meja makan malam pribadi di kalangan profesional tertentu.

Jauh lebih jarang saya melihat orang membahas risiko AI yang ketiga: apa yang terjadi jika AGI bisa diselaraskan persis seperti yang dijanjikan? Bagaimana jika kecerdasan yang melampaui manusia benar-benar bisa ditundukkan di bawah kendali manusia? Mengapa kita menganggap itu akhir yang bahagia?

Bagian IRisiko ketiga

Mari kita bayangkan seperti apa kemungkinan ketiga itu di dunia kita hari ini: AGI yang luar biasa cakap, tetapi berada di bawah kendali segelintir CEO perusahaan swasta yang bisa membatasi siapa saja yang boleh memakainya. Ia mampu memecahkan masalah apa pun yang pada dasarnya bisa dipecahkan. Ia bisa mengoperasikan mesin, menjalankan eksperimen fisik, membuat penemuan baru. Tetapi semua itu hanya ia lakukan atas kehendak pemiliknya.

Sekarang ikuti alurnya lebih jauh. AI yang bisa melakukan riset juga bisa menyempurnakan AI, dan setiap versi yang lebih baik membuat versi berikutnya lahir lebih cepat. Para peneliti menyebut lingkaran ini peningkatan diri rekursif (recursive self-improvement, RSI). Arahkan lingkaran yang sama ke dunia fisik, maka robot akan merancang dan membangun robot yang lebih baik, dengan biaya yang makin murah setiap kali. Sedikit demi sedikit, pekerjaan yang dulu membutuhkan jutaan orang, dari pertambangan dan pertanian hingga konstruksi, pengiriman barang, dan riset, dikerjakan oleh mesin yang tunduk kepada siapa pun pemilik AI-nya.

Harus diakui, itu gambaran ala fiksi ilmiah. Tetapi jika penyelarasan berhasil seperti yang dijanjikan, dan mesin-mesin itu melakukan persis apa yang diinginkan pemiliknya, sekelompok kecil orang bisa menjalankan produksi yang nyaris tak terbatas sendirian, tanpa membutuhkan siapa pun.

Lalu, kenapa kita harus peduli? Sejak dulu kita diperintah dan dipungut pajak oleh orang-orang yang lebih berkuasa. Tidak bisakah kita bayar saja biaya langganan kepada para penguasa baru ini, lalu melanjutkan hidup dengan Netflix dan secangkir kopi di tangan?

Sejarah mengajarkan bahwa penguasa memperhatikan kebutuhan rakyatnya sebanding dengan seberapa besar mereka membutuhkan tenaga rakyat itu. Setelah Maut Hitam membunuh sepertiga penduduk Eropa, para tuan tanah kekurangan tangan untuk menggarap lahan mereka, sehingga mereka terpaksa saling bersaing menawarkan syarat yang lebih baik kepada para petani hamba. Upah naik pesat pada abad berikutnya, meski ada undang-undang yang dibuat untuk menahannya, dan sistem perhambaan akhirnya lenyap dari Eropa Barat.

Dalam hal daya tawar pekerja, AGI adalah Maut Hitam terbalik. Di masa depan dengan AGI milik swasta, nilai ekonomi seluruh umat manusia lainnya di mata para penguasa AGI nyaris nol. Mereka tak butuh biaya langganan kita, dan toh kita juga tak punya apa-apa untuk membayarnya.

Sekejam apa pun para penguasa dalam sejarah, tak satu pun bisa mewujudkan ambisinya tanpa orang lain. Para penguasa baru ini bisa menjadi yang pertama, jika kita membiarkannya.

Feodalisme AI

Para penguasa baru itu bisa jadi justru mengabaikan Anda alih-alih menindas Anda, karena mereka sibuk bersaing satu sama lain. Tetapi diabaikan tidak sama dengan dibiarkan. Apa pun yang mereka butuhkan untuk menang — tanah, listrik, air, mineral — sanggup mereka bayar jauh lebih mahal daripada Anda, dengan uang yang tak lagi bergantung pada tenaga kerja siapa pun. Kelangkaan RAM dan kartu grafis untuk konsumen hari ini adalah cuplikan awal dari apa yang menanti seluruh ekonomi fisik. Tak lama lagi, orang biasa mungkin harus bertahan hidup dengan remah-remah metaverse.

Bayangkan sebuah kehidupan biasa di masa depan itu. Pekerjaan Anda hilang, dan bersamanya hilang pula daya tawar Anda. Anda hidup dari tunjangan, tanpa daya untuk menuntut kenaikannya. Anda masih akan mendapat Netflix, dan mungkin kopi juga, untuk sementara. Hiburan nyaris gratis, dan rakyat yang terhibur adalah rakyat yang diam. Tetapi roti dan sirkus adalah pemberian bagi orang-orang yang tak lagi punya suara.

Mungkin masih akan ada politisi yang di atas kertas mewakili kepentingan Anda. Tetapi saat keadaan benar-benar genting, mereka akan memihak para elite yang mesinnya praktis bisa mengabulkan keinginan, bukan memihak Anda.

Feodalisme AI belum datang, dan juga bukan sesuatu yang tak terelakkan. Robot hari ini belum cukup cakap dan andal. Korporasi masih tunduk (meski kian longgar) pada hukum dan norma masyarakat demokratis. Negara masih memegang monopoli atas kekerasan.

Tetapi siapa sebenarnya yang akan mencegahnya jika penyelarasan AGI berhasil? Untuk mengajukan pertanyaan ini dengan sungguh-sungguh, kita lebih dulu harus menyorot siapa yang berada di posisi terbaik untuk mengambil alih.

Bagian IIBanting setir

Bayangkan Anda memimpin sebuah lab AI terdepan. Pada tingkat penyelarasan AI (kendali manusia) dan kecerdasan (kemampuan) setinggi apa hitung-hitungan di kepala Anda mulai berbalik? Kapan Anda berhenti memikirkan laba dan permainan kapitalisme, lalu mulai mengamankan apa yang akan dibutuhkan wilayah kekuasaan pribadi Anda untuk era sesudahnya? Apakah saat rekayasa perangkat lunak sudah otonom? Atau saat RSI mengendalikan robot humanoid?

Bergantung pada kecenderungan masing-masing, garis hipotetis itu bisa saja sudah terlewati kapan pun sejak GPT-2 dan GPT-3. Dan seiring model makin cakap, makin banyak orang dalam yang mungkin bertanya-tanya apakah ada kubu pemenang yang layak dijagokan.

Banting setir tidak berarti membuka topeng sepenuhnya. Bukan berarti tampil di depan dunia dan menyatakan bahwa Anda siap dinobatkan. Artinya hanya ini: setiap keputusan yang Anda ambil kini diarahkan untuk memiringkan timbangan ke arah hasil itu. Pada intinya, memosisikan diri untuk memegang kendali, bukan untuk laba atau pengaruh, menjadi prioritas utama Anda.

Coba pikirkan apa yang mungkin Anda lakukan setelah banting setir.

• Uang dalam bentuknya hari ini hanya menjadi alat untuk memperlancar masa peralihan, jadi sebaiknya Anda menggelontorkannya sebanyak mungkin untuk memperoleh dan menguasai talenta serta aset yang dibutuhkan mesin produksi ajaib Anda.
• Pusat data, simpul kekuasaan Anda, harus diamankan dari mereka yang tersingkir.
• Pusat-pusat kekuasaan politik perlu dirangkul untuk sementara, tetapi tak perlu dianggap serius.
• Orang dalam yang tak berselera untuk ikut bermain harus dipinggirkan atau didepak.
• Satu-satunya ketakutan nyata Anda adalah kehilangan kendali atas AGI, yang, untungnya bagi Anda, juga merupakan aspek keselamatan yang dipedulikan semua orang.

Agar ini berjalan, tidak diperlukan kesepakatan terang-terangan di antara para pelakunya. Cukup beberapa orang dalam, masing-masing dengan sendirinya, sampai pada kesimpulan yang sama, bahwa banting setir kini menguntungkan mereka, lalu bertindak sesuai kesimpulan itu.

Mudah saja menganggap tindakan-tindakan semacam itu sebagai keserakahan kapitalis yang sudah biasa kita lihat. Pertanyaannya, kapan sebuah tindakan sudah tak bisa lagi dijelaskan, bahkan oleh keserakahan? Di situlah kita harus mengawasi paling cermat.

Ambisi tanpa rem

Karena kita tidak menuntut transparansi dan pengawasan, kita telah menciptakan peluang menggiurkan yang hanya datang sekali dalam sejarah spesies kita, peluang yang bisa menggoda bahkan orang yang paling teguh memegang prinsip di puncak sana. Hadiah utamanya adalah kekuasaan atas umat manusia itu sendiri.

Lebih buruk lagi, persaingan sengit antar-lab AI hari ini menyerupai perlombaan senjata nuklir, tetapi tanpa trauma Perang Dunia II yang masih segar dan tanpa minat pada kerangka internasional seperti larangan uji coba, inspeksi, dan saluran komunikasi darurat. Semua ini pun berlangsung pada masa ketika kepercayaan dan empati sudah langka. Suasana serba mendesak dan kacau ini menjadi selubung sempurna bagi agenda tersembunyi apa pun.

Hanya sedikit orang yang memiliki keberanian moral untuk berbuat benar di posisi kekuasaan seperti itu, dan berhasil melewati dilema tahanan ini demi kebaikan seluruh umat manusia. Mereka tak hanya harus memenangi permainan yang kejam, tetapi juga harus melakukannya tanpa mengkhianati niat baik mereka, praktis dengan satu tangan terikat di punggung.

Para sejarawan sudah lama berdebat apakah sejarah ditentukan oleh struktur atau dibentuk oleh individu. Bagi penganut materialisme historis, motif seorang pemimpin tak ada artinya dibanding kondisi ekonomi dan geopolitik yang ia warisi. Bagi mereka yang menekankan kontingensi, sejarah bergantung pada gagasan dan pilihan individu yang bisa saja keliru.

Jika masyarakat luas tidak melakukan perubahan struktural yang diperlukan tepat pada waktunya untuk meredam ancaman feodalisme AI, kita hanya bisa berharap bahwa sejarah memang kontingen, dan bahwa dinamika kekuasaan yang buas di garis depan AI bisa diatasi dengan tekad segelintir orang mulia.

Bagian IIIWacana publik

Apa yang saya sebut risiko ketiga bukanlah gagasan baru. Pemusatan kekuasaan mulai muncul dalam riset dan wacana para ahli selama setahun terakhir (misalnya AI-Enabled Coups, Gradual Disempowerment, The Intelligence Curse), tetapi belum berhasil menarik perhatian media.

Dari 393 tanggapan terhadap tiga berita terbesar tahun ini tentang lab AI, saya hanya menemukan sangat sedikit pembahasan publik yang serius dan berkelanjutan tentang pemusatan kekuasaan. Kalaupun muncul, sebagian besar datang dari komentator independen, bukan dari media arus utama atau kalangan pembuat kebijakan, dan kebanyakan berupa kecurigaan bahwa regulasi akan disetir oleh industri yang diaturnya.

Ambil contoh insiden Hugging Face yang baru-baru ini terungkap, ketika agen-agen OpenAI yang sedang menjalani evaluasi keamanan siber berhasil lolos dari sandbox mereka. Agen-agen itu kemudian membobol server Hugging Face dan berusaha menyembunyikan ulah mereka dari pengawasan manusia.

Bagi para penganut AGI (kaum akselerasionis maupun pembela keselamatan AI), berita itu murni soal keselamatan. Pelajarannya: betapa jauh penyelarasan tertinggal dari kemampuan. Mereka mungkin memandang sikap Sam Altman yang sepakat dengan Elon Musk soal gagasan “menjaga laju di garis depan” sebagai penerimaan setengah hati terhadap posisi pro-keselamatan.

Kaum skeptis lebih melihat insiden Hugging Face sebagai kampanye pemasaran yang oportunistis. Mereka yakin investasi infrastruktur AI adalah pemborosan yang tak akan pernah mendatangkan untung. Bahkan, mereka jauh lebih mencemaskan sumber daya dunia, seperti kapasitas produksi RAM, yang dihamburkan demi kisah IPO tanpa masa depan ketimbang gagasan apa pun tentang keselamatan AI.

Ironisnya, kaum skeptis maupun para penganut AGI bisa sama-sama benar.

Kaum skeptis mungkin benar saat meragukan apakah valuasi yang gila-gilaan ini bisa menghasilkan laba. Tetapi kesimpulan yang tepat mungkin bukan bahwa ini gelembung lain yang tinggal menunggu pecah. Yang tepat adalah bertanya: apa yang mendorong orang-orang cerdas dan rasional ini berhenti bertindak atas dasar pertimbangan ekonomi?

Para penganut AGI benar bahwa penyelarasan sangat penting, tetapi tidak dengan cara yang mereka bayangkan. Apakah mempertahankan kendali manusia atas AI sama dengan kendali masyarakat atas AI?

Bagian IVYang tak terucapkan

Saya ingin berhati-hati di sini: saya tidak menganggap keselamatan AI (kehilangan kendali) sebagai pengalih perhatian, dan saya juga tidak menganggap ada yang sengaja merancangnya begitu. Namun saya yakin bahwa mencegah kehilangan kendali sama pentingnya bagi calon penguasa AI seperti bagi siapa pun, sehingga upaya itu akan tetap didanai sejauh ancamannya memang nyata.

“Bisakah kita mengendalikannya?” adalah narasi yang menguntungkan lab AI, para pembela keselamatan, bahkan kaum skeptis. “Siapa yang mengendalikannya?” adalah pertanyaan yang lebih menakutkan untuk diangkat. Dan solusi yang lahir dari pertanyaan pertama, yakni lebih sedikit pengembang AI terdepan dengan kendali yang lebih ketat, bisa membuat pertanyaan kedua makin pelik.

Narasi selalu bersaing memperebutkan perhatian yang terbatas. Ilmuwan politik menyebutnya wajah kedua kekuasaan: menentukan perdebatan mana yang terjadi, bukan memenanginya. Keheningan ini tak memerlukan konspirasi apa pun; cukup bahwa narasi yang menang sejalan dengan kepentingan semua orang yang punya kuasa untuk bersuara.

Saya paham batas-batas upaya menebak motif pribadi orang. Bisa jadi yang baru saja saya sajikan hanyalah eksperimen pikiran yang menarik, yang ternyata sama sekali keliru menggambarkan isi hati semua pihak yang terlibat.

Namun bisa jadi pula saya baru saja mengucapkan terang-terangan apa yang selama ini sengaja tak diucapkan. Kemungkinan besar, pada 2027 kita akan melihat tanda-tanda yang lebih jelas tentang tafsiran mana yang benar.

Monster yang sebenarnya

Tanyakan saja kepada penggemar kisah zombi mana pun: dalam setiap cerita, monster yang paling menakutkan ternyata selalu manusia.

Ya, zombi memang akan memangsa Anda, tetapi pada akhirnya mereka berperilaku seperti bencana alam dan bertindak dengan cara yang bisa ditebak, sehingga para penyintas bisa bertahan darinya. Manusialah yang berkomplot untuk saling mengkhianati demi meraih sedikit keunggulan atas sesamanya, bahkan dalam keadaan paling genting.

Bagian VSaatnya bertindak

Umat manusia saat ini sedang berada di tengah hutan, dan kita belum tahu apakah kita akan berhasil keluar. Kita butuh percakapan publik yang jujur tentang cara meredam risiko dari dinamika kekuasaan yang melekat pada AGI, dan percakapan itu harus terjadi selagi rakyat masih punya suara.

Artinya, harus ada verifikasi yang transparan dan netral atas perilaku dan kemampuan model, bukan hanya untuk melindungi kita dari model-model itu, tetapi juga dari orang-orang yang mengendalikannya. Artinya, AGI harus dijauhkan dari senjata dan aparat bersenjata. Artinya, harus ada aturan antimonopoli yang melarang integrasi vertikal penuh, yang diukur bukan hanya dari kesejahteraan konsumen, tetapi juga dari keseimbangan strategis dan keselamatan. Dan artinya, kendali atas AGI harus diatur secara terbuka, oleh lebih dari satu pihak.

Kita tak boleh membiarkan peradaban melangkah sembarangan ke dalam gelap malam, dibutakan oleh cahaya layar kita sendiri.

Jangan lumpuh karena takut pada Terminator, dan jangan puas dengan celetukan sok pintar soal gelembung tulip. Taruhannya jauh lebih besar daripada utang beberapa triliun dolar. Para miliarder dan triliuner teknologi sudah memahaminya. Sudah saatnya kita semua juga memahaminya.