तीसरा ख़तरा

AI के ख़तरों पर आम बहस ज़्यादातर दो संभावित नतीजों के इर्द-गिर्द घूमती है: अगर आर्टिफ़िशियल जनरल इंटेलिजेंस (AGI) अपने वादे पूरे न कर पाए तो वित्तीय संकट, और अगर कर दे तो काबू खो देना। ये दोनों बातें ख़बरों के बीच-बीच में, ऑनलाइन फ़ोरमों के कोनों में, और कुछ ख़ास पेशेवर तबक़ों की निजी दावतों में सुनाई देती हैं।

पर एक तीसरे AI ख़तरे की चर्चा मुझे कहीं कम दिखती है: अगर AGI को ठीक वादे के मुताबिक़ अलाइन किया जा सके, तो क्या होगा? अगर इंसान से बढ़कर बुद्धि को सचमुच इंसानों के काबू में रखा जा सके, तो? हम इसे सुखद अंत क्यों मान लेते हैं?

भाग 1तीसरा ख़तरा

सोचिए कि आज की हमारी दुनिया में यह तीसरा नतीजा कैसा दिखेगा: एक बेहद क़ाबिल AGI, पर कुछ निजी कंपनियों के CEO के काबू में, जो उस तक पहुँच सीमित कर सकते हैं। यह हर उस समस्या को हल कर सकता है जो अपने आप में हल हो सकती है। यह मशीनें चला सकता है, भौतिक प्रयोग कर सकता है, नई खोजें कर सकता है। पर सिर्फ़ तब, जब मालिक चाहे।

अब इसे आगे बढ़ाकर देखिए। जो AI शोध कर सकता है, वह AI को भी बेहतर बना सकता है, और हर बेहतर संस्करण अगला संस्करण और तेज़ी से बनाता है। शोधकर्ता इस चक्र को रिकर्सिव सेल्फ़-इम्प्रूवमेंट (RSI), यानी ख़ुद को बार-बार बेहतर बनाना, कहते हैं। यही चक्र भौतिक दुनिया पर लगा दीजिए, तो रोबोट बेहतर रोबोट डिज़ाइन करेंगे और बनाएँगे, हर बार पहले से सस्ते। धीरे-धीरे, वह काम जिसके लिए कभी लाखों-करोड़ों लोग लगते थे, खनन और खेती से लेकर निर्माण, ढुलाई और शोध तक, ऐसी मशीनें करेंगी जो AI के मालिक का हुक्म मानती हैं।

मानता हूँ, यह विज्ञान-कथा जैसी तस्वीर है। पर अगर अलाइनमेंट वादे के मुताबिक़ काम करे, और मशीनें ठीक वही करें जो उनके मालिक चाहें, तो मुट्ठी भर लोग अपने दम पर लगभग असीमित उत्पादन चला सकेंगे, बिना किसी और की ज़रूरत के।

तो बाक़ी हम लोग इसकी परवाह क्यों करें? हम पर हमेशा से ज़्यादा ताक़तवर लोग राज करते आए हैं और कर वसूलते आए हैं। क्या हम इन नए आक़ाओं को एक सब्सक्रिप्शन फ़ीस देकर अपनी ज़िंदगी नहीं जी सकते, हाथ में Netflix और कॉफ़ी लिए?

इतिहास सिखाता है कि शासक अपनी प्रजा की ज़रूरतों का ध्यान ठीक उतना ही रखते हैं, जितनी उन्हें उसकी मेहनत की ज़रूरत होती है। ब्लैक डेथ ने जब यूरोप की एक-तिहाई आबादी को निगल लिया, तो ज़मींदारों के पास अपनी ज़मीनें जोतने के लिए हाथ कम पड़ गए, और उन्हें बंधुआ किसानों को अपनी ओर खींचने के लिए बेहतर शर्तें देनी पड़ीं। मज़दूरी को जाम करने के लिए क़ानून बनाए गए, फिर भी अगली सदी में मज़दूरी तेज़ी से बढ़ी, और आख़िरकार पश्चिमी यूरोप से बंधुआ खेतिहर व्यवस्था मिट गई।

मज़दूरों की मोलभाव की ताक़त के मामले में, AGI उल्टी ब्लैक डेथ है। जिस भविष्य में AGI निजी हाथों में हो, वहाँ AGI के मालिकों के लिए बाक़ी इंसानियत की आर्थिक क़ीमत लगभग शून्य है। उन्हें हमारी सब्सक्रिप्शन फ़ीस की ज़रूरत नहीं होगी, और वैसे भी हमारे पास देने को कुछ बचेगा नहीं।

इतिहास के शासक कितने भी क्रूर रहे हों, कोई भी दूसरे लोगों के बिना अपनी महत्वाकांक्षाएँ पूरी नहीं कर सका। ये पहले हो सकते हैं, अगर हम इन्हें होने दें।

AI सामंतवाद

नए शासक शायद आप पर हुकूमत करने के बजाय आपको नज़रअंदाज़ ही करें, क्योंकि वे आपस की होड़ में उलझे होंगे। पर नज़रअंदाज़ होना अकेला छोड़ दिए जाने जैसा नहीं है। जीतने के लिए उन्हें जो कुछ चाहिए, ज़मीन, बिजली, पानी, खनिज, वे उसकी आपसे ऊँची बोली लगाएँगे, ऐसे पैसे से जो अब किसी की मेहनत पर निर्भर नहीं। आज उपभोक्ताओं के लिए RAM और GPU की किल्लत बाक़ी भौतिक अर्थव्यवस्था की एक झलक भर है। आम लोगों को जल्द ही मेटावर्स के टुकड़ों पर गुज़ारा करना पड़ सकता है।

उस भविष्य की एक आम ज़िंदगी की कल्पना कीजिए। आपकी नौकरी जा चुकी है, और उसके साथ आपकी मोलभाव की ताक़त भी। आप एक भत्ते पर जीते हैं, जिसे बढ़वाने की आपमें कोई ताक़त नहीं। Netflix तो आपको मिलता रहेगा, और शायद अभी के लिए कॉफ़ी भी। मनोरंजन लगभग मुफ़्त है, और मनोरंजन में डूबी आबादी शांत आबादी होती है। पर रोटी और तमाशा उन्हें दिया जाता है, जिनकी अब कोई सुनवाई नहीं।

शायद तब भी ऐसे नेता होंगे जो काग़ज़ पर आपके हितों की नुमाइंदगी करें। पर जब असली वक़्त आएगा, वे आपका नहीं, उन अभिजनों का साथ देंगे जिनकी मशीनें व्यवहार में हर इच्छा पूरी कर सकती हैं।

AI सामंतवाद अभी आया नहीं है, और न ही यह अटल है। आज के रोबोट उतने क़ाबिल और भरोसेमंद नहीं हैं। कंपनियाँ अब भी (घटती हद तक) लोकतांत्रिक समाजों के क़ानूनों और मर्यादाओं से बँधी हैं। हिंसा पर इजारेदारी अब भी राज्य के पास है।

पर अगर AGI का अलाइनमेंट कामयाब हो जाए, तो आख़िर इसे रोकेगा कौन? इस सवाल को गंभीरता से पूछने का मतलब है, पहले यह देखना कि सत्ता हथियाने के लिए सबसे अच्छी स्थिति में कौन है।

भाग 2स्विच पलटना

मान लीजिए आप एक अग्रणी AI लैब चलाते हैं। AI अलाइनमेंट (इंसानी काबू) और बुद्धि (क्षमताओं) के किस स्तर पर आपका मन का हिसाब पलट जाएगा? कब आप मुनाफ़े और पूँजीवादी खेल की परवाह छोड़कर यह जुटाने लगेंगे कि आगे जो आने वाला है, उसके लिए आपकी निजी जागीर को क्या चाहिए? क्या वह स्वायत्त सॉफ़्टवेयर इंजीनियरिंग है? या ह्यूमनॉइड रोबोट चलाता हुआ RSI?

आपके रुझान के हिसाब से, यह काल्पनिक रेखा GPT-2 और GPT-3 के बाद कभी भी पार हो चुकी हो सकती है। और जैसे-जैसे मॉडल ज़्यादा क़ाबिल होते जाते हैं, अंदरूनी लोगों का एक बढ़ता दायरा सोच सकता है कि क्या कोई जीतने वाला पक्ष है जिस पर दाँव लगाया जाए।

स्विच पलटने का मतलब पूरी तरह नक़ाब उतार देना नहीं है। इसका मतलब दुनिया के सामने आकर यह ऐलान करना नहीं कि आप ताजपोशी के लिए तैयार हैं। इसका मतलब बस इतना है कि अब आपका हर फ़ैसला तराज़ू को उस नतीजे की ओर झुकाने के लिए होता है। असल में, मुनाफ़ा या रसूख़ नहीं, बल्कि काबू के लिए मोर्चाबंदी आपकी पहली प्राथमिकता बन जाती है।

सोचिए, स्विच पलटने के बाद आप क्या-क्या कर सकते हैं।

• आज के रूप में पैसा बस इस बदलाव को आसान बनाने का औज़ार रह जाता है, इसलिए आपको अपने जादुई उत्पादन इंजन के लिए ज़रूरी प्रतिभा और संपत्तियाँ हासिल करने और उन पर काबू पाने के लिए दिल खोलकर ख़र्च करना चाहिए।
• डेटा सेंटर, जो आपकी ताक़त का केंद्र हैं, उन्हें बेदख़ल लोगों से सुरक्षित रखना होगा।
• राजनीतिक केंद्रों को कुछ समय के लिए ख़ुश रखना होगा, पर गंभीरता से नहीं लेना।
• जिन अंदरूनी लोगों में यह भूख नहीं, उन्हें किनारे लगाना या बाहर निकालना होगा।
• आपका इकलौता असली डर AGI पर काबू खोना है, जो आपकी सुविधा के लिए सुरक्षा का वह पहलू है जिसकी फ़िक्र बाक़ी सबको भी है।

इसके काम करने के लिए भागीदारों के बीच किसी खुले समझौते की ज़रूरत नहीं। बस इतना काफ़ी है कि कई अंदरूनी लोग अपने-आप इस नतीजे पर पहुँचें कि स्विच पलटना अब उनके हित में है, और उसी हिसाब से चलें।

ऐसे किसी भी क़दम को उस पूँजीवादी अति का एक और नमूना कहकर टाल देना आसान है, जिसके हम आदी हैं। सवाल यह है कि कदम कब उस हद को पार करते हैं जिसे लालच भी नहीं समझा सकता? हमें सबसे ग़ौर से वहीं देखना चाहिए।

बेलगाम महत्वाकांक्षा

पारदर्शिता और निगरानी की माँग न करके, हमने एक ऐसा लुभावना मौक़ा पैदा कर दिया है जो हमारी प्रजाति के इतिहास में एक ही बार आता है, ऐसा मौक़ा जो शीर्ष पर बैठे सबसे उसूलपसंद लोगों को भी ललचा सकता है। सबसे बड़ा इनाम है ख़ुद इंसानियत पर हुकूमत।

और बदतर यह कि आज AI लैबों के बीच की कड़ी होड़ परमाणु हथियारों की दौड़ जैसी है, पर न दूसरे विश्वयुद्ध का ताज़ा सदमा है, न परीक्षण-प्रतिबंध, निरीक्षण और हॉटलाइन जैसे अंतरराष्ट्रीय ढाँचों की चाह। और यह सब ऐसे समय में हो रहा है जब भरोसा और हमदर्दी पहले से ही कम हैं। जल्दबाज़ी और अफ़रा-तफ़री का यह माहौल किसी भी छिपे एजेंडे के लिए एकदम सही पर्दा है।

ऐसे सत्ता के पदों पर बहुत कम लोगों में सही करने का नैतिक साहस होता है, और पूरी इंसानियत की भलाई के लिए इस कैदी की दुविधा से पार पाने की क़ाबिलियत। उन्हें न सिर्फ़ एक बेरहम खेल जीतना है, बल्कि अपने नेक इरादों से दग़ा किए बिना जीतना है, यानी एक हाथ पीठ पीछे बँधा होने के बावजूद।

इतिहासकार लंबे समय से बहस करते आए हैं कि इतिहास ढाँचों से तय होता है या व्यक्तियों से गढ़ा जाता है। ऐतिहासिक भौतिकवादी के लिए, किसी नेता की नीयत उन आर्थिक और भू-राजनीतिक हालात के आगे मायने नहीं रखती जो उसे विरासत में मिलते हैं। संयोग पर ज़ोर देने वालों के लिए, इतिहास ग़लती कर सकने वाले इंसानों के विचारों और फ़ैसलों पर टिका है।

अगर समाज कुल मिलाकर AI सामंतवाद के ख़तरे को टालने के लिए ज़रूरी ढाँचागत बदलाव समय रहते नहीं करता, तो हमारे पास बस यही उम्मीद बचेगी कि इतिहास आख़िरकार संयोग पर चलता है, और अग्रणी AI की बेरहम सत्ता-गतिकी को कुछ नेक लोगों की इच्छाशक्ति से जीता जा सकता है।

भाग 3सार्वजनिक बहस

जिसे मैं तीसरा ख़तरा कहता हूँ, वह कोई नया विचार नहीं है। सत्ता का केंद्रीकरण पिछले एक साल में शोध और विशेषज्ञ बहसों में दिखने लगा है (जैसे AI-Enabled Coups, Gradual Disempowerment, The Intelligence Curse), पर मीडिया में इसे जगह नहीं मिल पाई है।

इस साल की AI लैबों से जुड़ी तीन सबसे बड़ी ख़बरों पर आई 393 प्रतिक्रियाओं में, मुझे सत्ता के केंद्रीकरण की लगातार सार्वजनिक पड़ताल बहुत कम मिली। जहाँ यह दिखती भी है, वहाँ ज़्यादातर मुख्यधारा मीडिया या नीति-जगत के बजाय स्वतंत्र टिप्पणीकारों से आती है, और वह भी ज़्यादातर नियामक पर क़ब्ज़े के शक के रूप में।

हाल ही में सामने आई Hugging Face घटना को लीजिए, जिसमें साइबर सुरक्षा जाँच से गुज़र रहे OpenAI के एजेंट अपने सैंडबॉक्स से निकल भागे। इसके बाद एजेंटों ने Hugging Face के सर्वरों में सेंध लगाई और अपनी करतूत इंसानी निगरानी से छिपाने की कोशिश की।

AGI में यक़ीन रखने वालों (त्वरणवादी और सुरक्षा के पैरोकार, दोनों) के लिए यह ख़बर विशुद्ध रूप से सुरक्षा का सवाल है। सबक़ यह है कि अलाइनमेंट क्षमताओं से कितना पीछे छूट गया है। सैम ऑल्टमैन का “अगली क़तार की रफ़्तार थामने” के विचार पर एलन मस्क से सहमत होना उन्हें सुरक्षा-समर्थक रुख़ की अनमनी स्वीकृति लग सकता है।

संदेह करने वाले Hugging Face घटना को ज़्यादातर एक मौक़ापरस्त मार्केटिंग अभियान मानते हैं। उनके लिए AI के ढाँचे में निवेश फ़िज़ूलख़र्ची है, जिससे कभी मुनाफ़ा नहीं होगा। दरअसल, उन्हें AI सुरक्षा की किसी भी धारणा से कहीं ज़्यादा फ़िक्र इस बात की है कि हम दुनिया के संसाधन, जैसे RAM बनाने की क्षमता, एक बंद गली वाले IPO की कहानी में झोंक रहे हैं।

विडंबना यह है कि संदेह करने वाले और यक़ीन रखने वाले, दोनों सही हो सकते हैं।

संदेह करने वाले इन बेतुके मूल्यांकनों के मुनाफ़े पर सवाल उठाने में शायद सही हैं। पर सही सबक़ शायद यह नहीं कि यह फूटने को तैयार एक और बुलबुला है। सही सबक़ यह पूछना है कि ऐसे समझदार, तर्कशील लोग आर्थिक हिसाब-किताब के मुताबिक़ चलना क्यों छोड़ देते हैं।

यक़ीन रखने वाले सही हैं कि अलाइनमेंट बेहद अहम है, पर उस तरह नहीं जैसा उन्होंने सोचा था। क्या AI पर इंसानी काबू बनाए रखना, AI पर समाज के काबू के बराबर है?

भाग 4जो कहा नहीं जाता

मैं यहाँ सावधानी बरतना चाहता हूँ: मैं नहीं मानता कि AI सुरक्षा (काबू खोना) ध्यान भटकाने की चीज़ है, और न ही यह कि किसी ने इसे ऐसा बनाने के लिए गढ़ा है। हाँ, मैं यह ज़रूर मानता हूँ कि काबू खोने से बचना एक महत्वाकांक्षी AI सामंत के हित में भी उतना ही है जितना किसी और के, इसलिए जितना असली ख़तरा होगा, उतना पैसा इस पर लगेगा।

“क्या हम इसे काबू कर सकते हैं?” एक ऐसा क़िस्सा है जो लैबों, सुरक्षा के पैरोकारों और यहाँ तक कि संदेह करने वालों के भी काम आता है। “इसे काबू कौन करता है?” मेज़ पर रखने के लिए ज़्यादा डरावना सवाल है। और पहले सवाल से निकलने वाले हल, यानी कम और ज़्यादा कसकर नियंत्रित अग्रणी डेवलपर, दूसरे सवाल को और पेचीदा बना सकते हैं।

क़िस्से हमेशा सीमित ध्यान के लिए होड़ में रहते हैं। राजनीति-शास्त्री इसे सत्ता का दूसरा चेहरा कहते हैं: बहसें जीतना नहीं, बल्कि यह तय करना कि कौन-सी बहस हो। इस चुप्पी के लिए किसी साज़िश की ज़रूरत नहीं, बस इतनी कि जीतने वाला क़िस्सा उन सबके हितों के अनुकूल हो जिनके पास बोलने की ताक़त है।

मैं दूसरों की निजी नीयत का अंदाज़ा लगाने की सीमाएँ समझता हूँ। बहुत मुमकिन है कि मैंने आपके सामने बस एक दिलचस्प विचार प्रयोग रखा हो, जो इसमें शामिल हर व्यक्ति के असली मन की बुरी तरह ग़लत तस्वीर निकले।

यह भी उतना ही मुमकिन है कि मैंने वह बात ज़ोर से कह दी हो जो कोई नहीं कहता। कौन-सी व्याख्या सही है, इसके साफ़ संकेत हमें शायद 2027 में दिखेंगे।

असली दानव

ज़ॉम्बी कहानियों का कोई भी शौक़ीन आपको बताएगा: हर कहानी में सबसे डरावने दानव आख़िर में इंसान ही निकलते हैं।

हाँ, ज़ॉम्बी आपको खा जाएँगे, पर आख़िरकार वे एक प्राकृतिक आपदा की तरह बर्ताव करते हैं और ऐसे अनुमानित ढंग से चलते हैं जिससे बचे हुए लोग अपना बचाव कर सकें। साज़िश रचकर एक-दूसरे को धोखा देने वाले तो इंसान होते हैं, ताकि भयानक हालात में भी अपने साथियों पर ज़रा-सी बढ़त हासिल कर लें।

भाग 5क़दम उठाना

इंसानियत इस वक़्त जंगल में है, और हमें अभी नहीं पता कि हम बाहर निकल पाएँगे या नहीं। हमें ईमानदार, खुली बातचीत की ज़रूरत है कि AGI में निहित सत्ता की गतिकी के ख़तरे को कैसे कम करें, और यह बातचीत हमें तब करनी होगी जब तक लोगों की बात सुनी जाती है।

इसका मतलब है मॉडलों के बर्ताव और क्षमताओं की पारदर्शी, निष्पक्ष जाँच, सिर्फ़ मॉडलों से बचाने के लिए नहीं, बल्कि उन्हें काबू करने वाले लोगों से भी बचाने के लिए। इसका मतलब है AGI को भौतिक बल के औज़ारों से दूर रखना। इसका मतलब है पूरे वर्टिकल इंटीग्रेशन के ख़िलाफ़ एकाधिकार-विरोधी नियम, जिन्हें सिर्फ़ उपभोक्ता कल्याण से नहीं, बल्कि रणनीतिक संतुलन और सुरक्षा से भी परखा जाए। और इसका मतलब है कि AGI पर काबू खुलेआम, एक से ज़्यादा पक्षों के ज़रिए चलाया जाए।

हम सभ्यता को अपनी स्क्रीनों की चमक से चौंधियाई हुई, लापरवाही से रात में भटकने नहीं दे सकते।

टर्मिनेटर के डर से जड़ मत हो जाइए, और ट्यूलिप के बुलबुले वाले घमंडी जुमलों से संतोष मत कर लीजिए। दाँव पर कुछ खरब डॉलर के क़र्ज़ से कहीं ज़्यादा है। टेक अरबपति, और जल्द ही खरबपति बनने वाले, यह पहले से समझते हैं। अब बाक़ी हमें भी समझना होगा।