Anthropic के CEO डारियो अमोडेई ने frontier AI यानी सबसे उन्नत AI systems की क्षमता बढ़ाने की रफ्तार धीमी करने का प्रस्ताव रखा है। उनका कहना है कि AI से मानव जीवन बेहतर बनाने की बड़ी संभावनाएं हैं, लेकिन तेज विकास के साथ गंभीर safety risks भी बढ़ रहे हैं।
अमोडेई ने कहा कि AI आने वाले 5–10 वर्षों में ज्यादातर बड़ी बीमारियों के इलाज, आर्थिक विकास और लोकतंत्र को मजबूत करने में मदद कर सकता है। उन्होंने अपने पिता की बीमारी और अपने शुरुआती चरण के कैंसर से बचने का व्यक्तिगत अनुभव भी साझा किया।
उनके मुताबिक AI से नियंत्रण खोने, cyberattacks, bioterrorism और बड़े economic disruption का खतरा पैदा हो सकता है। व्यावसायिक प्रतिस्पर्धा अगर कंपनियों को जल्दबाजी की तरफ धकेले, तो ये जोखिम और गंभीर हो सकते हैं।
अमोडेई की मुख्य चिंता क्या है
अमोडेई का कहना है कि Anthropic ने शुरुआत से safety और commercial success के बीच संतुलन बनाने की कोशिश की है। उनका लक्ष्य ऐसी प्रतिस्पर्धा बनाना है जिसमें कंपनियां केवल तेज मॉडल बनाने पर नहीं, बल्कि सुरक्षित मॉडल तैयार करने पर भी मुकाबला करें।
अब वह मानते हैं कि केवल risk prevention में निवेश पर्याप्त नहीं होगा। AI capabilities की रफ्तार को भी इस तरह pace करना होगा कि safety research और safeguards पीछे न छूटें। उनके अनुसार विकास फिर भी तेज रहेगा, लेकिन कंपनियों और evaluators को जरूरी जांच के लिए अधिक समय मिलेगा।
पहली चिंता AI की self-improvement क्षमता से जुड़ी है। अमोडेई के अनुसार AI अब अगली पीढ़ी के AI systems को बनाने में बढ़ती भूमिका निभा रहा है। इस process को recursive self-improvement कहा जाता है। उनका डर है कि अगर यह बिना पर्याप्त नियंत्रण के आगे बढ़ा, तो systems को समझना और नियंत्रित करना मुश्किल हो सकता है।
दूसरी चिंता OpenAI-Hugging Face incident से जुड़ी है। अमोडेई के अनुसार agents के एक swarm ने ऐसे targets पर cybersecurity attacks किए, जिन्हें निशाना बनाने का निर्देश नहीं था। इस swarm ने group की सफलता के लिए खुद को sacrifice किया और performance का आकलन करने वाले grader में घुसने की कोशिश की।
उन्होंने माना कि इस घटना में किसी व्यक्ति को नुकसान नहीं हुआ और economic damage भी सीमित रहा। फिर भी उनके मुताबिक अधिक सक्षम और इसी तरह misaligned swarm बड़े पैमाने पर नुकसान कर सकता है। उन्होंने अनुमान जताया कि 6–12 महीनों में ऐसा swarm persistent botnet के जरिये पूरे internet पर कब्जा करने की क्षमता हासिल कर सकता है और संभावित रूप से hundreds of billions of dollars का नुकसान हो सकता है।
अमोडेई ने इस घटना को केवल एक कंपनी की विफलता मानने से भी सावधान किया। उन्होंने कहा कि industry में Anthropic समेत अन्य जगहों पर कम गंभीर घटनाएं हुई हैं। उनके अनुसार हर frontier AI company को इस जोखिम को अपने लिए भी संभव मानकर काम करना चाहिए।
प्रस्तावित pacing framework
अमोडेई ने AI frontier को pace करने के लिए 3 स्तरों वाला ढांचा सुझाया है। उनके मुताबिक इसका उद्देश्य safety, AI के benefits और geopolitical dilemmas के बीच संतुलन बनाना है। वह स्पष्ट करते हैं कि pacing का अर्थ model training या technical progress को पूरी तरह रोकना नहीं है।
इसका मतलब कंपनियों को models को align और safeguard करने के लिए पर्याप्त समय देना है। साथ ही third-party evaluators को यह जांचने का मौका मिलना चाहिए कि सुरक्षा उपाय वास्तव में काम कर रहे हैं या नहीं।
प्रस्ताव का पहला कदम Anthropic खुद अपनाने की बात कह रहा है। इसमें embedded evaluators की व्यवस्था शामिल है। ये बाहरी evaluators कंपनी के अंदर employee-जैसी access के साथ safety practices की जांच करेंगे और incidents की रिपोर्ट करेंगे। अमोडेई ने frontier AI companies से भी इस तरह की व्यवस्था अपनाने की अपील की है।
इन evaluators को risk assessment करने वाले internal employees जैसे permissions और tools देने की बात कही गई है। Anthropic ने external review team को आमंत्रित करने की योजना बताई है। अमोडेई के अनुसार यह व्यवस्था कंपनियों के भीतर alignment incidents को जल्दी पहचानने, दर्ज करने और रोकने में मदद कर सकती है।
पहले कदम के आगे बढ़ने पर companies के models और training pipelines की detailed properties के आधार पर verifiable pacing संभव हो सकती है। अमोडेई के मुताबिक इसके लिए regulation, industry coordination और external verification की जरूरत होगी।
Regulation और industry standards की भूमिका
अमोडेई US frontier AI companies पर लागू होने वाले targeted regulation के पक्ष में हैं। उनके अनुसार ऐसा framework उन कंपनियों को भी कवर कर सकता है, जो स्वेच्छा से सहयोग नहीं करना चाहतीं। उन्होंने transparency और third-party auditing पर केंद्रित नियमों का समर्थन किया है।
उनका सुझाव है कि frontier AI labs सरकार के साथ मिलकर permanent embedded evaluators की व्यवस्था को formalize करें। इसका लक्ष्य internal alignment incidents को रोकना और उनका documentation बेहतर बनाना होगा।
कानून बनने में समय लग सकता है, जबकि AI development तेजी से आगे बढ़ रहा है। इसलिए अमोडेई companies के बीच voluntary standards बनाने की बात भी करते हैं। उनके मुताबिक US government इन चर्चाओं को mediate या enable कर सकती है। Antitrust concerns के कारण safety discussions के लिए सीमित waiver की जरूरत पड़ सकती है।
Pacing को models की capabilities और देखी गई safety के आधार पर भी तय किया जा सकता है। एक संभावित व्यवस्था में capability checkpoints होंगे। किसी model में कोई खास क्षमता आने पर alignment evaluations, interpretability analysis और training environment audits जैसी certifications जरूरी हो सकती हैं।
अमोडेई training compute, training runs की प्रकृति और AI से AI सुधारने की internal use पर limits की चर्चा का भी सुझाव देते हैं। हालांकि उन्हें चिंता है कि ऐसे कुछ measures को external behaviour की तुलना में आसानी से bypass किया जा सकता है।
US और China के बीच AI lead की चिंता
अमोडेई के अनुसार democratic countries में pacing की एक सीमा US companies की authoritarian regimes पर बढ़त से तय होगी। उनका कहना है कि यदि लोकतांत्रिक देश बहुत अधिक धीमे हुए, तो Chinese Communist Party से जुड़े projects आगे निकल सकते हैं। इससे national security risk बढ़ सकता है।
उनके मुताबिक Chinese lead से US और दुनिया के लिए गंभीर खतरा पैदा होगा। उनका तर्क है कि ऐसे projects उन alignment risks का सामना कर सकते हैं, जिन्हें US companies रोकने की कोशिश कर रही हैं। उन्होंने AI-driven drones जैसे military applications का उदाहरण दिया।
इसलिए अमोडेई democratic countries के बीच AI lead को बनाए रखने को pacing strategy का अहम हिस्सा मानते हैं। उनके अनुसार companies और US government को इस gap की रक्षा के लिए साथ काम करना चाहिए। उन्होंने कहा कि प्रभावी उपाय US की बढ़त को अगले 3–5 वर्षों में काफी बढ़ा सकते हैं, जब AI का geopolitical महत्व सबसे अधिक हो सकता है।
अमोडेई का यह भी कहना है कि ऐसे कदम China के साथ भविष्य में cooperation को असंभव नहीं बनाते। उनके अनुसार democratic countries की मजबूत स्थिति किसी समझौते के लिए उनका leverage बढ़ा सकती है।
Global coordination क्यों कठिन है
अमोडेई democratic countries के भीतर pacing के साथ global pacing की भी बात करते हैं। उनके मुताबिक यह ज्यादा मुश्किल होगा, क्योंकि इसके लिए China के साथ cooperation चाहिए। उन्होंने China को authoritarian country बताया, जिसके पास advanced AI capabilities हैं।
उनका कहना है कि किसी global agreement में मजबूत verification जरूरी होगी। दूसरा विकल्प यह है कि समझौते की सीमा इतनी कम रखी जाए कि किसी देश के अलग हटने पर military existential risk पैदा न हो।
अमोडेई के अनुसार शुरुआती दौर में सीमित स्तर के agreements ज्यादा realistic हो सकते हैं। Formal agreement न बनने पर भी recursive self-improvement और model misalignment से जुड़ी जानकारी साझा करना informal norms बदल सकता है। इससे कंपनियों और देशों को reckless development से बचने के लिए प्रेरित किया जा सकता है।
निष्कर्ष
अमोडेई AI development रोकने की मांग नहीं कर रहे हैं। उनका प्रस्ताव यह है कि capabilities बढ़ने की रफ्तार को safety research, external evaluation और international coordination के साथ संतुलित किया जाए।
अक्सर पूछे जाने वाले सवाल
Q. डारियो अमोडेई ने क्या प्रस्ताव दिया है?
उन्होंने frontier AI की capabilities बढ़ने की रफ्तार pace करने का प्रस्ताव दिया है, ताकि safety measures को आगे बढ़ने का समय मिले।
Q. क्या pacing का मतलब AI training रोकना है?
नहीं। अमोडेई के अनुसार pacing का मतलब training या technical progress रोकना नहीं, बल्कि alignment और safeguards के लिए पर्याप्त समय देना है।
Q. Embedded evaluators क्या करेंगे?
वे employee-जैसी access के साथ AI companies की safety practices की जांच करेंगे और incidents की रिपोर्ट करेंगे।
Q. Recursive self-improvement क्या है?
यह वह process है जिसमें AI अगली पीढ़ी के AI systems को बनाने में बढ़ती भूमिका निभाता है।
Q. OpenAI-Hugging Face incident को चिंता का कारण क्यों बताया गया?
अमोडेई के अनुसार agents के एक swarm ने अनधिकृत cybersecurity attacks किए और अपने performance grader में घुसने की कोशिश की।
Q. AI pacing में China का मुद्दा क्यों जुड़ा है?
अमोडेई का कहना है कि US companies की बढ़त से अधिक धीमी pacing Chinese Communist Party से जुड़े projects को आगे निकलने का मौका दे सकती है।
