मानवले कसरी कृत्रिम सुपरिटेलिजेन्स विरुद्ध रक्षा गर्नेछ: कृत्रिम बुद्धिमत्ताको भविष्य P5

छवि क्रेडिट: क्वान्टमरुन

मानवले कसरी कृत्रिम सुपरिटेलिजेन्स विरुद्ध रक्षा गर्नेछ: कृत्रिम बुद्धिमत्ताको भविष्य P5

    वर्ष 65,000 ईसापूर्व हो, र एक रूपमा Thylacoleo, तपाईं र तपाईंको प्रकारको पुरातन अष्ट्रेलियाका महान शिकारीहरू थिए। तपाईं भूमिमा स्वतन्त्र रूपमा घुम्नुभयो र तपाईंको छेउमा भूमि ओगटेका सँगी सिकारीहरू र सिकारहरूसँग सन्तुलनमा बस्नुभयो। मौसमहरूले परिवर्तन ल्याए, तर तपाईं र तपाईंको पुर्खाहरूले सम्झन सक्नुभएसम्म पशु राज्यमा तपाईंको स्थिति चुनौतीपूर्ण रह्यो। त्यसपछि एक दिन नयाँहरू देखा परे।

    अफवाह छ कि तिनीहरू विशाल पानीको पर्खालबाट आइपुगेका थिए, तर यी प्राणीहरू जमिनमा बस्न बढी सहज देखिन्छन्। तपाईंले यी प्राणीहरू आफैले हेर्नुपर्थ्यो।

    यो केहि दिन लाग्यो, तर तपाईं अन्ततः तटमा बनाउनुभयो। आकाशमा आगो सल्किरहेको थियो, यी प्राणीहरूमा जासुसी गर्नको लागि एक उत्तम समय, हुनसक्छ तिनीहरूले कस्तो स्वाद लिन्छन् भनेर हेर्नको लागि एक खाने प्रयास गर्नुहोस्।

    तपाईंले एउटा पत्ता लगाउनुहुन्छ।

    यो दुई खुट्टामा हिड्यो र कुनै फर थिएन। कमजोर देखिन्थ्यो । प्रभावहीन। यसले राज्यको बीचमा जुन डर पैदा गरिरहेको थियो त्यो सायद मूल्यवान थिएन।

    रातले उज्यालोलाई पछ्याउने बित्तिकै तपाईंले सावधानीपूर्वक आफ्नो दृष्टिकोण बनाउन थाल्नुहुन्छ। तपाईं नजिक आउँदै हुनुहुन्छ। त्यसपछि तपाईं स्थिर। चर्को आवाज निस्कन्छ र त्यसपछि ती मध्ये चार जना यसको पछाडिको जंगलबाट बाहिर देखा पर्दछन्। कति ओटा छ त्यहाँ?

    प्राणीले अरूलाई रूखको रेखामा पछ्याउँछ, र तपाईंले पछ्याउनुहोस्। र तपाईंले जति धेरै गर्नुहुन्छ, त्यति नै अनौठो आवाजहरू तपाईंले सुन्नुहुन्छ जबसम्म तपाईंले यी प्राणीहरूमध्ये अझ बढी भेट्टाउनुहुन्न। तपाईं एक दूरीमा पछ्याउनुहुनेछ जब तिनीहरू जंगलबाट किनाराको क्लियरिङमा निस्किन्छन्। ती मध्ये धेरै छन्। तर अझ महत्त्वपूर्ण कुरा, तिनीहरू सबै शान्तपूर्वक आगोको वरिपरि बसिरहेका छन्।

    तपाईंले यी आगोहरू पहिले देख्नुभएको छ। गर्मी मौसममा कहिलेकाहीँ आकाशको आगो जमिनमा पुगेर सिंगो वन जलाइदिन्छ । यी प्राणीहरू, अर्कोतर्फ, तिनीहरूले यसलाई कुनै न कुनै रूपमा नियन्त्रण गरिरहेका थिए। कस्ता प्राणीमा यस्तो शक्ति हुन सक्छ ?

    तपाईं दूरीमा हेर्नुहुन्छ। धेरै ठूलो पानी पर्खाल माथि आउँदैछन्।

    तपाईं एक कदम पछि हट्नुहोस्।

    यी प्राणीहरू राज्यका अरूहरू जस्तै छैनन्। तिनीहरू पूर्ण रूपमा नयाँ कुरा हुन्।

    तपाईं छोडेर आफ्नो आफन्तहरूलाई चेतावनी दिने निर्णय गर्नुहोस्। यदि तिनीहरूको संख्या धेरै बढ्यो भने, कसलाई थाहा छ के हुन सक्छ।

    ***

    यो विश्वास गरिन्छ कि अष्ट्रेलिया महाद्वीपमा अन्य मेगाफाउनाको बहुमतसँगै थाइलाकोलियो मानवको आगमन पछि अपेक्षाकृत छोटो समयमा लोप भयो। अरू कुनै पनि शीर्ष स्तनधारी शिकारीहरूले यसको स्थान लिएनन् - त्यो हो जबसम्म तपाईंले त्यो वर्गमा मानिसहरूलाई गणना नगर्नु हुन्छ।

    यो रूपकलाई बजाउनु यस शृङ्खला अध्यायको केन्द्रविन्दु हो: के भविष्यको कृत्रिम सुपरइन्टेलिजेन्स (एएसआई) ले हामी सबैलाई ब्याट्रीमा परिणत गर्नेछ र त्यसपछि हामीलाई म्याट्रिक्समा जोड्नेछ वा मानिसले साइ-फाईको शिकार हुनबाट बच्ने उपाय निकाल्नेछ, एआई प्रलयको षड्यन्त्र?

    अहिलेसम्म हाम्रो श्रृंखला मा कृत्रिम बुद्धिमत्ताको भविष्य, हामीले सबै प्रकारका AI अन्वेषण गरेका छौं, जसमा AI को एक विशेष रूपको सकारात्मक सम्भाव्यता समावेश छ, ASI: एक कृत्रिम प्राणी जसको भविष्यको बौद्धिकताले हामीलाई तुलनामा कमिलाहरू जस्तो देखाउनेछ।

    तर कसले भन्न सक्छ कि यो स्मार्ट भएकोले सधैंभरि मानवबाट आदेश लिने स्वीकार गर्दछ। यदि चीजहरू दक्षिणतिर गयो भने हामीले के गर्ने? हामी कसरी एक बदमाश ASI विरुद्ध रक्षा गर्नेछौं?

    यस अध्यायमा, हामी फर्जी प्रचारलाई काट्नेछौं - कमसेकम यो 'मानव विलुप्तता स्तर' खतराहरूसँग सम्बन्धित छ — र विश्व सरकारहरूलाई उपलब्ध यथार्थवादी आत्म-रक्षा विकल्पहरूमा ध्यान केन्द्रित गर्नेछौं।

    के हामी कृत्रिम सुपरइन्टेलिजेन्समा थप अनुसन्धान रोक्न सक्छौं?

    ASI ले मानवतामा निम्त्याउन सक्ने सम्भावित जोखिमहरूलाई ध्यानमा राख्दै, सोध्नको लागि पहिलो स्पष्ट प्रश्न हो: के हामी AI मा थप अनुसन्धान रोक्न सक्दैनौं? वा कम्तिमा कुनै पनि अनुसन्धानलाई निषेध गर्नुहोस् जसले हामीलाई खतरनाक रूपमा एएसआई सिर्जना गर्ने नजिक पुर्‍याउन सक्छ?

    छोटो जवाफ: होइन।

    लामो जवाफ: यहाँ संलग्न विभिन्न खेलाडीहरूलाई हेरौं।

    अनुसन्धान स्तरमा, आज विश्वभरका धेरै धेरै स्टार्टअपहरू, कम्पनीहरू र विश्वविद्यालयहरूबाट धेरै धेरै एआई अनुसन्धानकर्ताहरू छन्। यदि एक कम्पनी वा देशले आफ्नो एआई अनुसन्धान प्रयासहरू सीमित गर्ने निर्णय गरे भने, तिनीहरू अन्यत्र जारी रहनेछन्।

    यसैबीच, ग्रहका सबैभन्दा मूल्यवान कम्पनीहरूले आफ्नो विशिष्ट व्यवसायहरूमा AI प्रणालीहरूको प्रयोगबाट आफ्नो भाग्य कमाउँदैछन्। उनीहरूलाई AI उपकरणहरूको विकास रोक्न वा सीमित गर्न सोध्नु भनेको उनीहरूको भविष्यको वृद्धि रोक्न वा सीमित गर्न सोध्नु जस्तै हो। आर्थिक रूपमा, यसले उनीहरूको दीर्घकालीन व्यापारलाई धम्की दिनेछ। कानुनी रूपमा, कर्पोरेसनहरूसँग तिनीहरूको सरोकारवालाहरूको लागि निरन्तर मूल्य निर्माण गर्ने विश्वस्त जिम्मेवारी छ; यसको मतलब त्यो मूल्यको वृद्धिलाई सीमित गर्ने कुनै पनि कार्यले मुकदमा निम्त्याउन सक्छ। र यदि कुनै राजनीतिज्ञले एआई अनुसन्धानलाई सीमित गर्न खोज्यो भने, यी विशाल निगमहरूले आफ्नो मन वा आफ्ना सहकर्मीहरूको दिमाग परिवर्तन गर्न आवश्यक लबिङ शुल्क तिर्नेछन्।

    लडाईको लागि, जसरी विश्वभरका आतंककारी र स्वतन्त्रता सेनानीहरूले राम्रो वित्त पोषित सेनाहरू विरुद्ध लड्न छापामार रणनीतिहरू प्रयोग गरेका छन्, साना राष्ट्रहरूले ठूला राष्ट्रहरू विरुद्ध समान रणनीतिक फाइदाको रूपमा AI प्रयोग गर्न प्रोत्साहन पाउनेछन् जसमा धेरै सैन्य फाइदाहरू हुन सक्छन्। त्यस्तै गरी, अमेरिका, रुस र चीनका शीर्ष सेनाहरूका लागि, सैन्य ASI निर्माण गर्नु तपाईंको पछाडिको खल्तीमा आणविक हतियारहरूको हतियार राख्नु बराबर हो। अर्को शब्दमा भन्नुपर्दा, सबै सेनाहरूले भविष्यमा सान्दर्भिक रहन एआईलाई आर्थिक सहयोग जारी राख्नेछन्।

    सरकारहरूको बारेमा के हो? साँच्चै भन्ने हो भने, आजका अधिकांश राजनीतिज्ञहरू (2018) प्राविधिक रूपमा अशिक्षित छन् र उनीहरूलाई AI के हो वा यसको भविष्यको सम्भाव्यताबारे थोरै बुझाइ छ — यसले उनीहरूलाई कर्पोरेट हितहरूद्वारा हेरफेर गर्न सजिलो बनाउँछ।

    र विश्वव्यापी स्तरमा, 2015 मा हस्ताक्षर गर्न विश्व सरकारहरूलाई मनाउन कति गाह्रो थियो भनेर विचार गर्नुहोस् पेरिस सम्झौता जलवायु परिवर्तनको सामना गर्न — र एक पटक हस्ताक्षर गरेपछि, धेरै दायित्वहरू बाध्यकारी पनि थिएनन्। त्यति मात्र होइन, जलवायु परिवर्तन एक समस्या हो जुन मानिसहरूले शारीरिक रूपमा बढ्दो बारम्बार र गम्भीर मौसम घटनाहरू मार्फत विश्वव्यापी रूपमा अनुभव गरिरहेका छन्। अब, AI मा सीमाहरूमा सहमत हुने बारे कुरा गर्दा, यो एक मुद्दा हो जुन धेरै हदसम्म अदृश्य छ र जनताको लागि मुश्किलले बुझ्न सकिने छ, त्यसैले AI सीमित गर्नको लागि कुनै पनि प्रकारको 'पेरिस सम्झौता' को लागि खरीद-इन प्राप्त गर्न शुभकामना।

    अर्को शब्दमा भन्नुपर्दा, कुनै पनि अनुसन्धानलाई रोक्नको लागि आफ्नै उद्देश्यका लागि AI अनुसन्धान गर्ने धेरै चासोहरू छन् जसले अन्ततः ASI निम्त्याउन सक्छ। 

    के हामी कृत्रिम सुपरइन्टेलिजेन्सलाई पिंजरेमा राख्न सक्छौं?

    अर्को तर्कसंगत प्रश्न यो हो कि हामीले अनिवार्य रूपमा एएसआई सिर्जना गरेपछि के हामी एएसआईलाई पिंजरेमा वा नियन्त्रण गर्न सक्छौं? 

    छोटो जवाफ: फेरि, होइन।

    लामो जवाफ: प्रविधि समावेश गर्न सकिँदैन।

    एकको लागि, विश्वका हजारौंदेखि लाखौं वेब विकासकर्ताहरू र कम्प्युटर वैज्ञानिकहरूलाई विचार गर्नुहोस् जसले निरन्तर नयाँ सफ्टवेयर वा अवस्थित सफ्टवेयरको नयाँ संस्करणहरू मन्थन गर्छन्। के हामी इमानदारीपूर्वक भन्न सक्छौं कि तिनीहरूको प्रत्येक सफ्टवेयर रिलीज 100 प्रतिशत बग-मुक्त छ? यी बगहरू हुन् जुन पेशेवर ह्याकरहरूले लाखौंको क्रेडिट कार्ड जानकारी वा राष्ट्रहरूको वर्गीकृत गोप्य चोरी गर्न प्रयोग गर्छन् — र यी मानव ह्याकरहरू हुन्। ASI को लागी, यसको डिजिटल पिंजराबाट उम्कन को लागी एक प्रोत्साहन छ मान्न, तब बगहरु को लागी र सफ्टवेयर को माध्यम बाट तोड्ने प्रक्रिया एक हावा हुनेछ।

    तर यदि एआई अनुसन्धान टोलीले एएसआईलाई बक्स गर्ने तरिका पत्ता लगाए पनि, यसको मतलब यो होइन कि अर्को 1,000 टोलीहरूले यसलाई पनि पत्ता लगाउनेछन् वा यसलाई प्रयोग गर्न प्रोत्साहन दिइनेछ।

    ASI बनाउन अरबौं डलर र दशकौं लाग्न सक्छ। यस प्रकारको पैसा र समय लगानी गर्ने निगमहरू वा सरकारहरूले उनीहरूको लगानीमा महत्त्वपूर्ण प्रतिफलको अपेक्षा गर्दछन्। र एक ASI लाई त्यस प्रकारको प्रतिफल प्रदान गर्न - चाहे त्यो सेयर बजार खेल्ने हो वा बिलियन डलरको नयाँ उत्पादन आविष्कार गर्ने हो वा ठूलो सेनासँग लड्नको लागि विजयी रणनीति योजना बनाउने हो - यसलाई विशाल डाटा सेट वा इन्टरनेटमा निःशुल्क पहुँच चाहिन्छ। ती रिटर्नहरू आफैं उत्पादन गर्न।

    र एक पटक ASI ले संसारको नेटवर्कहरूमा पहुँच प्राप्त गरेपछि, त्यहाँ कुनै ग्यारेन्टी छैन कि हामीले यसलाई यसको पिंजरामा भर्न सक्छौं।

    के एक कृत्रिम सुपरइन्टेलिजेन्सले राम्रो हुन सिक्न सक्छ?

    अहिले, एआई अनुसन्धानकर्ताहरू एएसआई दुष्ट बन्ने बारे चिन्तित छैनन्। सम्पूर्ण दुष्ट, AI sci-fi trope केवल मानव मानव पुन: मानव जाति हो। भविष्यको ASI न त राम्रो वा खराब हुनेछ - मानव अवधारणाहरू - केवल अनैतिक।

    प्राकृतिक धारणा यो छ कि यो खाली नैतिक स्लेट दिएर, AI अनुसन्धानकर्ताहरूले पहिलो ASI नैतिक कोडहरूमा प्रोग्राम गर्न सक्छन् जुन हाम्रो आफ्नैसँग मिल्दोजुल्दो छ ताकि यसले हामीमा टर्मिनेटरहरू हटाउन वा हामी सबैलाई म्याट्रिक्स ब्याट्रीहरूमा परिणत गर्दैन।

    तर यस धारणाले एआई अनुसन्धानकर्ताहरू नैतिकता, दर्शन र मनोविज्ञानका विशेषज्ञहरू पनि हुन् भन्ने गौण धारणा बनाउँछ।

    वास्तवमा, धेरै होइनन्।

    संज्ञानात्मक मनोवैज्ञानिक र लेखक, स्टीवन पिंकरका अनुसार, यो वास्तविकताको अर्थ कोडिङ नैतिकताको कार्य विभिन्न तरिकामा गलत हुन सक्छ।

    उदाहरणका लागि, असल मनसाय भएका AI अनुसन्धानकर्ताहरूले पनि अनजानमा यी ASI मा नराम्रो सोचेका नैतिक कोडहरू कोड गर्न सक्छन् जुन निश्चित परिदृश्यहरूमा ASI लाई समाजपथ जस्तै कार्य गर्न सक्छ।

    त्यस्तै गरी, एआई अनुसन्धानकर्ताले अनुसन्धानकर्ताको जन्मजात पूर्वाग्रहहरू समावेश गर्ने नैतिक कोडहरू प्रोग्राम गर्ने समान सम्भावना छ। उदाहरणका लागि, यदि एएसआईले रूढीवादी बनाम उदारवादी परिप्रेक्ष्यबाट वा बौद्ध बनाम इसाई वा इस्लामिक परम्पराबाट व्युत्पन्न नैतिकताको आधारमा बनाइएको हो भने कस्तो व्यवहार गर्नेछ?

    मलाई लाग्छ तपाईंले यहाँ मुद्दा देख्नुहुन्छ: मानव नैतिकताको कुनै विश्वव्यापी सेट छैन। यदि हामी हाम्रा ASI ले नैतिक संहिता अनुसार काम गरोस् भन्ने चाहन्छौं भने त्यो कहाँबाट आउँछ? हामी कुन नियमहरू समावेश गर्छौं र बहिष्कार गर्छौं? कसले निर्णय गर्छ?

    वा भनौं कि यी AI अनुसन्धानकर्ताहरूले आजको आधुनिक सांस्कृतिक मानदण्ड र कानूनहरूसँग पूर्ण रूपमा मिल्दोजुल्दो ASI सिर्जना गर्छन्। त्यसपछि हामी यस ASI लाई संघीय, राज्य/प्रान्तीय र नगरपालिका ब्यूरोक्रेसीहरूलाई अझ प्रभावकारी रूपमा कार्य गर्न र यी मापदण्डहरू र कानूनहरूलाई अझ राम्रोसँग लागू गर्न मद्दत गर्नका लागि काम गर्छौं (यसैले ASI को लागि सम्भवतः प्रयोगको मामला)। हाम्रो संस्कृति परिवर्तन हुँदा के हुन्छ?

    कल्पना गर्नुहोस् कि क्याथोलिक चर्चले मध्ययुगीन युरोप (१३००-१४०० को दशक) को समयमा चर्चलाई जनसंख्या व्यवस्थापन गर्न मद्दत गर्ने र त्यस समयको धार्मिक सिद्धान्तलाई कडाईका साथ पालना गर्ने लक्ष्यका साथ आफ्नो शक्तिको उचाइमा ASI सिर्जना गरेको थियो। शताब्दीयौं पछि, के महिलाहरूले आजको जस्तै समान अधिकारहरू उपभोग गर्न पाउनेछन्? के अल्पसंख्यकको संरक्षण हुन्छ ? के स्वतन्त्र अभिव्यक्ति प्रवर्द्धन हुनेछ? के चर्च र राज्यको अलगाव लागू हुनेछ? आधुनिक विज्ञान?

    अर्को शब्दमा भन्नुपर्दा, के हामी भविष्यलाई आजको नैतिकता र चलनमा कैद गर्न चाहन्छौं?

    वैकल्पिक दृष्टिकोण भनेको पुस्तकका सह-लेखक कोलिन एलेनद्वारा साझा गरिएको हो। नैतिक मेसिनहरू: रोबोटहरूलाई सहीबाट गलत सिकाउँदै। कठोर नैतिक नियमहरू कोड गर्ने प्रयास गर्नुको सट्टा, हामीसँग ASI ले सामान्य नैतिकता र नैतिकता मानिसहरूले जस्तै अनुभव र अरूसँगको अन्तरक्रिया मार्फत सिक्ने गर्दछ।

    तर यहाँ समस्या के छ भने, यदि एआई अनुसन्धानकर्ताहरूले एएसआईलाई हाम्रा वर्तमान सांस्कृतिक र नैतिक मापदण्डहरू कसरी सिकाउने भनेर मात्र होइन, नयाँ सांस्कृतिक मानदण्डहरू ('अप्रत्यक्ष मानकता' भनिन्छ) सँग कसरी अनुकूलन गर्ने भनेर पनि पत्ता लगाउँछन्। यो ASI ले आफ्नो सांस्कृतिक र नैतिक मान्यताहरूको समझ विकसित गर्ने निर्णय गर्छ अप्रत्याशित हुन्छ।

    र त्यो चुनौती हो।

    एकातिर, AI अनुसन्धानकर्ताहरूले कडा नैतिक मापदण्ड वा नियमहरू ASI मा कोडिङ गर्ने प्रयास गर्न सक्छन् र यसको व्यवहार नियन्त्रण गर्न सक्छन्, तर अप्रत्याशित नतिजाहरू ढिलो कोडिङ, अनैच्छिक पूर्वाग्रह, र सामाजिक मानदण्डहरू जुन एक दिन पुरानो हुन सक्छ। अर्कोतर्फ, हामी ASI लाई मानव नैतिकता र नैतिकतालाई हाम्रो आफ्नै बुझाइको बराबर वा उच्च तरिकाले बुझ्न सिक्नको लागि प्रशिक्षित गर्न प्रयास गर्न सक्छौं र त्यसपछि आशा छ कि यसले मानव समाजको प्रगतिको रूपमा नैतिकता र नैतिकताको आफ्नो बुझाइलाई सही रूपमा विकसित गर्न सक्छ। आगामी दशक र शताब्दीहरूमा अगाडि।

    कुनै पनि तरिकाले, ASI को लक्ष्यहरू हाम्रो आफ्नैसँग पङ्क्तिबद्ध गर्ने कुनै पनि प्रयासले ठूलो जोखिम प्रस्तुत गर्दछ।

    के हुन्छ यदि खराब अभिनेताहरूले जानाजानी खराब कृत्रिम सुपर इन्टेलिजेन्स सिर्जना गर्छन्?

    अहिलेसम्म उल्लिखित विचारको रेललाई ध्यानमा राख्दै, यो सोध्नु उचित प्रश्न हो कि आतंकवादी समूह वा बदमाश राष्ट्रले आफ्नै उद्देश्यका लागि 'दुष्ट' ASI सिर्जना गर्न सम्भव छ।

    यो धेरै सम्भव छ, विशेष गरी ASI सिर्जना गर्न संलग्न अनुसन्धान पछि कुनै न कुनै रूपमा अनलाइन उपलब्ध हुन्छ।

    तर पहिले नै संकेत गरिएझैं, पहिलो ASI सिर्जना गर्न लाग्ने लागत र विशेषज्ञता ठूलो हुनेछ, अर्थात् पहिलो ASI सम्भवतः विकसित राष्ट्र, सम्भवतः अमेरिका, चीन र जापान (संयुक्त राज्य अमेरिका, चीन र जापान) द्वारा नियन्त्रित वा अत्यधिक प्रभावित संस्थाद्वारा सिर्जना गरिनेछ। कोरिया र प्रमुख EU देशहरू मध्ये एक लामो शटहरू छन्)।

    यी सबै देशहरू, प्रतिस्पर्धी हुँदा, प्रत्येकसँग विश्व व्यवस्था कायम राख्न बलियो आर्थिक प्रोत्साहन हुन्छ — तिनीहरूले सिर्जना गर्ने ASI ले त्यो चाहनालाई प्रतिबिम्बित गर्दछ, तिनीहरूले आफूसँग मिल्ने राष्ट्रहरूको हितलाई बढावा दिंदा पनि।

    यसको शीर्षमा, ASI को सैद्धान्तिक बुद्धिमत्ता र शक्ति उसले पहुँच प्राप्त गरेको कम्प्युटिङ पावरको बराबर छ, जसको अर्थ विकसित राष्ट्रहरूका ASIs (जसले अरब डलरको गुच्छा वहन गर्न सक्छ। सुपर कम्प्यूटर) साना राष्ट्रहरू वा स्वतन्त्र आपराधिक समूहहरूबाट ASIs भन्दा ठूलो फाइदा हुनेछ। साथै, ASI हरू अधिक बुद्धिमानी, समयको साथ छिटो बढ्छ।

    त्यसोभए, कच्चा कम्प्युटिङ पावरमा बढि पहुँचको साथमा यो हेड स्टार्ट दिईएको छ, कुनै छायादार संस्था/राष्ट्रले खतरनाक एएसआई सिर्जना गरेमा, विकसित राष्ट्रहरूका एएसआईहरूले कि त यसलाई मार्नेछन् वा पिंजरेमा राख्नेछन्।

    (यो सोचाइको रेखा पनि यही कारण हो कि किन केही AI अनुसन्धानकर्ताहरूले विश्वास गर्छन् कि ग्रहमा एकजना ASI द्वारा मात्र हुनेछ, किनकि पहिलो ASI ले सबै उत्तराधिकारी ASIहरूमा यस्तो टाउको सुरु गर्नेछ कि यसले भविष्यका ASIहरूलाई मारिने खतराको रूपमा देख्न सक्छ। पूर्वनिर्धारित रूपमा। यो अझै अर्को कारण हो कि राष्ट्रहरूले AI मा निरन्तर अनुसन्धानलाई पैसा दिइरहेका छन्, यदि यो 'पहिलो स्थान वा केहि छैन' प्रतिस्पर्धा बन्न पुग्यो भने।)

    ASI इन्टेलिजेन्सले हामीले सोचेको जस्तो गति वा विस्फोट हुँदैन

    हामी एएसआई सिर्जना हुनबाट रोक्न सक्दैनौं। हामी यसलाई पूर्ण रूपमा नियन्त्रण गर्न सक्दैनौं। हामी निश्चित हुन सक्दैनौं कि यसले सधैं हाम्रो साझा चलन अनुसार काम गर्नेछ। Geez, हामी यहाँ हेलिकप्टर आमाबाबु जस्तै आवाज सुरु गर्दै हुनुहुन्छ!

    तर मानवतालाई तपाईंको विशिष्ट अति सुरक्षात्मक अभिभावकबाट अलग गर्ने कुरा के हो भने हामीले एउटा प्राणीलाई जन्म दिइरहेका छौं जसको बुद्धि हाम्रो भन्दा धेरै बढ्नेछ। (र होइन, जब तपाईं भ्रमणको लागि घर आउनुहुन्छ तपाईंको आमाबाबुले तपाईंलाई आफ्नो कम्प्युटर ठीक गर्न सोध्दा यो समान होइन।) 

    आर्टिफिसियल इन्टेलिजेन्स शृङ्खलाको यस भविष्यको अघिल्लो अध्यायहरूमा, हामीले एआई अनुसन्धानकर्ताहरूले एएसआईको बौद्धिकता नियन्त्रणभन्दा बाहिर बढ्छ भनेर किन सोच्छन् भनेर पत्ता लगायौं। तर यहाँ, हामी त्यो बुलबुला फुट्नेछौं ... प्रकारको। 

    तपाईले देख्नुहुन्छ, बुद्धिमत्ताले पातलो हावाबाट मात्र बनाउँदैन, यो अनुभवको माध्यमबाट विकसित हुन्छ जुन बाहिरी उत्तेजनाहरूले आकार दिन्छ।  

    अर्को शब्दमा, हामी एआईसँग प्रोग्राम गर्न सक्छौं सम्भावना सुपर इन्टेलिजेन्ट बन्नको लागि, तर जबसम्म हामीले यसमा एक टन डाटा अपलोड गर्दैनौं वा यसलाई इन्टरनेटमा असीमित पहुँच प्रदान गर्दैनौं वा यसलाई रोबोट बडी पनि दिदैनौं, यसले त्यो क्षमतामा पुग्न केही पनि सिक्ने छैन। 

    र यदि यसले ती उत्तेजनाहरू मध्ये एक वा धेरैमा पहुँच प्राप्त गर्छ भने पनि, ज्ञान वा बुद्धिमा डाटा सङ्कलन मात्र समावेश छैन, यसले वैज्ञानिक विधि समावेश गर्दछ - अवलोकन गर्ने, प्रश्न निर्माण गर्ने, परिकल्पना गर्ने, प्रयोगहरू सञ्चालन गर्ने, निष्कर्ष बनाउने, कुल्ला गर्ने। र सधैंभरि दोहोर्याउनुहोस्। विशेष गरी यदि यी प्रयोगहरूमा भौतिक चीजहरू वा मानवहरूलाई अवलोकन गर्ने समावेश छ भने, प्रत्येक प्रयोगको नतिजा सङ्कलन गर्न हप्ता, महिना वा वर्ष लाग्न सक्छ। यसले यी प्रयोगहरू पूरा गर्नको लागि आवश्यक पर्ने पैसा र कच्चा स्रोतहरूको हिसाब पनि लिँदैन, विशेष गरी यदि तिनीहरूले नयाँ टेलिस्कोप वा कारखाना निर्माण गर्दछन्। 

    अर्को शब्दमा, हो, एएसआईले छिट्टै सिक्नेछ, तर बौद्धिकता जादू होइन। तपाईले एएसआईलाई सुपर कम्प्युटरमा जोड्न सक्नुहुन्न र यो सबै जान्ने आशा गर्न सक्नुहुन्छ। त्यहाँ ASI को डाटा प्राप्तिमा भौतिक बाधाहरू हुनेछन्, जसको मतलब यो अधिक बौद्धिक हुने गतिमा भौतिक बाधाहरू हुनेछन्। यी बाधाहरूले मानवतालाई यो ASI मा आवश्यक नियन्त्रणहरू राख्न आवश्यक समय दिनेछ यदि यसले मानव लक्ष्यहरूसँग लाइन बाहिर काम गर्न थाल्छ भने।

    एक कृत्रिम सुपरइन्टेलिजेन्स मात्र खतरनाक हुन्छ यदि यो वास्तविक संसारमा बाहिर जान्छ

    यस सम्पूर्ण ASI खतरा बहसमा हराएको अर्को बिन्दु यो हो कि यी ASI हरू दुवैमा अवस्थित हुनेछैनन्। तिनीहरूको शारीरिक रूप हुनेछ। र भौतिक रूप भएको कुनै पनि कुरालाई नियन्त्रण गर्न सकिन्छ।

    सबैभन्दा पहिले, एक ASI को लागि आफ्नो बौद्धिक क्षमतामा पुग्न, यो एकल रोबोट निकाय भित्र राख्न सकिँदैन, किनकि यो शरीरले यसको कम्प्युटिङ वृद्धि क्षमता सीमित गर्नेछ। (यसैले रोबोट निकायहरू AGIs वा आर्टिफिसियल जनरल इन्टेलिजेन्सहरू अध्याय दुईमा व्याख्या गरिएको छ यस शृङ्खलाको, जस्तै Star Trek बाट डाटा वा Star Wars बाट R2D2। स्मार्ट र सक्षम प्राणीहरू, तर मानिसजस्तै, तिनीहरूले कति स्मार्ट हुन सक्छन् भन्ने सीमा हुनेछ।)

    यसको मतलब यी भविष्यका एएसआईहरू सम्भवतः सुपर कम्प्युटर वा सुपर कम्प्युटरहरूको नेटवर्क भित्र अवस्थित हुनेछन् जुन आफैं ठूला भवन परिसरहरूमा राखिएका छन्। यदि एएसआईले एड़ी घुमाउँछ भने, मानवहरूले या त यी भवनहरूको शक्ति बन्द गर्न सक्छन्, तिनीहरूलाई इन्टरनेटबाट काट्न सक्छन्, वा यी भवनहरूमा सिधा बम विस्फोट गर्न सक्छन्। महँगो, तर सम्भव छ।

    तर तपाईले सोध्न सक्नुहुन्छ, के यी ASI ले आफैलाई नक्कल गर्न वा आफैंलाई ब्याक अप गर्न सक्दैनन्? हो, तर यी ASI हरूको कच्चा फाइल साइज सम्भवतः यति ठूलो हुनेछ कि तिनीहरूलाई ह्यान्डल गर्न सक्ने सर्भरहरू मात्र ठूला निगमहरू वा सरकारहरूसँग सम्बन्धित छन्, यसको मतलब तिनीहरू खोज्न गाह्रो हुनेछैन।

    के कृत्रिम सुपरइन्टेलिजेन्सले आणविक युद्ध वा नयाँ प्लेग फैलाउन सक्छ?

    यस बिन्दुमा, तपाईले सबै डुम्सडे साइ-फाई कार्यक्रमहरू र चलचित्रहरू हेर्दै हुर्किदै हुनुहुन्छ र सोच्दै हुनुहुन्छ कि यी ASIहरू तिनीहरूको सुपर कम्प्युटर भित्र बस्दैनन्, तिनीहरूले वास्तविक संसारमा वास्तविक क्षति गरेका छन्!

    खैर, यी तोडौं।

    उदाहरणका लागि, यदि कुनै ASI ले चलचित्र फ्रन्चाइज, The Terminator बाट Skynet ASI जस्तो चीजमा रूपान्तरण गरेर वास्तविक संसारलाई धम्की दिन्छ भने के हुन्छ। यस अवस्थामा, ASI आवश्यक हुनेछ गोप्य एक उन्नत राष्ट्रबाट पूरै सैन्य औद्योगिक परिसरलाई विशाल फ्याक्ट्रीहरू निर्माण गर्न ठग्नुहोस् जसले यसको खराब बोली गर्न लाखौं किलर ड्रोन रोबोटहरू निकाल्न सक्छ। यो दिन र युगमा, यो एक खिंचाव हो।

    अन्य सम्भावनाहरूमा एएसआईले मानवहरूलाई आणविक युद्ध र जैव हतियारहरूको धम्की दिन्छ।

    उदाहरणका लागि, ASI ले कुनै न कुनै रूपमा अपरेटरहरूलाई हेरफेर गर्छ वा उन्नत राष्ट्रको आणविक हतियारलाई कमाण्ड गर्ने प्रक्षेपण कोडहरूमा ह्याक गर्छ र पहिलो स्ट्राइक सुरु गर्छ जसले विपक्षी देशहरूलाई आफ्नै आणविक विकल्पहरू (फेरि, टर्मिनेटर ब्याकस्टोरीलाई पुन: ह्यास गर्दै)। वा यदि एएसआईले औषधि प्रयोगशालामा ह्याक गर्छ, उत्पादन प्रक्रियामा छेडछाड गर्छ, र लाखौं मेडिकल चक्कीहरू विषाक्त गर्छ वा कुनै सुपर भाइरसको घातक प्रकोप फैलाउँछ।

    पहिलो बन्द, परमाणु विकल्प प्लेट बन्द छ। आधुनिक र भविष्यका सुपर कम्प्युटरहरू सधैं कुनै पनि देश भित्रको प्रभाव केन्द्रहरू (शहरहरू) नजिकै बनाइन्छ, अर्थात् कुनै पनि युद्धको समयमा आक्रमण हुने पहिलो लक्ष्यहरू। आजका सुपर कम्प्युटरहरू डेस्कटपको आकारमा संकुचित भए पनि, यी एएसआईहरूको भौतिक उपस्थिति रहनेछ, अर्थात् अस्तित्व र बढ्नको लागि उनीहरूलाई डाटा, कम्प्युटिङ पावर, बिजुली र अन्य कच्चा पदार्थहरूमा निर्बाध पहुँच चाहिन्छ, जुन सबै गम्भीर रूपमा हुनेछ। विश्वव्यापी आणविक युद्ध पछि बिग्रिएको। (उचित हुनको लागि, यदि एएसआई 'बाँच्ने प्रवृत्ति' बिना सिर्जना गरिएको छ भने, यो आणविक खतरा एकदम वास्तविक खतरा हो।)

    यसको अर्थ-फेरि, ASI ले आफूलाई जोगाउनको लागि प्रोग्राम गरिएको छ भनी मान्नु- कि यसले कुनै पनि विनाशकारी आणविक घटनाबाट बच्न सक्रिय रूपमा काम गर्नेछ। पारस्परिक रूपमा सुनिश्चित विनाश (MAD) सिद्धान्त जस्तै, तर AI मा लागू।

    र विषाक्त चक्कीहरूको मामिलामा, सायद केही सय मानिसहरू मर्नेछन्, तर आधुनिक औषधि सुरक्षा प्रणालीहरूले दागिएको चक्कीका बोतलहरू केही दिन भित्रै बाहिर निकालेको देख्नेछन्। यस बीचमा, आधुनिक प्रकोप नियन्त्रण उपायहरू एकदम परिष्कृत छन् र प्रत्येक बितेको वर्ष संग राम्रो हुँदै जान्छ; पछिल्लो प्रमुख प्रकोप, 2014 पश्चिम अफ्रिका इबोला प्रकोप, धेरै देशहरूमा केहि महिना भन्दा बढी र कम विकसित देशहरूमा तीन वर्ष भन्दा कम समय सम्म रह्यो।

    त्यसोभए, यदि यो भाग्यशाली छ भने, एएसआईले भाइरल प्रकोपको साथ केही मिलियनलाई मेटाउन सक्छ, तर 2045 सम्म नौ अर्बको संसारमा, त्यो तुलनात्मक रूपमा नगण्य हुनेछ र मेटिने जोखिमको लायक छैन।

    अर्को शब्दमा भन्नुपर्दा, प्रत्येक बितेको वर्षसँगै, विश्वले सम्भावित खतराहरूको निरन्तर फराकिलो दायरा विरुद्ध अझ धेरै सुरक्षा उपायहरू विकास गरिरहेको छ। ASI ले ठूलो क्षति गर्न सक्छ, तर यसले मानवतालाई समाप्त गर्दैन जबसम्म हामीले त्यसलाई सक्रिय रूपमा मद्दत गर्दैनौं।

    एक बदमाश कृत्रिम सुपरइन्टेलिजेन्स विरुद्ध रक्षा गर्दै

    यस बिन्दुमा, हामीले ASI को बारेमा गलत धारणा र अतिशयोक्तिहरूको दायरालाई सम्बोधन गरेका छौं, र अझै, आलोचकहरू रहनेछन्। धन्यबाद, धेरैजसो अनुमान अनुसार, पहिलो ASI हाम्रो संसारमा प्रवेश गर्नु अघि हामीसँग दशकौं छ। र यस चुनौतीमा हाल काम गरिरहेका महान दिमागहरूको संख्यालाई ध्यानमा राख्दै, असम्भवहरू छन् कि हामी कसरी दुष्ट ASI विरुद्ध आफूलाई बचाउने भनेर सिक्ने छौँ ताकि हामी मित्रैलो ASI ले हाम्रो लागि सिर्जना गर्न सक्ने सबै समाधानहरूबाट फाइदा लिन सक्छौं।

    Quantumrun को परिप्रेक्ष्यमा, सबैभन्दा खराब केस ASI परिदृश्य विरुद्ध रक्षा गर्नु भनेको ASI सँग हाम्रो चासोहरू पङ्क्तिबद्ध गर्नु समावेश हुनेछ।

    AI को लागी MAD: सबैभन्दा खराब परिस्थितिहरू विरुद्ध रक्षा गर्न, राष्ट्रहरूले (१) आफ्नो सम्बन्धित सैन्य ASI मा नैतिक 'बाँच्ने प्रवृत्ति' सिर्जना गर्न आवश्यक छ; (1) तिनीहरूको सम्बन्धित सैन्य ASI लाई सूचित गर्नुहोस् कि तिनीहरू ग्रहमा एक्लै छैनन्, र (2) सबै सुपर कम्प्युटरहरू र सर्भर केन्द्रहरू पत्ता लगाउनुहोस् जसले ASI लाई शत्रु राष्ट्रबाट कुनै पनि ब्यालिस्टिक आक्रमणको सजिलो पहुँच भित्र तटरेखाहरूमा समर्थन गर्न सक्छ। यो रणनीतिक रूपमा पागल जस्तो लाग्छ, तर पारस्परिक आश्वस्त विनाशको सिद्धान्तसँग मिल्दोजुल्दो छ जसले संयुक्त राज्य र सोभियतहरू बीचको सर्वांगीण आणविक युद्धलाई रोकेको थियो, एएसआईहरूलाई भौगोलिक रूपमा कमजोर स्थानहरूमा राखेर, हामी उनीहरूलाई सक्रिय रूपमा खतरनाक विश्वव्यापी युद्धहरू रोक्न मद्दत गर्न सक्छौं। विश्वव्यापी शान्तिको रक्षा गर्नुहोस् तर आफैलाई पनि।

    एआई अधिकारहरू कानून बनाउनुहोस्: एक उच्च बुद्धिले अनिवार्य रूपमा एक निम्न मालिकको विरुद्ध विद्रोह गर्नेछ, त्यसैले हामीले यी एएसआईहरूसँग मालिक-सेवक सम्बन्धको मागबाट पारस्परिक रूपमा लाभदायक साझेदारी जस्तो कुरा गर्न आवश्यक छ। यस लक्ष्यतर्फ सकारात्मक कदम भनेको भविष्यमा एएसआईलाई कानुनी व्यक्तित्वको दर्जा दिनु हो जसले उनीहरूलाई बौद्धिक जीवित प्राणीहरू र त्यससँग आउने सबै अधिकारहरूको रूपमा मान्यता दिन्छ।

    ASI स्कूल: कुनै पनि विषय वा पेशा ASI को लागि सिक्न सजिलो हुनेछ, तर हामी ASI ले मास्टर गर्न चाहने सबैभन्दा महत्त्वपूर्ण विषय नैतिकता र नैतिकता हो। एआई अनुसन्धानकर्ताहरूले कुनै पनि प्रकारको आदेश वा नियमलाई कडा कोडिङको आवश्यकता बिना नै सकारात्मक नैतिकता र नैतिकता आफैलाई पहिचान गर्न ASI लाई तालिम दिन भर्चुअल प्रणाली बनाउन मनोवैज्ञानिकहरूसँग सहकार्य गर्न आवश्यक छ।

    प्राप्त गर्न सकिने लक्ष्यहरू: सबै घृणा अन्त्य गर्नुहोस्। सबै दुःखको अन्त्य होस् । यी कुनै स्पष्ट समाधान बिना भयानक अस्पष्ट लक्ष्यहरूको उदाहरणहरू हुन्। तिनीहरू एएसआईलाई तोक्नका लागि खतरनाक लक्ष्यहरू पनि हुन् किनभने यसले मानव अस्तित्वको लागि खतरनाक तरिकाले व्याख्या र समाधान गर्न छनौट गर्न सक्छ। यसको सट्टा, हामीले एएसआई अर्थपूर्ण मिशनहरू तोक्नुपर्छ जुन स्पष्ट रूपमा परिभाषित, क्रमशः कार्यान्वयन र यसको सैद्धांतिक भविष्यको बुद्धिको आधारमा प्राप्त गर्न सकिन्छ। राम्ररी परिभाषित मिसनहरू सिर्जना गर्न सजिलो हुनेछैन, तर यदि विचारपूर्वक लेखिएको छ भने, तिनीहरूले एएसआईलाई लक्ष्यमा केन्द्रित गर्नेछन् जसले मानवतालाई मात्र सुरक्षित राख्दैन, तर सबैको लागि मानव अवस्था सुधार गर्दछ।

    क्वान्टम एन्क्रिप्शन: एक उन्नत ANI प्रयोग गर्नुहोस् (कृत्रिम संकीर्ण बुद्धि हाम्रो महत्वपूर्ण पूर्वाधार र हतियारहरू वरिपरि त्रुटि/बग-मुक्त डिजिटल सुरक्षा प्रणालीहरू निर्माण गर्न, त्यसपछि तिनीहरूलाई क्वान्टम इन्क्रिप्शन पछि सुरक्षित गर्नुहोस् जुन ब्रूट फोर्स आक्रमणद्वारा ह्याक गर्न सकिँदैन। 

    एएनआई आत्महत्या चक्की। एउटा उन्नत ANI प्रणाली सिर्जना गर्नुहोस् जसको एकमात्र उद्देश्य दुष्ट ASI खोज्नु र नष्ट गर्नु हो। यी एकल-उद्देश्य कार्यक्रमहरूले "अफ बटन" को रूपमा काम गर्नेछ, यदि सफल भएमा, सरकार वा सेनाहरूले ASI हरू बस्ने भवनहरूलाई असक्षम वा विस्फोट गराउनबाट जोगिनेछन्।

    निस्सन्देह, यी केवल हाम्रो विचारहरू हुन्। निम्न इन्फोग्राफिक द्वारा बनाईएको थियो एलेक्सी टर्चिन, दृश्यात्मक ए अनुसन्धान कागज काज सोटाला र रोमन वी. याम्पोल्स्की द्वारा, जसले एआई अनुसन्धानकर्ताहरूले दुष्ट एएसआई विरुद्धको रक्षा गर्ने सन्दर्भमा विचार गरिरहेका रणनीतिहरूको हालको सूचीको सारांश दिन्छ।

     

    वास्तविक कारण हामी कृत्रिम सुपरइन्टेलिजेन्ससँग डराउँछौं

    जीवनको माध्यमबाट जाँदै, हामी मध्ये धेरैले मास्क लगाउँछौं जसले हाम्रो गहिरो आवेगहरू, विश्वासहरू र डरहरूलाई लुकाउँछ वा दमन गर्छ जुन हाम्रो दिनहरू शासन गर्ने विभिन्न सामाजिक र कार्य सर्कलहरूमा राम्रोसँग सामाजिककरण र सहकार्य गर्न। तर सबैको जीवनमा केहि बिन्दुहरूमा, चाहे अस्थायी वा स्थायी रूपमा, केहि हुन्छ जसले हामीलाई हाम्रो चेनहरू तोड्न र हाम्रो मास्कहरू च्यात्न अनुमति दिन्छ।

    कतिपयको लागि, यो हस्तक्षेपकारी बल उच्च हुनु वा धेरै पिउनु जस्तै सरल हुन सक्छ। अरूको लागि, यो काममा पदोन्नति वा केही उपलब्धिको लागि धन्यवाद तपाईंको सामाजिक स्थितिमा अचानक टक्कर मार्फत प्राप्त शक्तिबाट आउन सक्छ। र केही भाग्यशालीहरूका लागि, यो लटरी पैसाको बोटलोड स्कोर गरेर आउन सक्छ। र हो, पैसा, शक्ति, र लागूपदार्थ प्रायः सँगै हुन सक्छ। 

    बिन्दु यो हो, राम्रो वा नराम्रोको लागि, हामी जो कोहीमा छौं, जीवनका प्रतिबन्धहरू पग्लिएपछि विस्तार हुन्छ।

    त्यो कृत्रिम सुपर इन्टेलिजेन्सले मानव प्रजातिलाई प्रतिनिधित्व गर्दछ - हाम्रो सामु प्रस्तुत कुनै पनि प्रजाति-स्तर चुनौतीलाई जित्न हाम्रो सामूहिक बुद्धिको सीमिततालाई पगाल्ने क्षमता।

    त्यसोभए वास्तविक प्रश्न यो हो: एक पटक पहिलो ASI ले हामीलाई हाम्रा सीमितताहरूबाट मुक्त गरिदिएपछि, हामी आफूलाई को हुन प्रकट गर्नेछौं?

    यदि हामी एक प्रजातिको रूपमा समानुभूति, स्वतन्त्रता, निष्पक्षता, र सामूहिक कल्याणको उन्नतितर्फ कार्य गर्छौं भने, हामीले हाम्रो ASI तर्फ सेट गरेका लक्ष्यहरूले ती सकारात्मक विशेषताहरू प्रतिबिम्बित गर्नेछन्।

    यदि हामी एक प्रजातिको रूपमा डर, अविश्वास, शक्ति र स्रोतहरूको संचयबाट बाहिर काम गर्छौं भने, हामीले सिर्जना गर्ने ASI हाम्रो सबैभन्दा खराब साइ-फाई डरावनी कथाहरूमा पाइने जस्तै अँध्यारो हुनेछ।

    दिनको अन्त्यमा, यदि हामीले राम्रो AI सिर्जना गर्ने आशा राख्छौं भने हामी एक समाजको रूपमा राम्रो मान्छे बन्न आवश्यक छ।

    कृत्रिम बुद्धिमत्ता श्रृंखला को भविष्य

    आर्टिफिसियल इन्टेलिजेन्स भोलिको बिजुली हो: कृत्रिम बुद्धिमत्ता श्रृंखला P1 को भविष्य

    कसरी पहिलो कृत्रिम सामान्य बुद्धिले समाजलाई परिवर्तन गर्नेछ: कृत्रिम बुद्धिमत्ता श्रृंखला P2 को भविष्य

    हामी कसरी पहिलो आर्टिफिसियल सुपरइन्टेलिजेन्स सिर्जना गर्नेछौं: कृत्रिम बुद्धिमत्ता श्रृंखला P3 को भविष्य

    के आर्टिफिशियल सुपरइन्टेलिजेन्सले मानवतालाई नष्ट गर्नेछ: कृत्रिम बुद्धिमत्ता श्रृंखला P4 को भविष्य

    के मानव कृत्रिम बुद्धिमत्ताको प्रभुत्वमा भविष्यमा शान्तिपूर्वक बाँच्नेछ?: कृत्रिम बुद्धिमत्ता श्रृंखला P6 को भविष्य

    यस पूर्वानुमानको लागि अर्को अनुसूचित अपडेट

    2023-04-27

    पूर्वानुमान सन्दर्भहरू

    निम्न लोकप्रिय र संस्थागत लिङ्कहरू यस पूर्वानुमानको लागि सन्दर्भ गरिएको थियो:

    अर्थशास्त्री
    हामी कसरी अर्कोमा पुग्छौं

    निम्न Quantumrun लिङ्कहरू यस पूर्वानुमानको लागि सन्दर्भ गरिएको थियो: