सुपरसाइज्ड एआई मॉडल: विशाल कंप्यूटिंग सिस्टम टिपिंग प्वाइंट तक पहुंच रहे हैं

• लेखक:
• लेखक का नाम

  क्वांटमरन दूरदर्शिता
• 2 जून 2023

2012 के बाद से, कृत्रिम बुद्धिमत्ता (एआई) में महत्वपूर्ण प्रगति नियमित रूप से हुई है, जो मुख्य रूप से बढ़ती कंप्यूटिंग शक्ति (संक्षेप में "गणना") के कारण हुई है। 2020 में लॉन्च किए गए सबसे बड़े मॉडलों में से एक ने 600,000 के पहले मॉडल की तुलना में 2012 गुना अधिक कंप्यूटिंग का उपयोग किया। ओपनएआई के शोधकर्ताओं ने 2018 में इस प्रवृत्ति को नोट किया और चेतावनी दी कि यह विकास दर लंबे समय तक टिकाऊ नहीं होगी।

सुपरसाइज़्ड AI मॉडल संदर्भ

कई मशीन लर्निंग (एमएल) डेवलपर्स अपनी असीमित क्षमता के कारण डीप लर्निंग (डीएल) के लिए ट्रांसफार्मर मॉडल का उपयोग करते हैं। इन मॉडलों के उदाहरणों में जेनरेटिव प्री-प्रशिक्षित ट्रांसफार्मर 2 (जीपीटी-2), जीपीटी-3, ट्रांसफॉर्मर्स से द्विदिशात्मक एनकोडर प्रतिनिधित्व (बीईआरटी), और ट्यूरिंग नेचुरल लैंग्वेज जेनरेशन (एनएलजी) शामिल हैं। इन एल्गोरिदम में अक्सर वास्तविक दुनिया के अनुप्रयोग होते हैं जैसे मशीन अनुवाद या समय श्रृंखला भविष्यवाणी। 

अधिक प्रशिक्षण डेटा को समायोजित करने और भविष्यवाणियों में बेहतर बनने के लिए कृत्रिम बुद्धिमत्ता मोड का विस्तार करना होगा। इस आवश्यकता के कारण अरबों मापदंडों (भविष्यवाणियां करने के लिए एल्गोरिदम द्वारा उपयोग किए जाने वाले चर) वाले सुपरसाइज्ड मॉडल का उदय हुआ है। इन मॉडलों का प्रतिनिधित्व ओपनएआई के जीपीटी-3 (और दिसंबर 2022 में लॉन्च किया गया इसका चैटजीपीटी इंटरेक्शन), चीन स्थित पैनगु-अल्फा, एनवीडिया के मेगेट्रॉन-ट्यूरिंग एनएलजी और डीपमाइंड के गोफर द्वारा किया जाता है। 2020 में, GPT-3 के प्रशिक्षण के लिए एक सुपर कंप्यूटर की आवश्यकता थी जो दुनिया के पांच सबसे बड़े सुपर कंप्यूटर में से एक था। 

हालाँकि, इन मॉडलों को भारी मात्रा में ऊर्जा-गहन प्रशिक्षण डेटा की आवश्यकता होती है। गहन शिक्षण विशाल गणना शक्ति का उपयोग करने की क्षमता पर निर्भर रहा है, लेकिन यह जल्द ही बदल जाएगा। प्रशिक्षण महंगा है, एआई चिप्स की सीमाएँ हैं, और बड़े मॉडलों का प्रशिक्षण प्रोसेसर को अवरुद्ध कर देता है, जिससे उन सभी को प्रबंधित करना कठिन हो जाता है। पैरामीटर जितना बड़ा होगा, इन मॉडलों को प्रशिक्षित करना उतना ही महंगा होगा। विशेषज्ञ इस बात से सहमत हैं कि एक ऐसा बिंदु आएगा जहां सुपरसाइज्ड एआई मॉडल प्रशिक्षित करने के लिए बहुत महंगे और ऊर्जा-गहन हो सकते हैं। 

विघटनकारी प्रभाव

2020 में, OpenAI ने मापदंडों की संख्या और डेटासेट आकार को ध्यान में रखते हुए, कई मॉडलों को प्रशिक्षित करने के लिए आवश्यक गणना की न्यूनतम मात्रा का अनुमान लगाया। ये समीकरण बताते हैं कि कैसे एमएल को उस डेटा को कई बार नेटवर्क से गुजरना पड़ता है, पैरामीटर की संख्या बढ़ने पर प्रत्येक पास के लिए गणना कैसे बढ़ती है, और पैरामीटर की संख्या बढ़ने पर कितने डेटा की आवश्यकता होती है।

ओपन एआई अनुमान के अनुसार, यह मानते हुए कि डेवलपर्स अधिकतम दक्षता प्राप्त कर सकते हैं, जीपीटी-4 (जीपीटी-100 (3 ट्रिलियन पैरामीटर) से 17.5 गुना बड़ा) के निर्माण के लिए कम से कम एक वर्ष तक चलने वाली 7,600 ग्राफिक्स प्रोसेसिंग इकाइयों (जीपीयू) की आवश्यकता होगी और लागत लगभग होगी अमरीकी डालर $200 मिलियन. 100-ट्रिलियन पैरामीटर मॉडल को एक वर्ष तक बिजली देने के लिए 83,000 जीपीयू की आवश्यकता होगी, जिसकी लागत 2 बिलियन अमेरिकी डॉलर से अधिक होगी।

बहरहाल, एमएल समाधानों की मांग बढ़ने के कारण तकनीकी कंपनियां अपने लगातार बढ़ते सुपरसाइज्ड एआई मॉडल में सहयोग कर रही हैं और निवेश कर रही हैं। उदाहरण के लिए, चीन स्थित Baidu और पेंग चेंग लैब ने 280 बिलियन मापदंडों के साथ PCL-BAIDU वेनक्सिन जारी किया। PCL-BAIDU का उपयोग पहले से ही Baidu के समाचार फ़ीड, खोज इंजन और डिजिटल सहायक द्वारा किया जा रहा है। 

नवीनतम गो-प्लेइंग प्रोग्राम संस्करण, जिसे डीपमाइंड ने दिसंबर 2021 में बनाया था, में 280 बिलियन पैरामीटर हैं। Google स्विच-ट्रांसफॉर्मर-GLaM मॉडल में क्रमशः 1 ट्रिलियन और 1.2 ट्रिलियन पैरामीटर हैं। बीजिंग एकेडमी ऑफ एआई का वू डाओ 2.0 और भी अधिक विशाल है और इसमें 1.75 ट्रिलियन पैरामीटर होने की सूचना मिली है। जैसे-जैसे स्मार्ट शहर और स्वचालन लगातार व्यवधान पैदा कर रहे हैं, विशेषज्ञ अनिश्चित हैं कि एआई गणना ऐसे भविष्य में कैसे सहायता करेगी। 

सुपरसाइज़्ड AI मॉडल के निहितार्थ

सुपरसाइज़्ड AI मॉडल के व्यापक निहितार्थों में शामिल हो सकते हैं: 

• कम ऊर्जा खपत करने वाले एआई कंप्यूटर चिप्स विकसित करने में निवेश और अवसर बढ़े। 
• कंप्यूटिंग शक्ति की कमी के कारण एआई की प्रगति धीमी हो गई, जिससे ऊर्जा-संरक्षण प्रौद्योगिकियों और समाधानों के लिए अधिक धन की आवश्यकता हुई।
• एमएल डेवलपर्स ट्रांसफार्मर से अलग वैकल्पिक मॉडल बना रहे हैं, जिससे अधिक कुशल एल्गोरिदम के लिए खोज और नवाचार हो सकता है।
• एआई समाधान एप्लिकेशन-केंद्रित समस्याओं पर ध्यान केंद्रित करते हैं, गणना को तदनुसार समायोजित करते हैं या केवल सुपरसाइज़ करने के बजाय आवश्यकतानुसार संशोधित करते हैं।
• अधिक जटिल डेटासेट एआई कार्यक्रमों को मौसम पूर्वानुमान, अंतरिक्ष खोज, चिकित्सा निदान और अंतर्राष्ट्रीय व्यापार सहित बेहतर भविष्यवाणियां करने की अनुमति देते हैं।

टिप्पणी करने के लिए प्रश्न

• यदि आप एआई क्षेत्र में काम करते हैं, तो बेहतर एमएल मॉडल विकसित करने में क्या प्रगति हुई है?
• सीखने के लिए व्यापक प्रशिक्षण डेटा वाले मॉडल के अन्य संभावित लाभ क्या हैं?