सुपरसाइज्ड एआय मॉडेल्स: जायंट कॉम्प्युटिंग सिस्टीम टिपिंग पॉइंटपर्यंत पोहोचत आहेत

• लेखक बद्दल:
• लेखक नाव

  Quantumrun दूरदृष्टी
• जून 2, 2023

2012 पासून, कृत्रिम बुद्धिमत्ता (AI) मध्ये लक्षणीय प्रगती नियमितपणे होत आहे, मुख्यत्वे वाढत्या संगणकीय शक्तीमुळे (थोडक्यात “गणना”). 2020 मध्ये लाँच झालेल्या सर्वात मोठ्या मॉडेलपैकी एक, 600,000 पासून पहिल्या मॉडेलपेक्षा 2012 पटीने अधिक कंप्युट वापरला गेला. OpenAI मधील संशोधकांनी 2018 मध्ये हा कल लक्षात घेतला आणि असा इशारा दिला की हा विकास दर जास्त काळ टिकणार नाही.

सुपरसाइज्ड एआय मॉडेल संदर्भ

अनेक मशीन लर्निंग (एमएल) डेव्हलपर ट्रान्सफॉर्मर मॉडेल्स डीप लर्निंग (DL) साठी वापरतात कारण त्यांच्या असीम क्षमता दिसत आहेत. या मॉडेल्सच्या उदाहरणांमध्ये जनरेटिव्ह प्री-ट्रेन्ड ट्रान्सफॉर्मर 2 (GPT-2), GPT-3, ट्रान्सफॉर्मर्स (BERT), आणि ट्युरिंग नॅचरल लँग्वेज जनरेशन (NLG) यांचा समावेश होतो. या अल्गोरिदममध्ये सहसा वास्तविक-जागतिक अनुप्रयोग असतात जसे की मशीन भाषांतर किंवा वेळ मालिका अंदाज. 

आर्टिफिशियल इंटेलिजन्स मोडला अधिक प्रशिक्षण डेटा सामावून घेण्यासाठी आणि अंदाज अधिक चांगले होण्यासाठी विस्तार करावा लागेल. या आवश्‍यकतेमुळे अब्जावधी पॅरामीटर्स (अल्गोरिदमद्वारे अंदाज लावण्यासाठी वापरलेली चल) असलेली सुपरसाइज मॉडेल्सची वाढ झाली आहे. हे मॉडेल OpenAI चे GPT-3 (आणि डिसेंबर 2022 मध्ये लॉन्च केलेले ChatGPT संवाद), चीन-आधारित PanGu-alpha, Nvidia चे Megatron-Turing NLG आणि DeepMind's Gopher द्वारे प्रस्तुत केले जातात. 2020 मध्ये, GPT-3 च्या प्रशिक्षणासाठी जगातील पाच सर्वात मोठ्या संगणकांपैकी एक सुपर कॉम्प्युटर आवश्यक होता. 

तथापि, या मॉडेल्सना मोठ्या प्रमाणावर ऊर्जा-केंद्रित प्रशिक्षण डेटाची आवश्यकता असते. सखोल शिक्षण हे प्रचंड संगणकीय शक्ती वापरण्याच्या क्षमतेवर अवलंबून आहे, परंतु हे लवकरच बदलेल. प्रशिक्षण महाग आहे, AI चिप्सच्या मर्यादा आहेत आणि मोठ्या मॉडेल्सचे प्रशिक्षण प्रोसेसरला क्लॉज करते, त्यामुळे त्या सर्वांचे व्यवस्थापन करणे कठीण होते. पॅरामीटर जितका मोठा असेल तितके हे मॉडेल प्रशिक्षित करणे अधिक महाग आहे. तज्ञ सहमत आहेत की असा एक मुद्दा येईल जिथे सुपरसाइज्ड एआय मॉडेल्स प्रशिक्षित करण्यासाठी खूप महाग आणि ऊर्जा-केंद्रित होऊ शकतात. 

व्यत्यय आणणारा प्रभाव

2020 मध्ये, OpenAI ने पॅरामीटर्सची संख्या आणि डेटासेटचा आकार लक्षात घेऊन असंख्य मॉडेल्सचे प्रशिक्षण देण्यासाठी आवश्यक असलेल्या किमान मोजणीचा अंदाज लावला. ही समीकरणे किती वेळा नेटवर्कमधून डेटा पास होण्यासाठी ML ला आवश्यक आहे, पॅरामीटर्सची संख्या वाढल्यावर प्रत्येक पासची गणना कशी होते आणि पॅरामीटर्सची संख्या वाढली म्हणून किती डेटा आवश्यक आहे यावर अवलंबून असते.

ओपन एआयच्या अंदाजानुसार, विकासक कमाल कार्यक्षमता प्राप्त करू शकतात असे गृहीत धरून, GPT-4 (GPT-100 (3 ट्रिलियन पॅरामीटर्स) पेक्षा 17.5 पट मोठे) तयार करण्यासाठी 7,600 ग्राफिक्स प्रोसेसिंग युनिट्स (GPUs) किमान एक वर्ष चालतील आणि अंदाजे खर्च येईल. USD $200 दशलक्ष. 100-ट्रिलियन पॅरामीटर मॉडेलला एका वर्षासाठी 83,000 GPU ची आवश्यकता असेल, ज्याची किंमत USD $2 बिलियनपेक्षा जास्त आहे.

असे असले तरी, एमएल सोल्यूशन्सची मागणी वाढत असताना टेक कंपन्या त्यांच्या सतत विस्तारणाऱ्या सुपरसाइज्ड एआय मॉडेल्समध्ये सहयोग करत आहेत आणि गुंतवणूक करत आहेत. उदाहरणार्थ, चीन-आधारित Baidu आणि Peng Cheng Lab ने PCL-BAIDU Wenxin, 280 अब्ज पॅरामीटर्ससह जारी केले. PCL-BAIDU आधीच Baidu च्या बातम्या फीड, शोध इंजिन आणि डिजिटल सहाय्यकाद्वारे वापरले जात आहे. 

डीपमाइंडने डिसेंबर 2021 मध्ये तयार केलेल्या नवीनतम गो-प्लेइंग प्रोग्राम आवृत्तीमध्ये 280 अब्ज पॅरामीटर्स आहेत. Google Switch-Transformer-GLaM मॉडेल्समध्ये अनुक्रमे 1 ट्रिलियन आणि 1.2 ट्रिलियन पॅरामीटर्स आहेत. बीजिंग अॅकॅडमी ऑफ AI मधील Wu Dao 2.0 हे आणखी मोठे आहे आणि त्यात 1.75 ट्रिलियन पॅरामीटर्स असल्याचे नोंदवले गेले आहे. स्मार्ट शहरे आणि ऑटोमेशन सतत व्यत्यय आणत असल्याने, तज्ञांना खात्री नाही की AI गणना अशा भविष्यात कसे समर्थन करेल. 

सुपरसाइज्ड एआय मॉडेल्सचे परिणाम

सुपरसाइज्ड एआय मॉडेल्सच्या व्यापक परिणामांमध्ये हे समाविष्ट असू शकते: 

• कमी ऊर्जा वापरणाऱ्या AI संगणक चिप्स विकसित करण्यासाठी वाढीव गुंतवणूक आणि संधी. 
• संगणकीय शक्तीच्या कमतरतेमुळे AI प्रगती मंदावली, ज्यामुळे ऊर्जा-संरक्षण तंत्रज्ञान आणि उपायांसाठी अधिक निधी उपलब्ध झाला.
• एमएल डेव्हलपर ट्रान्सफॉर्मरला बाजूला ठेवून पर्यायी मॉडेल्स तयार करतात, ज्यामुळे अधिक कार्यक्षम अल्गोरिदमसाठी शोध आणि नवकल्पना होऊ शकतात.
• एआय सोल्यूशन्स ऍप्लिकेशन-केंद्रित समस्यांवर लक्ष केंद्रित करतात, त्यानुसार मोजणी समायोजित करतात किंवा फक्त सुपरसाइज करण्याऐवजी आवश्यकतेनुसार बदल करतात.
• हवामान अंदाज, अंतराळ शोध, वैद्यकीय निदान आणि आंतरराष्ट्रीय व्यापार यासह AI कार्यक्रमांना अधिक चांगले अंदाज करण्यास अनुमती देणारे अधिक जटिल डेटासेट.

टिप्पणी करण्यासाठी प्रश्न

• जर तुम्ही AI क्षेत्रात काम करत असाल, तर उत्तम ML मॉडेल्स विकसित करण्यात काही प्रगती काय आहे?
• विस्तृत प्रशिक्षण डेटासह मॉडेल्सचे इतर संभाव्य फायदे काय आहेत ज्यातून शिकायचे आहे?