સુપરસાઈઝ્ડ AI મોડલ્સ: જાયન્ટ કમ્પ્યુટિંગ સિસ્ટમ્સ ટિપીંગ પોઈન્ટ પર પહોંચી રહી છે

• લેખક:
• લેખક નામ

  ક્વોન્ટમરુન અગમચેતી
• જૂન 2, 2023

2012 થી, આર્ટિફિશિયલ ઇન્ટેલિજન્સ (AI) માં નોંધપાત્ર પ્રગતિ નિયમિતપણે થઈ છે, મુખ્યત્વે કોમ્પ્યુટિંગ શક્તિમાં વધારો (ટૂંકમાં "કમ્પ્યુટ") દ્વારા ચલાવવામાં આવે છે. 2020માં લૉન્ચ કરાયેલા સૌથી મોટા મૉડલમાંના એકે 600,000ના પ્રથમ મૉડલ કરતાં 2012 ગણી વધુ ગણતરીનો ઉપયોગ કર્યો હતો. OpenAIના સંશોધકોએ 2018માં આ વલણની નોંધ લીધી હતી અને ચેતવણી આપી હતી કે આ વૃદ્ધિ દર લાંબા સમય સુધી ટકાઉ રહેશે નહીં.

સુપરસાઇઝ્ડ AI મોડલ્સ સંદર્ભ

ઘણા મશીન લર્નિંગ (ML) ડેવલપર્સ ડીપ લર્નિંગ (DL) માટે ટ્રાન્સફોર્મર મોડલ્સનો ઉપયોગ કરે છે કારણ કે તેમની દેખીતી અમર્યાદ સંભાવના છે. આ મોડેલોના ઉદાહરણોમાં જનરેટિવ પ્રી-ટ્રેઇન્ડ ટ્રાન્સફોર્મર 2 (GPT-2), GPT-3, ટ્રાન્સફોર્મર્સ (BERT), અને ટ્યુરિંગ નેચરલ લેંગ્વેજ જનરેશન (NLG) થી બાયડાયરેક્શનલ એન્કોડર રિપ્રેઝન્ટેશનનો સમાવેશ થાય છે. આ અલ્ગોરિધમ્સમાં ઘણીવાર વાસ્તવિક-વિશ્વ એપ્લિકેશનો હોય છે જેમ કે મશીન અનુવાદ અથવા સમય શ્રેણીની આગાહી. 

કૃત્રિમ બુદ્ધિમત્તા મોડ્સને વધુ તાલીમ ડેટા સમાવવા અને અનુમાનો પર વધુ સારા બનવા માટે વિસ્તરણ કરવું પડશે. આ જરૂરિયાતને કારણે અબજો પેરામીટર્સ (અલ્ગોરિધમ્સ દ્વારા અનુમાનો કરવા માટે ઉપયોગમાં લેવાતા ચલ) સાથે સુપરસાઇઝ્ડ મોડલ્સનો ઉદય થયો છે. આ મૉડલો OpenAI ના GPT-3 (અને ડિસેમ્બર 2022માં લૉન્ચ થયેલ તેની ChatGPT ક્રિયાપ્રતિક્રિયા), ચીન સ્થિત PanGu-alpha, Nvidia's Megatron-Turing NLG અને ડીપમાઇન્ડના ગોફર દ્વારા રજૂ કરવામાં આવે છે. 2020 માં, GPT-3 ને તાલીમ આપવા માટે એક સુપર કોમ્પ્યુટરની જરૂર હતી જે વિશ્વના પાંચ સૌથી મોટા કમ્પ્યુટરમાં સામેલ હતું. 

જો કે, આ મોડલ્સને મોટા પ્રમાણમાં ઉર્જા-સઘન તાલીમ ડેટાની જરૂર હોય છે. ડીપ લર્નિંગ એ પ્રચંડ કમ્પ્યુટ પાવરનો ઉપયોગ કરવાની તેની ક્ષમતા પર આધાર રાખે છે, પરંતુ આ ટૂંક સમયમાં બદલાશે. તાલીમ ખર્ચાળ છે, AI ચિપ્સની મર્યાદાઓ છે, અને મોટા મોડલ્સને તાલીમ આપવાથી પ્રોસેસરો બંધ થઈ જાય છે, જેનાથી તે બધાનું સંચાલન કરવું મુશ્કેલ બને છે. પરિમાણ જેટલું મોટું છે, આ મોડેલોને તાલીમ આપવી તેટલું મોંઘું છે. નિષ્ણાતો સંમત થાય છે કે એક એવો મુદ્દો આવશે જ્યાં સુપરસાઇઝ્ડ AI મોડલ તાલીમ આપવા માટે ખૂબ ખર્ચાળ અને ઊર્જા-સઘન બની શકે છે. 

વિક્ષેપકારક અસર

2020 માં, OpenAI એ પેરામીટર્સની સંખ્યા અને ડેટાસેટના કદને ધ્યાનમાં રાખીને સંખ્યાબંધ મોડલ્સને તાલીમ આપવા માટે જરૂરી લઘુત્તમ ગણતરીની રકમનો અંદાજ કાઢ્યો હતો. આ સમીકરણો કેવી રીતે ML ને તે ડેટાને નેટવર્કમાંથી ઘણી વખત પસાર કરવાની જરૂર પડે છે, પેરામીટર્સની સંખ્યામાં વધારો થતાં દરેક પાસની ગણતરી કેવી રીતે વધે છે અને પેરામીટર્સની સંખ્યા વધવાથી કેટલા ડેટાની જરૂર પડે છે તેના માટે આ સમીકરણો જવાબદાર છે.

ઓપન એઆઈના અંદાજ મુજબ, ધારીએ કે વિકાસકર્તાઓ મહત્તમ કાર્યક્ષમતા પ્રાપ્ત કરી શકે છે, GPT-4 (GPT-100 (3 ટ્રિલિયન પેરામીટર્સ) કરતા 17.5 ગણું મોટું) બનાવવા માટે ઓછામાં ઓછા એક વર્ષ સુધી ચાલતા 7,600 ગ્રાફિક્સ પ્રોસેસિંગ યુનિટ્સ (GPUs)ની જરૂર પડશે અને તેની કિંમત લગભગ છે. USD $200 મિલિયન. 100-ટ્રિલિયન પેરામીટર મોડલને એક વર્ષ માટે તેને પાવર કરવા માટે 83,000 GPU ની જરૂર પડશે, જેની કિંમત USD $2 બિલિયનથી વધુ છે.

તેમ છતાં, એમએલ સોલ્યુશન્સની માંગ વધવાથી ટેક કંપનીઓ તેમના સતત વિસ્તરતા સુપરસાઇઝ્ડ AI મોડલ્સમાં સહયોગ કરી રહી છે અને રોકાણ કરી રહી છે. ઉદાહરણ તરીકે, ચીન સ્થિત Baidu અને Peng Cheng Lab એ PCL-BAIDU વેનક્સિનને 280 બિલિયન પેરામીટર્સ સાથે રિલીઝ કર્યું છે. PCL-BAIDU નો ઉપયોગ Baiduના ન્યૂઝ ફીડ્સ, સર્ચ એન્જિન અને ડિજિટલ સહાયક દ્વારા પહેલેથી જ થઈ રહ્યો છે. 

ડીપમાઈન્ડે ડિસેમ્બર 2021માં બનાવેલ લેટેસ્ટ ગો-પ્લેઈંગ પ્રોગ્રામ વર્ઝનમાં 280 બિલિયન પેરામીટર્સ છે. Google Switch-Transformer-GLaM મોડલ્સમાં અનુક્રમે 1 ટ્રિલિયન અને 1.2 ટ્રિલિયન પેરામીટર્સ છે. બેઇજિંગ એકેડેમી ઓફ AIનું Wu Dao 2.0 હજી વધુ વિશાળ છે અને તેમાં 1.75 ટ્રિલિયન પરિમાણો હોવાનું નોંધાયું છે. જેમ જેમ સ્માર્ટ શહેરો અને ઓટોમેશન વિક્ષેપોને આગળ ધપાવવાનું ચાલુ રાખે છે, નિષ્ણાતો અનિશ્ચિત છે કે AI કમ્પ્યુટ આવા ભવિષ્યને કેવી રીતે સમર્થન આપશે. 

સુપરસાઇઝ્ડ AI મોડલ્સની અસરો

સુપરસાઇઝ્ડ AI મોડલ્સની વ્યાપક અસરોમાં આનો સમાવેશ થઈ શકે છે: 

• ઓછી ઉર્જાનો વપરાશ કરતી AI કોમ્પ્યુટર ચિપ્સ વિકસાવવામાં રોકાણ અને તકોમાં વધારો. 
• કમ્પ્યુટિંગ પાવરના અભાવે AI ની પ્રગતિ ધીમી પડી, જેના કારણે ઉર્જા-સંરક્ષક તકનીકો અને ઉકેલો માટે વધુ ભંડોળ મળ્યું.
• ML વિકાસકર્તાઓ ટ્રાન્સફોર્મર્સ સિવાય વૈકલ્પિક મોડલ બનાવે છે, જે વધુ કાર્યક્ષમ અલ્ગોરિધમ્સ માટે શોધ અને નવીનતા તરફ દોરી શકે છે.
• એઆઈ સોલ્યુશન્સ એપ્લિકેશન-કેન્દ્રિત સમસ્યાઓ પર ધ્યાન કેન્દ્રિત કરે છે, તે મુજબ ગણતરીને સમાયોજિત કરે છે અથવા ફક્ત સુપરસાઇઝિંગને બદલે જરૂરિયાત મુજબ ફેરફાર કરે છે.
• વધુ જટિલ ડેટાસેટ્સ AI પ્રોગ્રામ્સને હવામાનની આગાહી, અવકાશ શોધ, તબીબી નિદાન અને આંતરરાષ્ટ્રીય વેપાર સહિત વધુ સારી આગાહીઓ કરવા દે છે.

ટિપ્પણી કરવા માટેના પ્રશ્નો

• જો તમે AI સેક્ટરમાં કામ કરો છો, તો વધુ સારા ML મોડલ્સ વિકસાવવામાં કઈ પ્રગતિ થઈ છે?
• શીખવા માટે વ્યાપક તાલીમ ડેટા સાથે મોડેલોના અન્ય સંભવિત લાભો શું છે?