Miundo ya AI iliyoidhinishwa: Mifumo mikubwa ya kompyuta inafikia kilele

• mwandishi:
• mwandishi jina

  Mtazamo wa Quantumrun
• Juni 2, 2023

Tangu 2012, maendeleo makubwa katika akili ya bandia (AI) yametokea mara kwa mara, hasa yakiendeshwa na kuongeza nguvu za kompyuta ("compute" kwa ufupi). Mojawapo ya miundo mikubwa zaidi, iliyozinduliwa mwaka wa 2020, ilitumia hesabu mara 600,000 zaidi ya muundo wa kwanza kutoka 2012. Watafiti katika OpenAI walibainisha mwelekeo huu mwaka wa 2018 na kuonya kwamba kiwango hiki cha ukuaji hakitakuwa endelevu kwa muda mrefu.

Muktadha wa miundo ya AI iliyoidhinishwa

Wasanidi wengi wa mashine za kujifunza (ML) hutumia miundo ya kibadilishaji data kwa kujifunza kwa kina (DL) kwa sababu ya uwezo wao unaoonekana kuwa na kikomo. Mifano ya miundo hii ni pamoja na Kibadilishaji Kibadilishaji Kinachofunzwa Mapema 2 (GPT-2), GPT-3, Uwakilishi wa Kisimbaji cha Bidirectional kutoka Transfoma (BERT), na Kizazi cha Lugha Asilia cha Turing (NLG). Algoriti hizi mara nyingi huwa na matumizi ya ulimwengu halisi kama vile tafsiri ya mashine au ubashiri wa mfululizo wa saa. 

Njia za kijasusi za Bandia zinapaswa kupanuka ili kuchukua data zaidi ya mafunzo na kuwa bora katika utabiri. Sharti hili limesababisha kuongezeka kwa miundo ya juu zaidi yenye mabilioni ya vigezo (vigezo vinavyotumiwa na algoriti kufanya ubashiri). Aina hizi zinawakilishwa na GPT-3 ya OpenAI (na mwingiliano wake wa ChatGPT uliozinduliwa mnamo Desemba 2022), PanGu-alpha yenye makao yake Uchina, Megatron-Turing NLG ya Nvidia, na DeepMind's Gopher. Mnamo 2020, mafunzo ya GPT-3 yalihitaji kompyuta kuu ambayo ilikuwa kati ya tano kubwa zaidi ulimwenguni. 

Hata hivyo, miundo hii inaelekea kuhitaji kiasi kikubwa cha data ya mafunzo ya nishati. Kujifunza kwa kina kumetegemea uwezo wake wa kutumia nguvu kubwa ya kompyuta, lakini hii itabadilika hivi karibuni. Mafunzo ni ghali, kuna vikwazo kwa chips za AI, na mafunzo ya mifano mikubwa huziba wasindikaji, na kuifanya kuwa vigumu kuzisimamia zote. Kadiri kigezo kinavyokuwa kikubwa, ndivyo inavyogharimu zaidi kufundisha mifano hii. Wataalamu wanakubali kwamba itafika wakati ambapo miundo ya AI iliyoidhinishwa zaidi inaweza kuwa ghali sana na inayotumia nishati nyingi kutoa mafunzo. 

Athari ya usumbufu

Mnamo 2020, OpenAI ilikadiria kiwango cha chini cha hesabu kinachohitajika kutoa mafunzo kwa miundo mingi, ikizingatia idadi ya vigezo na saizi ya data. Milinganyo hii huchangia jinsi ML inavyohitaji data hiyo kupita kwenye mtandao mara nyingi, jinsi hesabu kwa kila pasi inavyoongezeka kadri idadi ya vigezo inavyoongezeka, na ni kiasi gani cha data kinachohitajika kadiri idadi ya vigezo inavyoongezeka.

Kulingana na makadirio ya Open AI, ikizingatiwa kuwa watengenezaji wanaweza kufikia ufanisi wa hali ya juu, kujenga GPT-4 (kubwa mara 100 kuliko GPT-3 (vigezo trilioni 17.5)) kutahitaji vitengo 7,600 vya usindikaji wa picha (GPUs) vinavyofanya kazi kwa angalau mwaka mmoja na kugharimu takriban. Dola za Marekani milioni 200. Muundo wa kigezo cha trilioni 100 utahitaji GPU 83,000 ili kuuendesha kwa mwaka, na kugharimu zaidi ya dola bilioni 2 za Kimarekani.

Hata hivyo, makampuni ya teknolojia yamekuwa yakishirikiana na kumwaga uwekezaji katika miundo yao ya AI inayoendelea kupanuka kadri mahitaji ya suluhu za ML yanavyoongezeka. Kwa mfano, Baidu yenye makao yake Uchina na Peng Cheng Lab ilitoa PCL-BAIDU Wenxin, ikiwa na vigezo bilioni 280. PCL-BAIDU tayari inatumiwa na mipasho ya habari ya Baidu, injini ya utafutaji na msaidizi dijitali. 

Toleo la hivi punde la mpango wa Go-playing, ambalo DeepMind iliunda Desemba 2021, lina vigezo bilioni 280. Miundo ya Google Switch-Transformer-GLaM ina vigezo vya kushangaza vya trilioni 1 na trilioni 1.2, mtawalia. Wu Dao 2.0 kutoka Chuo cha Beijing cha AI ni kubwa zaidi na imeripotiwa kuwa na vigezo trilioni 1.75. Kadiri miji mahiri na otomatiki zinavyoendelea kusukuma usumbufu, wataalam hawana uhakika jinsi kompyuta ya AI itakavyounga mkono mustakabali kama huo. 

Athari za miundo ya AI iliyoidhinishwa

Athari pana za miundo ya AI iliyoidhinishwa inaweza kujumuisha: 

• Kuongezeka kwa uwekezaji na fursa katika kukuza chips za kompyuta za AI ambazo hutumia nishati kidogo. 
• Maendeleo ya AI yalipungua kwa kukosekana kwa nguvu za kompyuta, na kusababisha ufadhili zaidi wa teknolojia na suluhisho za kuhifadhi nishati.
• Wasanidi wa ML huunda miundo mbadala kando na transfoma, ambayo inaweza kusababisha uvumbuzi na uvumbuzi kwa algoriti bora zaidi.
• Suluhu za AI zinazozingatia matatizo ya msingi wa programu, kurekebisha hesabu ipasavyo au kurekebisha inavyohitajika badala ya kuongeza ukubwa tu.
• Seti ngumu zaidi za data zinazoruhusu programu za AI kufanya ubashiri bora, ikijumuisha utabiri wa hali ya hewa, ugunduzi wa anga, uchunguzi wa kimatibabu na biashara ya kimataifa.

Maswali ya kutoa maoni

• Ikiwa unafanya kazi katika sekta ya AI, kuna maendeleo gani katika kuunda mifano bora ya ML?
• Je, ni faida gani nyingine zinazowezekana za miundo iliyo na data ya kina ya mafunzo ya kujifunza kutoka kwayo?