Գերազանց AI մոդելներ. հսկա հաշվողական համակարգերը հասնում են գագաթնակետին
Գերազանց AI մոդելներ. հսկա հաշվողական համակարգերը հասնում են գագաթնակետին
Գերազանց AI մոդելներ. հսկա հաշվողական համակարգերը հասնում են գագաթնակետին
- Հեղինակ:
- Հունիսի 2, 2023
2012 թվականից ի վեր արհեստական ինտելեկտի (AI) զգալի առաջընթացները պարբերաբար տեղի են ունենում, որոնք հիմնականում պայմանավորված են հաշվողական հզորության բարձրացմամբ (կարճ՝ «հաշվարկ»): Ամենամեծ մոդելներից մեկը, որը գործարկվել է 2020 թվականին, օգտագործել է 600,000 անգամ ավելի շատ հաշվարկ, քան 2012 թվականի առաջին մոդելը: OpenAI-ի հետազոտողները նշել են այս միտումը 2018 թվականին և նախազգուշացրել են, որ աճի այս տեմպերը երկար ժամանակ կայուն չեն լինի:
Գերազանց AI մոդելների համատեքստ
Շատ մեքենայական ուսուցման (ML) մշակողներ օգտագործում են տրանսֆորմատորային մոդելներ խորը ուսուցման համար (DL)՝ իրենց անսահման թվացող ներուժի պատճառով: Այս մոդելների օրինակները ներառում են Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Bidirectional Encoder Representations from Transformers (BERT) և Turing Natural Language Generation (NLG): Այս ալգորիթմները հաճախ ունեն իրական աշխարհի կիրառումներ, ինչպիսիք են մեքենայական թարգմանությունը կամ ժամանակային շարքերի կանխատեսումը:
Արհեստական ինտելեկտի ռեժիմները պետք է ընդլայնվեն՝ ավելի շատ ուսուցման տվյալներ տեղավորելու և կանխատեսումներում ավելի լավը դառնալու համար: Այս պահանջը հանգեցրել է միլիարդավոր պարամետրերով գերչափ մոդելների առաջացմանը (փոփոխականներ, որոնք օգտագործվում են ալգորիթմների կողմից կանխատեսումներ անելու համար): Այս մոդելները ներկայացված են OpenAI-ի GPT-3-ով (և ChatGPT-ի փոխազդեցությունը մեկնարկել է 2022 թվականի դեկտեմբերին), չինական PanGu-alpha-ով, Nvidia-ի Megatron-Turing NLG-ով և DeepMind-ի Gopher-ով: 2020 թվականին GPT-3-ի ուսուցման համար անհրաժեշտ էր սուպերհամակարգիչ, որն աշխարհի հինգ խոշորագույնների թվում էր:
Այնուամենայնիվ, այս մոդելները հակված են պահանջել հսկայական քանակությամբ էներգիա պահանջող վերապատրաստման տվյալներ: Խորը ուսուցումը կախված է հսկայական հաշվողական հզորություն օգտագործելու նրա կարողությունից, բայց դա շուտով կփոխվի: Ուսուցումը թանկ է, AI չիպերի սահմանափակումներ կան, իսկ մեծ մոդելների ուսուցումը խցանում է պրոցեսորները՝ դժվարացնելով դրանք բոլորի կառավարումը: Որքան մեծ է պարամետրը, այնքան ավելի ծախսատար է այս մոդելների վերապատրաստումը: Փորձագետները համաձայն են, որ կգա մի պահ, երբ AI-ի գերչափ մոդելները կարող են դառնալ չափազանց թանկ և էներգատար՝ մարզվելու համար:
Խանգարող ազդեցություն
2020 թվականին OpenAI-ը գնահատել է բազմաթիվ մոդելներ պատրաստելու համար պահանջվող հաշվարկների նվազագույն քանակը՝ հաշվի առնելով պարամետրերի քանակը և տվյալների բազայի չափը: Այս հավասարումները ցույց են տալիս, թե ինչպես է ML-ն պահանջում, որ տվյալներն անցնեն ցանցով բազմիցս, ինչպես է յուրաքանչյուր անցման համար հաշվարկը աճում, քանի որ պարամետրերի թիվը մեծանում է, և որքան տվյալներ են անհրաժեշտ, քանի որ պարամետրերի թիվը մեծանում է:
Ըստ Open AI-ի գնահատումների՝ ենթադրելով, որ մշակողները կարող են հասնել առավելագույն արդյունավետության, GPT-4-ի կառուցումը (100 անգամ ավելի մեծ է, քան GPT-3-ը (17.5 տրիլիոն պարամետր)) կպահանջի 7,600 գրաֆիկական մշակման միավորներ (GPU), որոնք աշխատում են առնվազն մեկ տարի և կարժենա մոտավորապես։ 200 միլիոն դոլար. 100 տրիլիոն պարամետրանոց մոդելին անհրաժեշտ կլինի 83,000 GPU՝ մեկ տարվա ընթացքում այն սնուցելու համար, ինչը կարժենա ավելի քան 2 միլիարդ դոլար:
Այնուամենայնիվ, տեխնոլոգիական ընկերությունները համագործակցում և ներդրումներ են կատարում իրենց անընդհատ ընդլայնվող գերչափ AI մոդելներում, քանի որ աճում է ML լուծումների պահանջարկը: Օրինակ, չինական Baidu-ն և Peng Cheng Lab-ը թողարկել են PCL-BAIDU Wenxin-ը՝ 280 միլիարդ պարամետրով: PCL-BAIDU-ն արդեն օգտագործվում է Baidu-ի նորությունների հոսքերի, որոնման համակարգի և թվային օգնականի կողմից:
Go-playing ծրագրի վերջին տարբերակը, որը DeepMind-ը ստեղծել է 2021 թվականի դեկտեմբերին, ունի 280 միլիարդ պարամետր։ Google Switch-Transformer-GLaM մոդելներն ունեն ապշեցուցիչ 1 տրիլիոն և 1.2 տրիլիոն պարամետրեր, համապատասխանաբար: Պեկինի արհեստական ինտելեկտի ակադեմիայի Wu Dao 2.0-ն էլ ավելի զանգվածային է և ունի 1.75 տրիլիոն պարամետր: Քանի որ խելացի քաղաքներն ու ավտոմատացումը շարունակում են խափանումներ առաջացնել, փորձագետները վստահ չեն, թե ինչպես AI հաշվարկը կաջակցի նման ապագայի:
Գերչափ AI մոդելների հետևանքները
Գերչափ AI մոդելների ավելի լայն հետևանքները կարող են ներառել.
- Ավելացել են ներդրումներն ու հնարավորությունները AI համակարգչային չիպերի մշակման համար, որոնք ավելի քիչ էներգիա են սպառում:
- AI-ի առաջընթացը դանդաղել է հաշվողական հզորության բացակայության պատճառով՝ հանգեցնելով էներգախնայող տեխնոլոգիաների և լուծումների ավելի շատ ֆինանսավորման:
- ML մշակողները, բացի տրանսֆորմատորներից, ստեղծում են այլընտրանքային մոդելներ, որոնք կարող են հանգեցնել բացահայտումների և նորարարությունների ավելի արդյունավետ ալգորիթմների համար:
- Արհեստական ինտելեկտի լուծումներ, որոնք կենտրոնանում են կիրառման վրա հիմնված խնդիրների վրա, համապատասխանաբար ճշգրտում են հաշվարկները կամ փոփոխում են ըստ անհրաժեշտության՝ պարզապես մեծացնելու փոխարեն:
- Ավելի բարդ տվյալների հավաքածուներ, որոնք թույլ են տալիս AI ծրագրերին ավելի լավ կանխատեսումներ կատարել, ներառյալ եղանակի կանխատեսումները, տիեզերքի հայտնաբերումը, բժշկական ախտորոշումները և միջազգային առևտուրը:
Հարցեր մեկնաբանելու համար
- Եթե դուք աշխատում եք AI ոլորտում, ի՞նչ առաջընթաց կա ավելի լավ ML մոդելների մշակման հարցում:
- Որո՞նք են ուսուցման լայնածավալ տվյալների մոդելների այլ հնարավոր առավելությունները, որոնցից կարելի է սովորել:
Insight հղումներ
Հետևյալ հանրաճանաչ և ինստիտուցիոնալ հղումները վկայակոչվել են այս պատկերացման համար.