Գերազանց AI մոդելներ. հսկա հաշվողական համակարգերը հասնում են գագաթնակետին

ՊԱՏԿԵՐԻ ՎԱՐԿ.
Image վարկային
iStock- ը

Գերազանց AI մոդելներ. հսկա հաշվողական համակարգերը հասնում են գագաթնակետին

Գերազանց AI մոդելներ. հսկա հաշվողական համակարգերը հասնում են գագաթնակետին

Ենթավերնագրի տեքստը
Մեքենայական ուսուցման մաթեմատիկական մոդելները տարեցտարի ավելի մեծ և բարդ են դառնում, սակայն փորձագետները կարծում են, որ այս ընդարձակ ալգորիթմները մոտ են գագաթնակետին:
    • Հեղինակ:
    • Հեղինակ անունը
      Quantumrun Հեռատեսություն
    • Հունիսի 2, 2023

    2012 թվականից ի վեր արհեստական ​​ինտելեկտի (AI) զգալի առաջընթացները պարբերաբար տեղի են ունենում, որոնք հիմնականում պայմանավորված են հաշվողական հզորության բարձրացմամբ (կարճ՝ «հաշվարկ»): Ամենամեծ մոդելներից մեկը, որը գործարկվել է 2020 թվականին, օգտագործել է 600,000 անգամ ավելի շատ հաշվարկ, քան 2012 թվականի առաջին մոդելը: OpenAI-ի հետազոտողները նշել են այս միտումը 2018 թվականին և նախազգուշացրել են, որ աճի այս տեմպերը երկար ժամանակ կայուն չեն լինի:

    Գերազանց AI մոդելների համատեքստ

    Շատ մեքենայական ուսուցման (ML) մշակողներ օգտագործում են տրանսֆորմատորային մոդելներ խորը ուսուցման համար (DL)՝ իրենց անսահման թվացող ներուժի պատճառով: Այս մոդելների օրինակները ներառում են Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Bidirectional Encoder Representations from Transformers (BERT) և Turing Natural Language Generation (NLG): Այս ալգորիթմները հաճախ ունեն իրական աշխարհի կիրառումներ, ինչպիսիք են մեքենայական թարգմանությունը կամ ժամանակային շարքերի կանխատեսումը: 

    Արհեստական ​​ինտելեկտի ռեժիմները պետք է ընդլայնվեն՝ ավելի շատ ուսուցման տվյալներ տեղավորելու և կանխատեսումներում ավելի լավը դառնալու համար: Այս պահանջը հանգեցրել է միլիարդավոր պարամետրերով գերչափ մոդելների առաջացմանը (փոփոխականներ, որոնք օգտագործվում են ալգորիթմների կողմից կանխատեսումներ անելու համար): Այս մոդելները ներկայացված են OpenAI-ի GPT-3-ով (և ChatGPT-ի փոխազդեցությունը մեկնարկել է 2022 թվականի դեկտեմբերին), չինական PanGu-alpha-ով, Nvidia-ի Megatron-Turing NLG-ով և DeepMind-ի Gopher-ով: 2020 թվականին GPT-3-ի ուսուցման համար անհրաժեշտ էր սուպերհամակարգիչ, որն աշխարհի հինգ խոշորագույնների թվում էր: 

    Այնուամենայնիվ, այս մոդելները հակված են պահանջել հսկայական քանակությամբ էներգիա պահանջող վերապատրաստման տվյալներ: Խորը ուսուցումը կախված է հսկայական հաշվողական հզորություն օգտագործելու նրա կարողությունից, բայց դա շուտով կփոխվի: Ուսուցումը թանկ է, AI չիպերի սահմանափակումներ կան, իսկ մեծ մոդելների ուսուցումը խցանում է պրոցեսորները՝ դժվարացնելով դրանք բոլորի կառավարումը: Որքան մեծ է պարամետրը, այնքան ավելի ծախսատար է այս մոդելների վերապատրաստումը: Փորձագետները համաձայն են, որ կգա մի պահ, երբ AI-ի գերչափ մոդելները կարող են դառնալ չափազանց թանկ և էներգատար՝ մարզվելու համար: 

    Խանգարող ազդեցություն

    2020 թվականին OpenAI-ը գնահատել է բազմաթիվ մոդելներ պատրաստելու համար պահանջվող հաշվարկների նվազագույն քանակը՝ հաշվի առնելով պարամետրերի քանակը և տվյալների բազայի չափը: Այս հավասարումները ցույց են տալիս, թե ինչպես է ML-ն պահանջում, որ տվյալներն անցնեն ցանցով բազմիցս, ինչպես է յուրաքանչյուր անցման համար հաշվարկը աճում, քանի որ պարամետրերի թիվը մեծանում է, և որքան տվյալներ են անհրաժեշտ, քանի որ պարամետրերի թիվը մեծանում է:

    Ըստ Open AI-ի գնահատումների՝ ենթադրելով, որ մշակողները կարող են հասնել առավելագույն արդյունավետության, GPT-4-ի կառուցումը (100 անգամ ավելի մեծ է, քան GPT-3-ը (17.5 տրիլիոն պարամետր)) կպահանջի 7,600 գրաֆիկական մշակման միավորներ (GPU), որոնք աշխատում են առնվազն մեկ տարի և կարժենա մոտավորապես։ 200 միլիոն դոլար. 100 տրիլիոն պարամետրանոց մոդելին անհրաժեշտ կլինի 83,000 GPU՝ մեկ տարվա ընթացքում այն ​​սնուցելու համար, ինչը կարժենա ավելի քան 2 միլիարդ դոլար:

    Այնուամենայնիվ, տեխնոլոգիական ընկերությունները համագործակցում և ներդրումներ են կատարում իրենց անընդհատ ընդլայնվող գերչափ AI մոդելներում, քանի որ աճում է ML լուծումների պահանջարկը: Օրինակ, չինական Baidu-ն և Peng Cheng Lab-ը թողարկել են PCL-BAIDU Wenxin-ը՝ 280 միլիարդ պարամետրով: PCL-BAIDU-ն արդեն օգտագործվում է Baidu-ի նորությունների հոսքերի, որոնման համակարգի և թվային օգնականի կողմից: 

    Go-playing ծրագրի վերջին տարբերակը, որը DeepMind-ը ստեղծել է 2021 թվականի դեկտեմբերին, ունի 280 միլիարդ պարամետր։ Google Switch-Transformer-GLaM մոդելներն ունեն ապշեցուցիչ 1 տրիլիոն և 1.2 տրիլիոն պարամետրեր, համապատասխանաբար: Պեկինի արհեստական ​​ինտելեկտի ակադեմիայի Wu Dao 2.0-ն էլ ավելի զանգվածային է և ունի 1.75 տրիլիոն պարամետր: Քանի որ խելացի քաղաքներն ու ավտոմատացումը շարունակում են խափանումներ առաջացնել, փորձագետները վստահ չեն, թե ինչպես AI հաշվարկը կաջակցի նման ապագայի: 

    Գերչափ AI մոդելների հետևանքները

    Գերչափ AI մոդելների ավելի լայն հետևանքները կարող են ներառել. 

    • Ավելացել են ներդրումներն ու հնարավորությունները AI համակարգչային չիպերի մշակման համար, որոնք ավելի քիչ էներգիա են սպառում: 
    • AI-ի առաջընթացը դանդաղել է հաշվողական հզորության բացակայության պատճառով՝ հանգեցնելով էներգախնայող տեխնոլոգիաների և լուծումների ավելի շատ ֆինանսավորման:
    • ML մշակողները, բացի տրանսֆորմատորներից, ստեղծում են այլընտրանքային մոդելներ, որոնք կարող են հանգեցնել բացահայտումների և նորարարությունների ավելի արդյունավետ ալգորիթմների համար:
    • Արհեստական ​​ինտելեկտի լուծումներ, որոնք կենտրոնանում են կիրառման վրա հիմնված խնդիրների վրա, համապատասխանաբար ճշգրտում են հաշվարկները կամ փոփոխում են ըստ անհրաժեշտության՝ պարզապես մեծացնելու փոխարեն:
    • Ավելի բարդ տվյալների հավաքածուներ, որոնք թույլ են տալիս AI ծրագրերին ավելի լավ կանխատեսումներ կատարել, ներառյալ եղանակի կանխատեսումները, տիեզերքի հայտնաբերումը, բժշկական ախտորոշումները և միջազգային առևտուրը:

    Հարցեր մեկնաբանելու համար

    • Եթե ​​դուք աշխատում եք AI ոլորտում, ի՞նչ առաջընթաց կա ավելի լավ ML մոդելների մշակման հարցում:
    • Որո՞նք են ուսուցման լայնածավալ տվյալների մոդելների այլ հնարավոր առավելությունները, որոնցից կարելի է սովորել:

    Insight հղումներ

    Հետևյալ հանրաճանաչ և ինստիտուցիոնալ հղումները վկայակոչվել են այս պատկերացման համար.