Mudelli supersized AI: Sistemi tal-kompjuters ġganti qed jilħqu l-punt ta 'depożitu

• awtur:
• isem awtur

  Quantumrun Foresight
• Ġunju 2, 2023

Mill-2012 'l hawn, seħħew avvanzi sinifikanti fl-intelliġenza artifiċjali (AI) b'mod regolari, l-aktar immexxija minn żieda fil-qawwa tal-kompjuter ("compute" fil-qosor). Wieħed mill-akbar mudelli, imniedi fl-2020, utilizza 600,000 darba aktar komputazzjoni mill-ewwel mudell mill-2012. Riċerkaturi f'OpenAI innutaw din it-tendenza fl-2018 u wissew li din ir-rata ta 'tkabbir ma tkunx sostenibbli għal żmien twil.

Mudelli supersized AI kuntest

Ħafna żviluppaturi tat-tagħlim tal-magni (ML) jużaw mudelli tat-transformer għal tagħlim fil-fond (DL) minħabba l-potenzjal li jidher illimitat tagħhom. Eżempji ta 'dawn il-mudelli jinkludu Generative Pre-treined Transformer 2 (GPT-2), GPT-3, Rappreżentazzjonijiet Bidirezzjonali ta' Encoder minn Transformers (BERT), u Turing Natural Language Generation (NLG). Dawn l-algoritmi ħafna drabi jkollhom applikazzjonijiet fid-dinja reali bħal traduzzjoni awtomatika jew tbassir tas-serje tal-ħin. 

Il-modi tal-intelliġenza artifiċjali jridu jespandu biex jakkomodaw aktar dejta tat-taħriġ u jsiru aħjar fit-tbassir. Dan ir-rekwiżit wassal għaż-żieda ta 'mudelli supersized b'biljuni ta' parametri (varjabbli użati mill-algoritmi biex jagħmlu tbassir). Dawn il-mudelli huma rappreżentati mill-GPT-3 ta 'OpenAI (u l-interazzjoni ChatGPT tagħha mnedija f'Diċembru 2022), PanGu-alpha ibbażata fiċ-Ċina, Megatron-Turing NLG ta' Nvidia, u Gopher ta 'DeepMind. Fl-2020, it-taħriġ GPT-3 kien jeħtieġ superkompjuter li kien fost l-akbar ħames fid-dinja. 

Madankollu, dawn il-mudelli għandhom it-tendenza li jeħtieġu ammonti kbar ta 'dejta ta' taħriġ li tuża ħafna enerġija. It-tagħlim fil-fond kien jiddependi fuq il-kapaċità tiegħu li juża qawwa ta 'komputazzjoni enormi, iżda dan dalwaqt se jinbidel. It-taħriġ jiswa ħafna flus, hemm limiti għaċ-ċipep tal-AI, u t-taħriġ ta 'mudelli kbar jgħaqqad il-proċessuri, u jagħmilha diffiċli biex jiġu mmaniġġjati kollha. Iktar ma jkun kbir il-parametru, iktar ikun għoli li jitħarrġu dawn il-mudelli. L-esperti jaqblu li se jasal punt fejn mudelli AI supersized jistgħu jsiru għaljin wisq u intensivi fl-enerġija biex jitħarrġu. 

Impatt li jfixkel

Fl-2020, OpenAI stmat l-ammont minimu ta' komputazzjoni meħtieġ biex jitħarrġu bosta mudelli, filwaqt li jqis in-numru ta' parametri u d-daqs tas-sett tad-dejta. Dawn l-ekwazzjonijiet jispjegaw kif ML jeħtieġ li d-dejta tgħaddi min-netwerk ħafna drabi, kif jikkalkula għal kull pass jogħla hekk kif in-numru ta 'parametri jiżdied, u kemm hija meħtieġa dejta hekk kif in-numru ta' parametri jikber.

Skont l-istimi tal-Open AI, jekk wieħed jassumi li l-iżviluppaturi jistgħu jiksbu effiċjenza massima, il-bini GPT-4 (100 darba akbar minn GPT-3 (17.5 triljun parametri)) ikun jeħtieġ 7,600 unità tal-ipproċessar tal-grafika (GPUs) li jaħdmu għal mill-inqas sena u jiswa bejn wieħed u ieħor USD $200 miljun. Mudell ta 'parametru ta' 100 triljun ikollu bżonn 83,000 GPU biex iħaddem għal sena, li jiswa aktar minn USD $2 biljun.

Madankollu, id-ditti tat-teknoloġija ilhom jikkollaboraw u jferrgħu l-investimenti fil-mudelli AI supersized tagħhom li dejjem qed jespandu hekk kif id-domanda għal soluzzjonijiet ML tikber. Pereżempju, Baidu ibbażat fiċ-Ċina u l-Peng Cheng Lab ħarġu PCL-BAIDU Wenxin, b'280 biljun parametru. PCL-BAIDU diġà qed jintuża mill-aħbarijiet, il-magna tat-tiftix u l-assistent diġitali ta' Baidu. 

L-aħħar verżjoni tal-programm Go-playing, li DeepMind ħoloq f'Diċembru 2021, għandha 280 biljun parametru. Il-mudelli Google Switch-Transformer-GLaM għandhom parametri xokkanti ta '1 triljun u 1.2 triljun, rispettivament. Wu Dao 2.0 mill-Akkademja ta 'Beijing ta' AI huwa saħansitra aktar massiv u ġie rrappurtat li għandu 1.75 triljun parametri. Hekk kif il-bliet intelliġenti u l-awtomazzjoni jkomplu jimbuttaw it-tfixkil, l-esperti mhumiex ċerti kif il-komputazzjoni tal-AI se tappoġġja futur bħal dan. 

Implikazzjonijiet ta 'mudelli AI supersized

Implikazzjonijiet usa' ta' mudelli ta' AI supersized jistgħu jinkludu: 

• Żieda fl-investimenti u l-opportunitajiet fl-iżvilupp ta’ ċipep tal-kompjuter AI li jikkunsmaw inqas enerġija. 
• Il-progress tal-IA naqas minħabba n-nuqqas ta' saħħa tal-kompjuter, li wassal għal aktar finanzjament għal teknoloġiji u soluzzjonijiet li jikkonservaw l-enerġija.
• L-iżviluppaturi tal-ML li joħolqu mudelli alternattivi apparti mit-trasformaturi, li jistgħu jwasslu għal skoperti u innovazzjoni għal algoritmi aktar effiċjenti.
• Soluzzjonijiet AI li jiffokaw fuq problemi iċċentrati fuq l-applikazzjoni, jaġġustaw il-komputazzjoni kif xieraq jew jimmodifikaw kif meħtieġ minflok sempliċement supersizing.
• Settijiet ta' dejta aktar kumplessi li jippermettu lill-programmi tal-IA jwettqu tbassir aħjar, inklużi tbassir tat-temp, skoperta spazjali, dijanjosi mediċi, u kummerċ internazzjonali.

Mistoqsijiet biex tikkummenta dwarhom

• Jekk taħdem fis-settur tal-IA, x'inhu xi progress fl-iżvilupp ta' mudelli ML aħjar?
• X'inhuma l-benefiċċji potenzjali l-oħra ta 'mudelli b'dejta ta' taħriġ estensiva minn fejn titgħallem?