Supersized AI nga mga modelo: Ang higanteng mga sistema sa kompyuter nakaabot sa tipping point

• Author:
• Ngalan sa tagsulat

  Quantumrun Foresight
• Hunyo 2, 2023

Sukad sa 2012, ang mga mahinungdanong pag-uswag sa artificial intelligence (AI) kanunay nga nahitabo, nga nag-una nga gimaneho sa pagdugang sa gahum sa pag-compute ("compute" sa mubo). Usa sa pinakadako nga mga modelo, nga gilusad niadtong 2020, migamit ug 600,000 ka pilo nga mas daghan nga pagkuwenta kaysa sa unang modelo gikan sa 2012. Ang mga tigdukiduki sa OpenAI nakamatikod niini nga uso sa 2018 ug nagpasidaan nga kini nga pagtubo dili malungtaron ug dugay.

Konteksto sa Supersized nga mga modelo sa AI

Daghang mga developer sa pagkat-on sa makina (ML) ang naggamit sa mga modelo sa transformer alang sa lawom nga pagkat-on (DL) tungod sa ilang daw walay kinutuban nga potensyal. Ang mga pananglitan niini nga mga modelo naglakip sa Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Bidirectional Encoder Representations gikan sa Transformers (BERT), ug Turing Natural Language Generation (NLG). Kini nga mga algorithm kasagaran adunay mga aplikasyon sa tinuod nga kalibutan sama sa paghubad sa makina o panagna sa serye sa oras. 

Ang mga mode sa artificial intelligence kinahanglan nga molapad aron ma-accommodate ang daghang datos sa pagbansay ug mahimong mas maayo sa mga panagna. Kini nga kinahanglanon misangpot sa pagsaka sa mga supersized nga mga modelo nga adunay binilyon nga mga parameter (mga variable nga gigamit sa mga algorithm aron makahimo mga panagna). Kini nga mga modelo girepresentahan sa OpenAI's GPT-3 (ug ang ChatGPT nga interaksyon niini nga gilansad kaniadtong Disyembre 2022), China-based PanGu-alpha, Nvidia's Megatron-Turing NLG, ug DeepMind's Gopher. Sa 2020, ang pagbansay sa GPT-3 nanginahanglan usa ka supercomputer nga usa sa lima nga pinakadako sa kalibutan. 

Bisan pa, kini nga mga modelo lagmit nanginahanglan daghang mga datos sa pagbansay nga kusog sa enerhiya. Ang lawom nga pagkat-on nagdepende sa abilidad niini sa paggamit sa dako nga gahum sa pag-compute, apan kini sa dili madugay mausab. Ang pagbansay mahal, adunay mga limitasyon sa AI chips, ug ang pagbansay sa dagkong mga modelo nagbara sa mga processor, nga nagpalisud sa pagdumala sa tanan. Ang mas dako nga parameter, mas mahal ang pagbansay niini nga mga modelo. Ang mga eksperto nagkauyon nga moabut ang usa ka punto diin ang supersized nga mga modelo sa AI mahimong mahal kaayo ug kusog sa kusog aron mabansay. 

Makasamok nga epekto

Sa 2020, gibanabana sa OpenAI ang minimum nga kantidad sa pag-compute nga gikinahanglan aron mabansay ang daghang mga modelo, nga nag-factor sa gidaghanon sa mga parameter ug gidak-on sa dataset. Kini nga mga equation nag-asoy kung giunsa ang ML nanginahanglan nga ang data moagi sa network sa daghang mga higayon, kung giunsa ang pag-compute sa matag pass nga pagtaas samtang ang gidaghanon sa mga parameter nagdugang, ug kung unsa kadaghan nga datos ang gikinahanglan samtang ang gidaghanon sa mga parameter motubo.

Sumala sa mga banabana sa Open AI, sa paghunahuna nga ang mga developers makakab-ot sa pinakataas nga episyente, ang pagtukod sa GPT-4 (100 ka pilo nga mas dako kay sa GPT-3 (17.5 trilyon nga mga parameter)) magkinahanglan ug 7,600 ka graphics processing units (GPUs) nga nagdagan sulod sa labing menos usa ka tuig ug nagkantidad ug gibanabana. USD $200 milyon. Ang usa ka 100-trilyon nga parameter nga modelo nanginahanglan 83,000 nga mga GPU aron magamit kini sa usa ka tuig, nga nagkantidad ug kapin sa USD $2 bilyon.

Bisan pa, ang mga tech nga kompanya nagtinabangay ug nagbubo sa mga pamuhunan sa ilang kanunay nga nagpadako nga supersized nga mga modelo sa AI samtang ang panginahanglan alang sa mga solusyon sa ML nagkadako. Pananglitan, ang Baidu nga nakabase sa China ug ang Peng Cheng Lab nagpagawas sa PCL-BAIDU Wenxin, nga adunay 280 bilyon nga mga parameter. Ang PCL-BAIDU gigamit na sa mga news feed sa Baidu, search engine, ug digital assistant. 

Ang pinakabag-o nga bersyon sa programa sa Go-playing, nga gihimo sa DeepMind kaniadtong Disyembre 2021, adunay 280 bilyon nga mga parameter. Ang Google Switch-Transformer-GLaM nga mga modelo adunay usa ka makapakurat nga 1 trilyon ug 1.2 trilyon nga mga parameter, matag usa. Ang Wu Dao 2.0 gikan sa Beijing Academy of AI mas dako ug gikataho nga adunay 1.75 trilyon nga mga parameter. Samtang ang mga intelihente nga lungsod ug automation nagpadayon sa pagduso sa mga pagkabalda, ang mga eksperto dili sigurado kung giunsa pagsuporta sa AI compute ang ingon nga umaabot. 

Mga implikasyon sa supersized nga mga modelo sa AI

Ang mas lapad nga mga implikasyon sa supersized nga mga modelo sa AI mahimong maglakip sa: 

• Dugang nga mga pamuhunan ug mga oportunidad sa pagpalambo sa AI computer chips nga mokonsumo og gamay nga enerhiya. 
• Ang pag-uswag sa AI mihinay tungod sa kakulang sa gahum sa pag-compute, nga mitultol sa dugang nga pondo alang sa mga teknolohiya ug mga solusyon nga makadaginot sa enerhiya.
• Ang mga nag-develop sa ML nagmugna og mga alternatibong modelo gawas sa mga transformer, nga mahimong mosangpot sa mga pagdiskobre ug kabag-ohan alang sa mas episyente nga mga algorithm.
• Ang mga solusyon sa AI nga nagpunting sa mga problema nga nakasentro sa aplikasyon, pag-adjust sa pagkalkula o pagbag-o kung gikinahanglan imbes nga mag-supersize lang.
• Mas komplikado nga mga dataset nga nagtugot sa mga programa sa AI nga makahimo og mas maayo nga mga panagna, lakip ang mga panagna sa panahon, pagdiskobre sa kawanangan, medikal nga pagdayagnos, ug internasyonal nga trading.

Mga pangutana nga ikomento

• Kung nagtrabaho ka sa sektor sa AI, unsa ang pipila nga mga pag-uswag sa pagpalambo sa mas maayo nga mga modelo sa ML?
• Unsa ang ubang mga potensyal nga benepisyo sa mga modelo nga adunay daghang datos sa pagbansay aron makat-unan?