Modèl AI supersize: Sistèm informatique jeyan yo rive nan pwen baskil la

• otè:
• non otè

  Pwovizyon Quantumrun
• Jen 2, 2023

Depi 2012, pwogrè enpòtan nan entèlijans atifisyèl (AI) te fèt regilyèman, sitou kondwi pa ogmante pouvwa enfòmatik ("konpite" pou kout). Youn nan pi gwo modèl yo, ki te lanse an 2020, te itilize 600,000 fwa plis kalkil pase premye modèl ki soti nan 2012. Chèchè nan OpenAI te note tandans sa a nan 2018 epi yo te avèti ke to kwasans sa a pa ta dirab pou lontan.

Sipèvize AI modèl kontèks

Anpil devlopè aprantisaj machin (ML) itilize modèl transfòmatè pou aprantisaj pwofon (DL) akòz potansyèl yo sanble san limit. Egzanp modèl sa yo genyen Jenerative Pre-antrened Transformer 2 (GPT-2), GPT-3, Bidirectionnelle Encoder Representations from Transformers (BERT), ak Turing Natural Language Generation (NLG). Algoritm sa yo souvan gen aplikasyon pou mond reyèl la tankou tradiksyon machin oswa prediksyon seri tan. 

Mòd entèlijans atifisyèl yo dwe elaji pou akomode plis done fòmasyon epi vin pi bon nan prediksyon. Egzijans sa a te mennen nan ogmantasyon nan modèl supersized ak dè milya de paramèt (varyab itilize pa algoritm yo fè prediksyon). Modèl sa yo reprezante pa GPT-3 OpenAI a (ak entèraksyon ChatGPT li te lanse nan mwa desanm 2022), PanGu-alpha ki baze sou Lachin, Megatron-Turing NLG Nvidia a, ak Gopher DeepMind la. An 2020, fòmasyon GPT-3 te mande yon sipè òdinatè ki te pami senk pi gwo nan mond lan. 

Sepandan, modèl sa yo gen tandans mande pou gwo kantite done fòmasyon enèji-entansif. Aprantisaj pwofon depann de kapasite l pou l sèvi ak gwo pouvwa kalkil, men sa pral byento chanje. Fòmasyon se chè, gen limit nan chips AI, ak fòmasyon gwo modèl bouche processeurs, sa ki fè li difisil pou jere yo tout. Plis paramèt la pi gwo, se pi koute chè pou fòme modèl sa yo. Ekspè yo dakò ke pral rive yon pwen kote modèl AI gwo ka vin twò chè ak enèji-entansif pou antrene. 

Enpak deranje

An 2020, OpenAI te estime kantite minimòm kalkil ki nesesè pou fòme anpil modèl, an faktè nan kantite paramèt ak gwosè seri done yo. Ekwasyon sa yo reprezante ki jan ML mande done sa yo pase atravè rezo a anpil fwa, ki jan kalkile pou chak pas ap ogmante lè kantite paramèt ogmante, ak konbyen done ki nesesè pandan kantite paramèt ap grandi.

Dapre estimasyon Open AI, sipoze ke devlopè yo ka reyalize maksimòm efikasite, bati GPT-4 (100 fwa pi gwo pase GPT-3 (17.5 billions paramèt)) ta mande 7,600 inite pwosesis grafik (GPU) kouri pou omwen yon ane ak koute apeprè. USD $200 milyon dola. Yon modèl paramèt 100 billions ta bezwen 83,000 GPU pou pouvwa li pou yon ane, koute plis pase USD $ 2 milya.

Sepandan, konpayi teknoloji yo te kolabore ak vide envèstisman nan modèl AI supersize yo ki toujou elaji kòm demann pou solisyon ML ap grandi. Pou egzanp, Baidu ki baze sou Lachin ak Peng Cheng Lab la lage PCL-BAIDU Wenxin, ak 280 milya paramèt. Nouvèl, motè rechèch ak asistan dijital Baidu yo deja itilize PCL-BAIDU. 

Dènye vèsyon pwogram Go-playing la, ke DeepMind te kreye an Desanm 2021, gen 280 milya paramèt. Modèl Google Switch-Transformer-GLaM yo gen 1 billions ak 1.2 billions paramèt, respektivman. Wu Dao 2.0 soti nan Beijing Academy of AI se menm plis masiv e li te rapòte ke li gen 1.75 billions paramèt. Kòm vil entelijan ak automatisation kontinye pouse dezòd, ekspè yo pa sèten ki jan AI kalkile pral sipòte yon avni konsa. 

Enplikasyon modèl AI supersized

Enplikasyon pi laj nan modèl AI supersize ka gen ladan: 

• Ogmantasyon envestisman ak opòtinite nan devlope chips òdinatè AI ki konsome mwens enèji. 
• Pwogrè AI ralanti pa mank de pouvwa enfòmatik, ki mennen nan plis finansman pou teknoloji ak solisyon konsèvasyon enèji.
• Devlopè ML yo kreye modèl altènatif apa de transfòmatè, ki ka mennen nan dekouvèt ak inovasyon pou algoritm pi efikas.
• Solisyon AI ki konsantre sou pwoblèm ki santre sou aplikasyon yo, ajiste kalkile kòmsadwa oswa modifye jan sa nesesè olye pou yo jis supersizing.
• Ansanm done ki pi konplèks ki pèmèt pwogram AI fè pi bon prediksyon, ki gen ladan previzyon metewolojik, dekouvèt espas, dyagnostik medikal, ak komès entènasyonal.

Kesyon pou komante

• Si w ap travay nan sektè AI, ki pwogrè ki genyen nan devlope pi bon modèl ML?
• Ki lòt benefis potansyèl modèl ki gen anpil enfòmasyon fòmasyon pou aprann nan?