Modelên AI-ê yên mezin: Pergalên hesabker ên mezin digihîjin xala jor

• Nivîskar:
• Navê nivîskar

  Pêşbîniya Quantumrun
• June 2, 2023

Ji sala 2012-an vir ve, pêşkeftinên girîng di îstîxbarata sûnî (AI) de bi rêkûpêk qewimîn, bi taybetî ji hêla zêdekirina hêza hesabkirinê ve (bi kurtasî "hejmartin"). Yek ji modelên herî mezin, ku di sala 2020-an de hate destpêkirin, ji modela yekem a sala 600,000-an 2012 qat zêdetir hesab bikar anî. Lêkolînerên li OpenAI-ê di sala 2018-an de ev meyla destnîşan kirin û hişyarî dan ku ev rêjeya mezinbûnê dê demek dirêj domdar nebe.

Çarçoveya modelên AI-ê yên mezin

Gelek pêşdebirên fêrbûna makîneyê (ML) ji ber potansiyela wan a bêsînor xuya dike modelên veguherîner ji bo fêrbûna kûr (DL) bikar tînin. Mînakên van modelan Transformer 2-ya Pêş-perwerdekirî ya Generative (GPT-2), GPT-3, Nûneratiyên Encodera Dualî ji Transformers (BERT), û Nifşa Zimanê Xwezayî ya Turing (NLG) hene. Van algorîtmayan bi gelemperî serîlêdanên cîhana rastîn ên wekî wergera makîneyê an pêşbîniya rêzikên demê hene. 

Pêdivî ye ku modên îstîxbarata artificial berfireh bibin da ku bêtir daneyên perwerdehiyê bicîh bînin û di pêşbîniyan de çêtir bibin. Vê hewcedariyê rê li ber zêdebûna modelên mezin ên bi mîlyaran parametre (guhêrbarên ku ji hêla algorîtmayan ve ji bo pêşbînan têne bikar anîn) zêde bûye. Van modelan ji hêla GPT-3-ya OpenAI-yê ve têne temsîl kirin (û pêwendiya wê ya ChatGPT ku di Kanûna 2022-an de dest pê kir), PanGu-alpha-ya Chinaînê, Megatron-Turing NLG ya Nvidia, û Gopher-a DeepMind-ê. Di sala 2020-an de, perwerdehiya GPT-3 hewceyê superkomputerek ku di nav pênc mezintirîn cîhanê de bû. 

Lêbelê, van modelan hewce ne ku daneyên perwerdehiya enerjiyê-dijwar hewce bike. Fêrbûna kûr bi kapasîteya wê ve girêdayî ye ku hêza hesabker a mezin bikar bîne, lê ev ê di demek nêzîk de biguheze. Perwerde biha ye, tixûbên çîpên AI-ê hene, û perwerdekirina modelên mezin pêvajoyan dişewitîne, birêvebirina wan hemî dijwar dike. Parametre çiqas mezintir be, perwerdekirina van modelan ew qas bihatir e. Pispor li hev dikin ku dê were nuqteyek ku modelên AI-ê yên mezin dibe ku ji bo perwerdekirinê pir biha û enerjî-dijwar bibin. 

Bandora têkçûyî

Di sala 2020-an de, OpenAI mîqdara hindiktirîn hesaba ku ji bo perwerdekirina gelek modelan hewce dike, texmîn kir ku hejmara parametreyan û mezinahiya databasê vedigire. Van hevkêşan destnîşan dikin ka ML çawa hewce dike ku dane gelek caran di nav torê re derbas bibe, ji bo her derbasbûnê çiqas hejmar zêde dibe her ku hejmara parametreyan zêde dibe, û çiqas daneya hewce dike her ku hejmara parametreyan mezin dibe.

Li gorî texmînên Open AI-ê, tê texmîn kirin ku pêşdebiran dikarin herî zêde karîgeriyê bi dest bixin, avakirina GPT-4 (100 carî ji GPT-3 (17.5 trîlyon parametre) mezintir) dê hewce bike ku 7,600 yekîneyên pêvajoyek grafîkî (GPU) bi kêmî ve salek bixebitin û bi qasî lêçûn be. 200 milyon dolar dolar. Modelek 100 trîlyon parametre dê hewceyê 83,000 GPU-yên ku ji bo salek hêzdar bike, lêçûna wê zêdetirî 2 mîlyar dolar e.

Digel vê yekê, fîrmayên teknolojiyê di modelên xwe yên AI-ê yên mezin ên ku her ku diçe berfireh dibin hevkariyê dikin û veberhênanan dirijînin ji ber ku daxwaziya çareseriyên ML mezin dibe. Mînakî, Baidu-based Chinaîn û Peng Cheng Lab PCL-BAIDU Wenxin, bi 280 mîlyar parametre, berdan. PCL-BAIDU jixwe ji hêla nûçeyên Baidu, motora lêgerînê û arîkarê dîjîtal ve tê bikar anîn. 

Guhertoya herî dawî ya bernameya Go-playing, ku DeepMind di Kanûna 2021-an de afirand, 280 mîlyar parametre hene. Modelên Google Switch-Transformer-GLaM, bi rêzê, bi 1 trîlyon û 1.2 trîlyon parametre hene. Wu Dao 2.0 ji Akademiya Pekînê ya AI-ê hîn pirtir e û hate ragihandin ku 1.75 trîlyon parametre hene. Her ku bajarên biaqil û otomasyon berdewam dikin ku astengiyan derxînin, pispor nebawer in ku dê hesabkirina AI-ê çawa pêşerojek weha piştgirî bike. 

Encamên modelên AI-ê yên mezin

Encamên berfireh ên modelên AI-ê yên mezin dibe ku ev in: 

• Di pêşvebirina çîpên komputerê yên AI-ê yên ku kêmtir enerjiyê dixwe de veberhênan û derfet zêde bûne. 
• Pêşveçûna AI-ê ji ber nebûna hêza hesabkirinê hêdî dibe, û dibe sedema bêtir fonan ji bo teknolojiyên parastina enerjiyê û çareseriyê.
• Pêşdebirên ML ji bilî veguherîneran modelên alternatîf diafirînin, ku dikarin ji bo algorîtmayên bikêrtir bibin sedema vedîtin û nûbûnê.
• Çareseriyên AI-ê yên ku li ser pirsgirêkên serîlêdanê-navendî disekinin, li gorî hewcedariyê hesab dikin an li gorî hewcedariyê diguhezînin li şûna ku tenê mezinbûnê bikin.
• Daneyên tevlihevtir ku destûrê didin bernameyên AI-ê ku pêşbîniyên çêtir pêk bînin, di nav de pêşbîniyên hewayê, vedîtina fezayê, tespîtên bijîjkî, û bazirganiya navneteweyî.

Pirsên ku li ser şîrove bikin

• Heke hûn di sektora AI-ê de dixebitin, di pêşvebirina modelên çêtir ên ML de hin pêşkeftin çi ne?
• Feydeyên din ên potansiyel ên modelên bi daneya perwerdehiya berfireh a ku jê fêr bibin çi ne?