Samhlacha AI supersized: Tá córais ríomhaireachta ollmhóra ag baint amach an pointe tipping

• Author:
• ainm Údar

  Réamhfhéachaint Quantumrun
• Meitheamh 2, 2023

Ó 2012 i leith, tá dul chun cinn suntasach déanta go rialta maidir le hintleacht shaorga (AI), go príomha mar gheall ar mhéadú ar chumhacht ríomhaireachta (“ríomhaireacht”). Bhain ceann de na samhlacha is mó, a seoladh in 2020, úsáid as 600,000 uair níos ríomha ná an chéad mhúnla ó 2012. Thug taighdeoirí ag OpenAI faoi deara an treocht seo in 2018 agus thug siad rabhadh nach mbeadh an ráta fáis seo inbhuanaithe ar feadh i bhfad.

Comhthéacs samhlacha AI supersized

Úsáideann go leor forbróirí meaisínfhoghlama (ML) múnlaí claochladán don fhoghlaim dhomhain (DL) mar gheall ar a bpoitéinseal gan teorainn de réir dealraimh. I measc samplaí de na samhlacha seo tá Trasfhoirmeoir Réamhoilte Generative 2 (GPT-2), GPT-3, Léirithe Ionchódóra Déthreo ó Transformers (BERT), agus Turing Natural Language Generation (NLG). Is minic a bhíonn feidhmchláir fhíorshaolacha ag na halgartaim seo, amhail aistriúchán meaisín nó tuar sraith ama. 

Ní mór modhanna faisnéise saorga a leathnú chun freastal ar níos mó sonraí oiliúna agus chun feabhas a chur ar thuar. Mar thoradh ar an gceanglas seo tá méadú ar shamhlacha sármhéide le billiúin paraiméadair (athróga a úsáideann halgartaim chun tuartha a dhéanamh). Léirítear na samhlacha seo ag GPT-3 OpenAI (agus a idirghníomhaíocht ChatGPT a seoladh i mí na Nollag 2022), PanGu-alfa atá bunaithe sa tSín, Megatron-Turing NLG Nvidia, agus Gopher DeepMind. In 2020, bhí sárríomhaire ag teastáil le haghaidh oiliúna GPT-3 a bhí ar cheann de na cúig cinn is mó ar domhan. 

Mar sin féin, bíonn gá le méideanna ollmhóra sonraí oiliúna atá dian ar fhuinneamh ó na samhlacha seo. Tá an fhoghlaim dhomhain ag brath ar a chumas chun cumhacht ollmhór ríomhaireachta a úsáid, ach athróidh sé seo go luath. Tá an oiliúint costasach, tá teorainneacha le sceallóga AI, agus cuireann oiliúint samhlacha móra le chéile próiseálaithe, rud a fhágann go bhfuil sé deacair iad go léir a bhainistiú. Dá mhéad an paraiméadar, is costasaí é na samhlacha seo a oiliúint. Aontaíonn saineolaithe go dtiocfaidh pointe ina bhféadfadh samhlacha AI sármhaith a bheith ró-chostasach agus ró-dhian ar fhuinneamh le hoiliúint. 

Tionchar suaite

In 2020, mheas OpenAI an t-íosmhéid ríomha a theastaíonn chun go leor samhlacha a oiliúint, ag cur san áireamh líon na bparaiméadar agus méid na dtacar sonraí. Tugann na cothromóidí seo cuntas ar an gcaoi a n-éilíonn ML go rachadh na sonraí sin tríd an líonra go minic, conas a ardaíonn ríomh gach pas de réir mar a mhéadaíonn líon na bparaiméadar, agus cé mhéad sonraí atá ag teastáil de réir mar a fhásann líon na bparaiméadar.

De réir meastacháin Open AI, ag glacadh leis gur féidir le forbróirí uaséifeachtúlacht a bhaint amach, bheadh ​​4 aonad próiseála grafaice (GPU) ag teastáil le haghaidh tógáil GPT-100 (3 uair níos mó ná GPT-17.5 (7,600 trilliún paraiméadair)) ar feadh bliana ar a laghad agus costas thart ar. USD $200 milliún. Bheadh ​​100 GPU ag teastáil ó mhúnla paraiméadar 83,000 trilliún chun é a chumhachtú ar feadh bliana, rud a chosnaíonn níos mó ná USD $2 billiún.

Mar sin féin, tá gnólachtaí teicneolaíochta ag comhoibriú agus ag stealladh infheistíochtaí ina gcuid samhlacha AI sármhaithe atá ag méadú de shíor de réir mar a mhéadaíonn an t-éileamh ar réitigh ML. Mar shampla, scaoil Baidu atá bunaithe sa tSín agus an Peng Cheng Lab PCL-BAIDU Wenxin, le 280 billiún paraiméadair. Tá PCL-BAIDU á úsáid cheana féin ag fothaí nuachta, inneall cuardaigh agus cúntóir digiteach Baidu. 

Tá 2021 billiún paraiméadair ag an leagan clár Go-playing is déanaí, a chruthaigh DeepMind i mí na Nollag 280. Tá 1 trilliún agus 1.2 trilliún paraiméadair ag na samhlacha Google Switch-Transformer-GLaM, faoi seach. Tá Wu Dao 2.0 ó Acadamh AI Beijing níos mó fós ollmhór agus tuairiscíodh go bhfuil 1.75 trilliún paraiméadair aige. De réir mar a leanann cathracha cliste agus uathoibriú le cur isteach a bhrú, níl saineolaithe cinnte conas a thacóidh ríomh AI lena leithéid de thodhchaí. 

Impleachtaí samhlacha AI sáraithe

D’fhéadfadh go mbeadh na nithe seo a leanas san áireamh sna himpleachtaí níos leithne a bhaineann le samhlacha AI sármhaithe: 

• Infheistíochtaí agus deiseanna méadaithe i bhforbairt sliseanna ríomhaire AI a ídíonn níos lú fuinnimh. 
• Moillíodh dul chun cinn AI mar gheall ar an easpa cumhachta ríomhaireachta, rud a d'fhág go raibh níos mó maoinithe do theicneolaíochtaí agus réitigh caomhnaithe fuinnimh.
• Forbróirí ML ag cruthú samhlacha malartacha seachas claochladáin, a bhféadfadh fionnachtana agus nuálaíocht a bheith mar thoradh orthu le haghaidh halgartaim níos éifeachtaí.
• Réitigh AI ag díriú ar fhadhbanna feidhm-lárnach, ag coigeartú ríomh dá réir nó ag modhnú de réir mar is gá seachas díreach forleagan.
• Tacar sonraí níos casta a ligeann do chláir AI tuar níos fearr a dhéanamh, lena n-áirítear réamhaisnéisí aimsire, fionnachtain spáis, diagnóisí leighis, agus trádáil idirnáisiúnta.

Ceisteanna le trácht orthu

• Má oibríonn tú san earnáil AI, cén dul chun cinn atá ann maidir le samhlacha ML níos fearr a fhorbairt?
• Cad iad na tairbhí féideartha eile a bhaineann le samhlacha le sonraí oiliúna fairsinge le foghlaim uathu?