Awọn awoṣe AI ti o ga julọ: Awọn ọna ṣiṣe iširo nla n de aaye tipping

• Nipa Author:
• Orukọ onkọwe

  Quantumrun Iwoju
• June 2, 2023

Lati ọdun 2012, awọn ilọsiwaju pataki ni itetisi atọwọda (AI) ti waye nigbagbogbo, ni pataki nipasẹ jijẹ agbara iširo (“iṣiro” fun kukuru). Ọkan ninu awọn awoṣe ti o tobi julọ, ti a ṣe ifilọlẹ ni 2020, lo awọn akoko 600,000 diẹ sii iṣiro ju awoṣe akọkọ lati 2012. Awọn oniwadi ni OpenAI ṣe akiyesi aṣa yii ni 2018 ati kilọ pe oṣuwọn idagba yii kii yoo jẹ alagbero fun pipẹ.

Supersized AI awọn awoṣe ipo

Ọpọlọpọ awọn olupilẹṣẹ ẹkọ ẹrọ (ML) lo awọn awoṣe transformer fun ẹkọ ti o jinlẹ (DL) nitori agbara ti o dabi ẹnipe ailopin. Awọn apẹẹrẹ ti awọn awoṣe wọnyi pẹlu Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Awọn Aṣoju Encoder Bidirectional lati Awọn Ayirapada (BERT), ati Turing Natural Language Generation (NLG). Awọn algoridimu wọnyi nigbagbogbo ni awọn ohun elo gidi-aye gẹgẹbi itumọ ẹrọ tabi asọtẹlẹ jara akoko. 

Awọn ipo itetisi atọwọda ni lati faagun lati gba data ikẹkọ diẹ sii ati di dara julọ ni awọn asọtẹlẹ. Ibeere yii ti yori si igbega ti awọn awoṣe ti o ga julọ pẹlu awọn ọkẹ àìmọye ti awọn paramita (awọn iyatọ ti a lo nipasẹ awọn algoridimu lati ṣe awọn asọtẹlẹ). Awọn awoṣe wọnyi jẹ aṣoju nipasẹ OpenAI's GPT-3 (ati ibaraenisepo ChatGPT ti a ṣe ifilọlẹ ni Oṣu Keji ọdun 2022), PanGu-alpha ti o da lori China, Nvidia's Megatron-Turing NLG, ati DeepMind's Gopher. Ni ọdun 2020, ikẹkọ GPT-3 nilo supercomputer kan ti o wa laarin awọn marun ti o tobi julọ ni agbaye. 

Bibẹẹkọ, awọn awoṣe wọnyi ṣọ lati nilo iye titobi ti data ikẹkọ agbara-agbara. Ẹkọ ti o jinlẹ ti gbarale agbara rẹ lati lo agbara iṣiro pupọ, ṣugbọn eyi yoo yipada laipẹ. Ikẹkọ jẹ gbowolori, awọn opin wa si awọn eerun AI, ati ikẹkọ awọn awoṣe nla n di awọn olutọsọna soke, jẹ ki o ṣoro lati ṣakoso gbogbo wọn. Ti o tobi paramita, iye owo ti o jẹ lati kọ awọn awoṣe wọnyi. Awọn amoye gba pe aaye kan yoo wa nibiti awọn awoṣe AI ti o ga julọ le di gbowolori pupọ ati agbara-agbara lati ṣe ikẹkọ. 

Ipa idalọwọduro

Ni ọdun 2020, OpenAI ṣe iṣiro iye to kere julọ ti iṣiro ti o nilo lati ṣe ikẹkọ awọn awoṣe lọpọlọpọ, ṣiṣe ifosiwewe ni nọmba awọn aye ati iwọn data. Awọn idogba wọnyi ṣe akọọlẹ fun bii ML ṣe nilo data lati kọja nipasẹ nẹtiwọọki ni ọpọlọpọ igba, bawo ni iṣiro fun iwe-iwọle kọọkan ṣe dide bi nọmba awọn paramita ṣe pọ si, ati iye data ti o nilo bi nọmba awọn aye ti n dagba.

Gẹgẹbi awọn iṣiro Ṣii AI, ti o ro pe awọn olupilẹṣẹ le ṣaṣeyọri ṣiṣe ti o pọju, ile GPT-4 (awọn akoko 100 tobi ju GPT-3 (awọn aye aimọye 17.5 aimọye)) yoo nilo awọn ẹya sisẹ awọn eya aworan 7,600 (GPUs) nṣiṣẹ fun o kere ju ọdun kan ati idiyele isunmọ. USD 200 milionu. Awoṣe paramita 100-aimọye kan yoo nilo awọn GPU 83,000 lati fun ni agbara fun ọdun kan, ni idiyele diẹ sii ju $2 bilionu USD.

Bibẹẹkọ, awọn ile-iṣẹ imọ-ẹrọ ti n ṣe ifowosowopo ati sisọ awọn idoko-owo sinu awọn awoṣe AI ti o pọ si nigbagbogbo bi ibeere fun awọn solusan ML ti dagba. Fun apẹẹrẹ, Baidu ti o da lori Ilu China ati Peng Cheng Lab ṣe idasilẹ PCL-BAIDU Wenxin, pẹlu 280 bilionu paramita. PCL-BAIDU ti jẹ lilo tẹlẹ nipasẹ awọn ifunni iroyin Baidu, ẹrọ wiwa, ati oluranlọwọ oni-nọmba. 

Ẹya eto Go-play tuntun, eyiti DeepMind ṣẹda ni Oṣu kejila ọdun 2021, ni awọn ayeraye 280 bilionu. Awọn awoṣe Google Yipada-Transformer-GLaM ni iyalẹnu 1 aimọye ati awọn aye aimọye 1.2, ni atele. Wu Dao 2.0 lati Ile-ẹkọ giga ti Beijing ti AI paapaa pọ si ati pe o ti royin pe o ni awọn aye aimọye 1.75. Bii awọn ilu ọlọgbọn ati adaṣe tẹsiwaju lati Titari awọn idalọwọduro, awọn amoye ko ni idaniloju bii iṣiro AI yoo ṣe atilẹyin iru ọjọ iwaju. 

Awọn ilolu ti supersized AI si dede

Awọn ilolu to gbooro ti awọn awoṣe AI ti o ga julọ le pẹlu: 

• Awọn idoko-owo ti o pọ si ati awọn aye ni idagbasoke awọn eerun kọnputa AI ti o jẹ agbara kekere. 
• Ilọsiwaju AI fa fifalẹ nipasẹ aini agbara iširo, ti o yori si ifunni diẹ sii fun awọn imọ-ẹrọ ti n tọju agbara ati awọn solusan.
• Awọn olupilẹṣẹ ML ṣiṣẹda awọn awoṣe yiyan lẹgbẹẹ awọn oluyipada, eyiti o le ja si awọn iwadii ati isọdọtun fun awọn algoridimu daradara diẹ sii.
• Awọn solusan AI ti o dojukọ awọn iṣoro-centric ohun elo, ṣatunṣe iṣiro ni ibamu tabi iyipada bi o ṣe nilo dipo ki o kan supersizing.
• Awọn ipilẹ data eka diẹ sii ti n gba awọn eto AI laaye lati ṣe awọn asọtẹlẹ to dara julọ, pẹlu awọn asọtẹlẹ oju-ọjọ, iṣawari aaye, awọn iwadii iṣoogun, ati iṣowo kariaye.

Awọn ibeere lati sọ asọye

• Ti o ba ṣiṣẹ ni eka AI, kini ilọsiwaju diẹ ninu idagbasoke awọn awoṣe ML to dara julọ?
• Kini awọn anfani agbara miiran ti awọn awoṣe pẹlu data ikẹkọ lọpọlọpọ lati kọ ẹkọ lati?