Modelau AI wedi'u disodli: Mae systemau cyfrifiadurol enfawr yn cyrraedd y pwynt tyngedfennol

• Awdur:
• enw awdur

  Rhagolwg Quantumrun
• Mehefin 2, 2023

Ers 2012, mae datblygiadau sylweddol mewn deallusrwydd artiffisial (AI) wedi digwydd yn rheolaidd, yn bennaf oherwydd pŵer cyfrifiadurol cynyddol (“cyfrifiadur”). Defnyddiodd un o'r modelau mwyaf, a lansiwyd yn 2020, 600,000 gwaith yn fwy o gyfrifiannu na'r model cyntaf o 2012. Nododd ymchwilwyr yn OpenAI y duedd hon yn 2018 a rhybuddiodd na fyddai'r gyfradd twf hon yn gynaliadwy yn hir.

Cyd-destun modelau AI wedi'u disodli

Mae llawer o ddatblygwyr dysgu peiriant (ML) yn defnyddio modelau trawsnewid ar gyfer dysgu dwfn (DL) oherwydd eu potensial sy'n ymddangos yn ddiderfyn. Mae enghreifftiau o'r modelau hyn yn cynnwys Trawsnewidydd Cyn-hyfforddedig Generative 2 (GPT-2), GPT-3, Cynrychioliadau Amgodiwr Deugyfeiriadol gan Transformers (BERT), a Turing Natural Language Generation (NLG). Yn aml mae gan yr algorithmau hyn gymwysiadau byd go iawn fel cyfieithu peirianyddol neu ragfynegi cyfresi amser. 

Mae'n rhaid i ddulliau deallusrwydd artiffisial ehangu i gynnwys mwy o ddata hyfforddi a dod yn well o ran rhagfynegiadau. Mae'r gofyniad hwn wedi arwain at gynnydd mewn modelau mawr gyda biliynau o baramedrau (newidynnau a ddefnyddir gan algorithmau i wneud rhagfynegiadau). Cynrychiolir y modelau hyn gan GPT-3 OpenAI (a'i ryngweithio ChatGPT a lansiwyd ym mis Rhagfyr 2022), PanGu-alpha o Tsieina, Megatron-Turing NLG Nvidia, a Gopher DeepMind. Yn 2020, roedd hyfforddiant GPT-3 yn gofyn am uwchgyfrifiadur a oedd ymhlith y pum mwyaf yn y byd. 

Fodd bynnag, mae'r modelau hyn yn dueddol o fod angen llawer iawn o ddata hyfforddi ynni-ddwys. Mae dysgu dwfn wedi dibynnu ar ei allu i ddefnyddio pŵer cyfrifiadurol enfawr, ond bydd hyn yn newid yn fuan. Mae hyfforddiant yn ddrud, mae cyfyngiadau ar sglodion AI, ac mae hyfforddi modelau mawr yn rhwystro proseswyr, gan ei gwneud hi'n anodd eu rheoli i gyd. Po fwyaf yw'r paramedr, y mwyaf costus yw hyfforddi'r modelau hyn. Mae arbenigwyr yn cytuno y daw pwynt lle y gallai modelau AI o'r fath fod yn rhy ddrud ac yn defnyddio llawer o ynni i'w hyfforddi. 

Effaith aflonyddgar

Yn 2020, amcangyfrifodd OpenAI y swm lleiaf o gyfrifiaduron sydd ei angen i hyfforddi nifer o fodelau, gan ystyried nifer y paramedrau a maint y set ddata. Mae'r hafaliadau hyn yn rhoi cyfrif am sut mae ML yn mynnu bod y data hwnnw'n mynd drwy'r rhwydwaith sawl gwaith, sut mae cyfrifiannu pob tocyn yn codi wrth i nifer y paramedrau gynyddu, a faint o ddata sydd ei angen wrth i nifer y paramedrau dyfu.

Yn ôl amcangyfrifon Open AI, gan dybio y gall datblygwyr gyflawni'r effeithlonrwydd mwyaf posibl, byddai adeiladu GPT-4 (100 gwaith yn fwy na GPT-3 (17.5 triliwn o baramedrau)) yn gofyn am 7,600 o unedau prosesu graffeg (GPUs) yn rhedeg am o leiaf blwyddyn ac yn costio tua USD $200 miliwn. Byddai angen 100 o GPUs ar fodel paramedr 83,000 triliwn i'w bweru am flwyddyn, gan gostio mwy na USD $2 biliwn.

Serch hynny, mae cwmnïau technoleg wedi bod yn cydweithio ac yn buddsoddi yn eu modelau AI hynod o gynyddol wrth i'r galw am atebion ML dyfu. Er enghraifft, rhyddhaodd Baidu o Tsieina a'r Peng Cheng Lab PCL-BAIDU Wenxin, gyda 280 biliwn o baramedrau. Mae PCL-BAIDU eisoes yn cael ei ddefnyddio gan borthwyr newyddion, peiriant chwilio a chynorthwyydd digidol Baidu. 

Mae gan fersiwn ddiweddaraf y rhaglen Go-playing, a greodd DeepMind ym mis Rhagfyr 2021, 280 biliwn o baramedrau. Mae gan fodelau Google Switch-Transformer-GLaM baramedrau syfrdanol o 1 triliwn a 1.2 triliwn, yn y drefn honno. Mae Wu Dao 2.0 o Academi AI Beijing hyd yn oed yn fwy enfawr ac adroddwyd bod ganddo 1.75 triliwn o baramedrau. Wrth i ddinasoedd craff ac awtomeiddio barhau i wthio aflonyddwch, mae arbenigwyr yn ansicr sut y bydd cyfrifiadura deallusrwydd artiffisial yn cefnogi dyfodol o'r fath. 

Goblygiadau modelau AI wedi'u disodli

Gallai goblygiadau ehangach modelau AI o’r fath gynnwys: 

• Mwy o fuddsoddiadau a chyfleoedd i ddatblygu sglodion cyfrifiadurol AI sy'n defnyddio llai o ynni. 
• Arafwyd cynnydd AI gan ddiffyg pŵer cyfrifiadurol, gan arwain at fwy o gyllid ar gyfer technolegau ac atebion arbed ynni.
• Datblygwyr ML yn creu modelau amgen ar wahân i drawsnewidwyr, a all arwain at ddarganfyddiadau ac arloesedd ar gyfer algorithmau mwy effeithlon.
• Datrysiadau AI sy'n canolbwyntio ar broblemau sy'n canolbwyntio ar y cymhwysiad, gan addasu'r cyfrifiadur yn unol â hynny neu addasu yn ôl yr angen yn lle disodli yn unig.
• Setiau data mwy cymhleth sy'n caniatáu i raglenni AI berfformio gwell rhagfynegiadau, gan gynnwys rhagolygon tywydd, darganfod gofod, diagnosis meddygol, a masnachu rhyngwladol.

Cwestiynau i wneud sylwadau arnynt

• Os ydych chi'n gweithio yn y sector AI, beth yw rhywfaint o gynnydd wrth ddatblygu modelau ML gwell?
• Beth yw manteision posibl eraill modelau gyda data hyfforddi helaeth i ddysgu ohonynt?