Supersized AI qauv: Cov kev suav loj loj tau mus txog qhov taw tes

IMAGE CREDIT:
Duab credit
iStock

Supersized AI qauv: Cov kev suav loj loj tau mus txog qhov taw tes

Supersized AI qauv: Cov kev suav loj loj tau mus txog qhov taw tes

Subheading ntawv nyeem
Cov qauv kev kawm lej tau loj dua thiab ntau dua txhua xyoo, tab sis cov kws tshaj lij xav tias cov algorithms nthuav dav no tab tom nce siab.
    • Author:
    • Tus sau lub npe
      Quantumrun Foresight
    • Lub rau hli ntuj 2, 2023

    Txij li thaum xyoo 2012, kev nce qib tseem ceeb hauv kev txawj ntse (AI) tau tshwm sim tsis tu ncua, feem ntau yog tsav los ntawm kev siv lub zog siv computer ("compute" luv luv). Ib qho ntawm cov qauv loj tshaj plaws, tau tsim tawm hauv xyoo 2020, siv 600,000 lub sijhawm suav ntau dua li thawj tus qauv los ntawm 2012. Cov kws tshawb fawb ntawm OpenAI tau sau tseg cov qauv no hauv 2018 thiab ceeb toom tias qhov kev loj hlob no yuav tsis nyob ntev.

    Supersized AI qauv ntsiab lus

    Ntau lub tshuab kev kawm (ML) cov neeg tsim khoom siv cov qauv hloov pauv rau kev kawm tob (DL) vim tias lawv zoo li tsis muaj peev xwm. Piv txwv ntawm cov qauv no suav nrog Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Bidirectional Encoder Sawv cev los ntawm Transformers (BERT), thiab Turing Natural Language Generation (NLG). Cov algorithms no feem ntau muaj cov ntawv thov hauv ntiaj teb xws li tshuab txhais lus lossis lub sijhawm twv ua ntej. 

    Artificial txawj ntse hom yuav tsum tau nthuav dav kom haum raws li cov ntaub ntawv qhia ntau ntxiv thiab ua kom zoo dua ntawm kev kwv yees. Qhov kev xav tau no tau coj mus rau qhov nce ntawm cov qauv supersized nrog ntau lab tus tsis tau (kwv yees siv los ntawm algorithms los ua kev kwv yees). Cov qauv no yog sawv cev los ntawm OpenAI's GPT-3 (thiab nws qhov kev sib tham ChatGPT pib thaum Lub Kaum Ob Hlis 2022), Tuam Tshoj-based PanGu-alpha, Nvidia's Megatron-Turing NLG, thiab DeepMind's Gopher. Xyoo 2020, kev cob qhia GPT-3 yuav tsum muaj lub khoos phis tawj supercomputer uas yog ntawm tsib qhov loj tshaj plaws hauv ntiaj teb. 

    Txawm li cas los xij, cov qauv no yuav xav tau cov ntaub ntawv qhia kev siv zog ntau heev. Kev kawm tob tau nyob ntawm nws lub peev xwm los siv lub zog suav loj, tab sis qhov no yuav hloov sai sai. Kev cob qhia yog kim, muaj kev txwv rau AI chips, thiab kev cob qhia cov qauv loj clogs cov txheej txheem, ua rau nws nyuaj los tswj lawv txhua tus. Qhov loj dua qhov parameter, tus costlier nws yog los qhia cov qauv no. Cov kws tshaj lij pom zoo tias yuav muaj lub ntsiab lus uas tus qauv AI supersized yuav dhau los ua kim heev thiab siv zog siv zog los cob qhia. 

    Kev cuam tshuam

    Hauv xyoo 2020, OpenAI tau kwv yees qhov tsawg kawg nkaus ntawm kev suav yuav tsum tau cob qhia ntau tus qauv, suav nrog tus lej ntawm cov ntsuas thiab cov ntaub ntawv loj. Cov kev sib npaug no suav txog yuav ua li cas ML xav kom cov ntaub ntawv hla dhau lub network ntau zaus, suav pes tsawg rau txhua qhov kev hla nce raws li tus naj npawb ntawm cov kev txwv nce, thiab cov ntaub ntawv ntau npaum li cas yog xav tau raws li tus naj npawb ntawm qhov loj hlob.

    Raws li Qhib AI kwv yees, xav tias cov neeg tsim khoom tuaj yeem ua tiav qhov ua tau zoo tshaj plaws, tsim GPT-4 (100 npaug loj dua GPT-3 (17.5 trillion tsis)) yuav xav tau 7,600 cov duab ua haujlwm (GPUs) khiav tsawg kawg ib xyoos thiab raug nqi kwv yees li USD $200 lab. Tus qauv 100-trillion parameter yuav xav tau 83,000 GPUs los ua kom muaj zog rau ib xyoos, raug nqi ntau dua $ 2 billion.

    Txawm li cas los xij, cov tuam txhab thev naus laus zis tau sib koom tes thiab nqis peev hauv lawv qhov kev nthuav dav AI cov qauv raws li kev thov rau ML cov kev daws teeb meem loj hlob. Piv txwv li, Tuam Tshoj-based Baidu thiab Peng Cheng Lab tso tawm PCL-BAIDU Wenxin, nrog 280 billion tsis. PCL-BAIDU twb tau siv los ntawm Baidu cov xov xwm pub, tshawb nrhiav cav, thiab tus pab cuam digital. 

    Qhov tseeb Go-playing program version, uas DeepMind tsim nyob rau lub Kaum Ob Hlis 2021, muaj 280 billion tsis. Cov qauv Google Hloov-Transformer-GLaM muaj qhov staggering 1 trillion thiab 1.2 trillion tsis, ntsig txog. Wu Dao 2.0 los ntawm Beijing Academy ntawm AI tseem loj dua thiab tau tshaj tawm tias muaj 1.75 trillion tsis muaj. Raws li cov nroog ntse thiab automation txuas ntxiv thawb kev cuam tshuam, cov kws tshaj lij tsis paub meej tias AI suav yuav txhawb nqa li cas rau yav tom ntej. 

    Kev cuam tshuam ntawm supersized AI qauv

    Kev cuam tshuam dav dav ntawm supersized AI qauv tuaj yeem suav nrog: 

    • Kev nqis peev ntau ntxiv thiab cov hauv kev hauv kev tsim AI computer chips uas siv lub zog tsawg dua. 
    • AI kev nce qib qeeb zuj zus los ntawm qhov tsis muaj kev suav lub zog, ua rau muaj nyiaj ntau dua rau kev txuag hluav taws xob thiab kev daws teeb meem.
    • ML developers tsim lwm cov qauv ib sab ntawm transformers, uas tuaj yeem ua rau kev tshawb pom thiab kev tsim kho tshiab rau kev ua haujlwm zoo dua.
    • AI cov kev daws teeb meem tsom rau cov teeb meem ntawm daim ntawv thov-centric, kho kev suav raws li lossis hloov kho raws li qhov xav tau es tsis txhob tsuas yog supersizing.
    • Cov ntaub ntawv nyuaj dua tso cai rau AI cov kev pab cuam ua qhov kev kwv yees zoo dua, suav nrog huab cua huab cua, kev tshawb pom qhov chaw, kuaj mob, thiab kev lag luam thoob ntiaj teb.

    Cov lus nug los tawm tswv yim

    • Yog tias koj ua haujlwm hauv AI sector, dab tsi yog qee qhov kev nce qib hauv kev tsim cov qauv ML zoo dua?
    • Dab tsi yog lwm cov txiaj ntsig zoo ntawm cov qauv nrog cov ntaub ntawv kev cob qhia dav dav kom kawm los ntawm?

    Insight references

    Cov nram qab no nrov thiab cov koom haum txuas tau raug xa mus rau qhov kev pom no: