Modely AI supersized: Ny rafitra informatika goavambe dia tonga amin'ny teboka farany

• Author:
• Anaran'ny mpanoratra

  Quantumrun Foresight
• Jona 2, 2023

Nanomboka tamin'ny taona 2012, dia nisy fandrosoana lehibe teo amin'ny faharanitan-tsaina artifisialy (AI) tsy tapaka, indrindra noho ny fampitomboana ny herin'ny informatika (“compute” raha fohy). Ny iray amin'ireo modely lehibe indrindra, natomboka tamin'ny taona 2020, dia nampiasa kajy in-600,000 heny noho ny modely voalohany tamin'ny 2012. Nomarihin'ny mpikaroka ao amin'ny OpenAI io fironana io tamin'ny taona 2018 ary nampitandrina fa tsy haharitra ela io tahan'ny fitomboana io.

Ny tontolon'ny modely AI supersized

Maro amin'ireo mpamorona machine learning (ML) no mampiasa maodely mpanova ho an'ny fianarana lalina (DL) noho ny fahafahany toa tsy misy fetra. Ohatra amin'ireo modely ireo ny Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Bidirectional Encoder Representations avy amin'ny Transformers (BERT), ary Turing Natural Language Generation (NLG). Ireo algorithm ireo matetika dia manana fampiharana amin'izao tontolo izao toy ny fandikana milina na faminaniana andiam-potoana. 

Tsy maintsy mivelatra ny maodely artifisialy mba handraisana angon-drakitra fanofanana bebe kokoa ary ho tsara kokoa amin'ny faminaniana. Izany fepetra izany dia nitarika ny fiakaran'ny maodely supersized miaraka amin'ny mari-pamantarana an'arivony tapitrisa (variable ampiasain'ny algorithm mba hanaovana faminaniana). Ireo modely ireo dia asehon'ny OpenAI's GPT-3 (sy ny fifandraisany amin'ny ChatGPT natomboka tamin'ny Desambra 2022), PanGu-alpha miorina any Shina, Nvidia's Megatron-Turing NLG, ary DeepMind's Gopher. Tamin'ny 2020, ny fanofanana GPT-3 dia nitaky supercomputer iray izay anisan'ny dimy lehibe indrindra eran-tany. 

Na izany aza, ireo modely ireo dia mitaky angon-drakitra fanofanana be dia be. Ny fianarana lalina dia niankina tamin'ny fahaizany mampiasa hery kajy goavana, saingy hiova tsy ho ela izany. Lafo ny fanofanana, misy fetrany ny chips AI, ary ny fanofanana modely lehibe dia manakana ny processeur, ka sarotra ny mitantana azy rehetra. Arakaraky ny lehibe kokoa ny parameter, ny lafo kokoa ny fanofanana ireo modely ireo. Miombon-kevitra ny manam-pahaizana fa ho avy ny fotoana izay mety ho lasa lafo be ny maodely AI supersized ary mandany angovo azo ampiofanina. 

Fiantraikany manakorontana

Tamin'ny taona 2020, ny OpenAI dia nanombatombana ny habetsaky ny kajy kely indrindra ilaina amin'ny fanofanana modely maro, amin'ny fampitomboana ny isan'ny mari-pamantarana sy ny haben'ny angona. Ireo fampitoviana ireo dia mitantara ny fomba itakian'ny ML an'io angon-drakitra io handalo imbetsaka ny tambazotra, ny fomba kajy isaky ny mandeha rehefa mitombo ny isan'ny masontsivana, ary ny habetsaky ny angona ilaina rehefa mitombo ny isa.

Araka ny fanombantombanan'ny Open AI, raha mihevitra fa afaka mahavita fahombiazana ambony indrindra ny mpamorona, ny fananganana GPT-4 (100 heny kokoa noho ny GPT-3 (17.5 trillion paramètre)) dia mitaky 7,600 graphic processing units (GPU) mandeha mandritra ny herintaona farafahakeliny ary mitentina eo ho eo. 200 tapitrisa dolara amerikana. Ny maodely paramètre 100-trillion dia mila GPU 83,000 hanamafisana azy mandritra ny herintaona, mitentina 2 miliara dolara mahery.

Na izany aza, ny orinasa teknolojia dia niara-niasa sy nandatsaka fampiasam-bola tamin'ny maodely AI supersized tsy mitsaha-mitombo satria mitombo ny fangatahana vahaolana ML. Ohatra, Baidu monina any Shina sy ny Lab Peng Cheng dia namoaka PCL-BAIDU Wenxin, miaraka amin'ny masontsivana 280 lavitrisa. PCL-BAIDU dia efa ampiasain'ny Baidu vaovao, milina fikarohana ary mpanampy nomerika. 

Ny kinova fandaharana Go-playing farany, izay noforonin'i DeepMind tamin'ny Desambra 2021, dia manana mari-pamantarana 280 miliara. Ny modely Google Switch-Transformer-GLaM dia manana mari-pamantarana 1 trillion sy 1.2 trillion. Wu Dao 2.0 avy amin'ny Akademia Beijing an'ny AI dia mbola lehibe kokoa ary voalaza fa manana mari-pamantarana 1.75 trillion. Satria mbola manohy manakorontana ny tanàna marani-tsaina sy ny automatique, tsy azon'ny manam-pahaizana hoe ahoana no hanohanana ny ho avy toy izany ny compute AI. 

Ny fiantraikan'ny modely AI supersized

Ny fiantraikan'ny modely AI supersized dia mety ahitana: 

• Nitombo ny fampiasam-bola sy ny fahafaha-manao amin'ny fampivoarana ny solosaina AI izay mandany angovo kely kokoa. 
• Nihena ny fandrosoan'ny AI noho ny tsy fahampian'ny herin'ny informatika, nitarika famatsiam-bola bebe kokoa ho an'ny teknolojia sy vahaolana mitsitsy angovo.
• Ny mpamorona ML dia mamorona modely hafa ankoatra ny transformer, izay mety hitarika amin'ny fikarohana sy fanavaozana ho an'ny algorithm mahomby kokoa.
• Vahaolana AI mifantoka amin'ny olana mifototra amin'ny fampiharana, manitsy ny kajikajy mifanaraka amin'izany na manova araka izay ilaina fa tsy manara-penitra fotsiny.
• Ny angon-drakitra sarotra kokoa mamela ny programa AI hanao faminaniana tsara kokoa, ao anatin'izany ny vinavinan'ny toetr'andro, ny fahitana ny habakabaka, ny diagnostika ara-pitsaboana ary ny varotra iraisam-pirenena.

Fanontaniana handinihana

• Raha miasa amin'ny sehatry ny AI ianao, inona no fandrosoana sasany amin'ny famolavolana modely ML tsara kokoa?
• Inona avy ireo tombontsoa hafa mety hitranga amin'ny modely misy angona fanofanana be dia be hianarana?