Pagbansay sa mga modelo sa AI: Ang pagpangita alang sa mubu nga gasto sa pagpalambo sa AI

• Author:
• Ngalan sa tagsulat

  Quantumrun Foresight
• Marso 21, 2023

Ang lawom nga pagkat-on (DL) napamatud-an nga usa ka takos nga solusyon sa daghang mga hagit sa pag-uswag sa artificial intelligence (AI). Bisan pa, ang DL nagkamahal usab. Ang pagpadagan sa lawom nga mga neural network nanginahanglan taas nga mga kapanguhaan sa pagproseso, labi na sa pre-training. Mas grabe pa, kini nga proseso nga kusog sa enerhiya nagpasabut nga kini nga mga kinahanglanon nagresulta sa daghang mga tunob sa carbon, nga makadaot sa mga rating sa ESG sa komersyalisasyon sa panukiduki sa AI.

Pagbansay sa konteksto sa mga modelo sa AI

Ang pre-training mao na karon ang pinakasikat nga pamaagi sa pagtukod og dagkong mga neural network, ug kini nagpakita og dakong kalampusan sa computer vision (CV) ug natural language processing (NLP). Bisan pa, ang pagpalambo sa dagkong mga modelo sa DL nahimong mahal kaayo. Pananglitan, ang pagbansay sa OpenAI's Generative Pre-trained Transformer 3 (GPT-3), nga adunay 175 bilyon nga mga parameter ug nanginahanglan pag-access sa daghang mga cluster sa server nga adunay mga top-notch nga graphics card, adunay gibanabana nga kantidad nga USD $12 milyon. Usa ka gamhanan nga server ug gatusan ka gigabytes sa video random access memory (VRAM) gikinahanglan usab sa pagpadagan sa modelo.

Samtang ang mga dagkong kompanya sa teknolohiya mahimo’g makabayad sa ingon nga mga gasto sa pagbansay, mahimo’g gidili alang sa gagmay nga mga pagsugod ug mga organisasyon sa panukiduki. Tulo ka mga hinungdan ang nagpalihok niini nga gasto. 

1. Daghang gasto sa pag-compute, nga magkinahanglan ug pila ka semana nga adunay liboan ka graphic processing units (GPUs).

2. Ang maayo nga mga modelo nanginahanglan ug dako nga pagtipig, kasagaran mokuha og gatusan ka gigabytes (GBs). Dugang pa, daghang mga modelo alang sa lainlaing mga buluhaton ang kinahanglan nga tipigan.

3. Ang pagbansay sa dagkong mga modelo nagkinahanglan ug tukmang computational power ug hardware; kon dili, ang mga resulta mahimong dili maayo.

Tungod sa nagdili nga gasto, ang panukiduki sa AI nahimong labi nga komersyal, diin ang mga kompanya sa Big Tech nanguna sa mga pagtuon sa natad. Kini nga mga kompanya nagbarug usab aron makakuha labing kadaghan gikan sa ilang mga nahibal-an. Samtang, ang mga institusyon sa panukiduki ug dili ganansya kanunay kinahanglan nga magtinabangay sa kini nga mga negosyo kung gusto nila nga ipahigayon ang ilang eksplorasyon sa natad. 

Makasamok nga epekto

Adunay ebidensya nga nagsugyot nga ang mga neural network mahimong "pul-an." Kini nagpasabot nga sulod sa supersized neural networks, ang usa ka gamay nga grupo makakab-ot sa samang lebel sa katukma sama sa orihinal nga AI nga modelo nga walay bug-at nga epekto sa pagpaandar niini. Pananglitan, kaniadtong 2020, ang mga tigdukiduki sa AI sa Swarthmore College ug ang Los Alamos National Laboratory nag-ilustrar nga bisan kung ang usa ka komplikado nga modelo sa DL makakat-on sa pagtagna sa umaabot nga mga lakang sa Dula sa Kinabuhi sa matematiko nga si John Conway, kanunay adunay usa ka gamay nga neural network nga mahimong itudlo. sa pagbuhat sa samang butang.

Nadiskobrehan sa mga tigdukiduki nga kung ilang isalikway ang daghang mga parameter sa usa ka modelo sa DL pagkahuman makompleto ang tibuuk nga pamaagi sa pagbansay, mahimo nila kini pakunhuran sa 10 porsyento sa orihinal nga gidak-on niini ug makab-ot gihapon ang parehas nga sangputanan. Daghang mga kompanya sa tech ang nag-compress na sa ilang mga modelo sa AI aron makatipig og wanang sa mga aparato sama sa mga laptop ug smartphone. Kini nga pamaagi dili lamang makadaginot sa salapi apan nagtugot usab sa software nga modagan nga walay koneksyon sa Internet ug makakuha og mga resulta sa tinuod nga panahon. 

Adunay usab mga higayon nga ang DL posible sa mga aparato nga gipadagan sa solar nga mga baterya o mga butones nga mga cell, salamat sa gagmay nga mga neural network. Bisan pa, ang usa ka limitasyon sa pamaagi sa pagpul-ong mao nga ang modelo kinahanglan pa nga hingpit nga mabansay sa dili pa kini mapakunhod. Adunay pipila ka mga inisyal nga pagtuon sa neural subsets nga mahimong mabansay sa ilang kaugalingon. Bisan pa, ang ilang katukma dili parehas sa mga supersized nga neural network.

Mga implikasyon sa pagbansay sa mga modelo sa AI

Ang mas lapad nga mga implikasyon sa pagbansay sa mga modelo sa AI mahimong maglakip sa: 

• Dugang nga panukiduki sa lainlaing mga pamaagi sa pagbansay sa mga neural network; bisan pa, ang pag-uswag mahimong mohinay tungod sa kakulang sa pondo.
• Ang dagkong tech nga nagpadayon sa pagpundo sa ilang AI research labs, nga miresulta sa mas daghang panagbangi sa interes.
• Ang mga gasto sa pagpalambo sa AI nga nagmugna sa mga kondisyon alang sa mga monopolyo nga maporma, nga naglimite sa abilidad sa mga bag-ong AI startup nga makigkompetensya nga independente sa natukod nga mga tech firms. Ang us aka us aka us aka senaryo sa negosyo mahimo’g makita ang pila ka dagkong mga kompanya sa teknolohiya nga nagpalambo sa mga higanteng proprietary nga mga modelo sa AI ug gipaabangan kini sa gagmay nga mga kompanya sa AI ingon usa ka serbisyo / utility.
• Ang mga institusyon sa panukiduki, dili ganansya, ug unibersidad nga gipondohan sa dagkong teknolohiya aron magpahigayon og pipila ka mga eksperimento sa AI alang kanila. Kini nga uso mahimong mosangput sa dugang nga pag-agas sa utok gikan sa akademya hangtod sa mga korporasyon.
• Nadugangan nga presyur para sa dagkong tech nga imantala ug kanunay nga i-update ang ilang mga giya sa pamatasan sa AI aron mahimo silang tulubagon sa ilang mga proyekto sa panukiduki ug pag-uswag.
• Ang pagbansay sa mga modelo sa AI nahimong mas mahal tungod kay mas gikinahanglan ang mas taas nga gahum sa pag-compute, nga mosangpot sa mas daghang carbon emissions.
• Ang ubang mga ahensya sa gobyerno nga misulay sa pag-regulate sa datos nga gigamit sa pagbansay niining mga higanteng modelo sa AI. Ingon usab, ang mga ahensya sa kompetisyon mahimo’g maghimo ug balaod nga nagpugos sa mga modelo sa AI sa usa ka piho nga gidak-on nga mahimong ma-access sa gagmay nga mga domestic nga kompanya sa paningkamot nga madasig ang pagbag-o sa SME.

Mga pangutana nga hunahunaon

• Kung nagtrabaho ka sa sektor sa AI, giunsa ang paghimo sa imong organisasyon nga mas malungtaron nga mga modelo sa AI?
• Unsa ang mga potensyal nga dugay nga sangputanan sa mahal nga mga modelo sa AI?