Training AI-modellen: It sykjen nei AI-ûntwikkeling mei lege kosten

Ofbyldingskredyt:
Image credit
iStock

Training AI-modellen: It sykjen nei AI-ûntwikkeling mei lege kosten

Training AI-modellen: It sykjen nei AI-ûntwikkeling mei lege kosten

Subheading tekst
Künstliche yntelliginsjemodellen binne berucht djoer om te bouwen en te trenen, wêrtroch't se bûten berik binne foar de measte ûndersikers en brûkers.
    • Skriuwer:
    • Namme fan auteur
      Quantumrun Foresight
    • Maart 21, 2023

    Djip learen (DL) hat bewiisd in kompetinte oplossing te wêzen foar ferskate útdagings yn 'e ûntwikkeling fan keunstmjittige yntelliginsje (AI). DL wurdt lykwols ek djoerder. It operearjen fan djippe neurale netwurken fereasket hege ferwurkingsboarnen, benammen yn pre-training. Slimmer, dit enerzjy-yntinsive proses betsjut dat dizze easken resultearje yn grutte koalstoffuotprinten, skea oan 'e ESG-beoardielingen fan kommersialisaasje fan AI-ûndersyk.

    Training AI modellen kontekst

    Pre-training is no de populêrste oanpak foar it bouwen fan grutskalige neurale netwurken, en it hat grut súkses toand yn kompjûterfisy (CV) en natuerlike taalferwurking (NLP). It ûntwikkeljen fan enoarme DL-modellen is lykwols te kostber wurden. Bygelyks, training fan OpenAI's Generative Pre-trained Transformer 3 (GPT-3), dy't 175 miljard parameters hat en tagong hat ta enoarme serverklusters mei top-notch grafyske kaarten, hie in skatte kosten fan $ 12 miljoen. In krêftige tsjinner en hûnderten gigabytes fan fideo random access memory (VRAM) binne ek nedich om it model út te fieren.

    Hoewol grutte techbedriuwen sokke trainingskosten miskien kinne betelje, wurdt it ferbean foar lytsere startups en ûndersyksorganisaasjes. Trije faktoaren driuwen dizze kosten. 

    1. Wiidweidige berekkening kosten, dat soe nedich ferskate wiken mei tûzenen grafyske ferwurkjen ienheden (GPUs).

    2. Fine-tuned modellen fereaskje massive opslach, meastal nimme up hûnderten gigabytes (GBs). Fierder moatte meardere modellen foar ferskate taken wurde opslein.

    3. Trening fan grutte modellen fereasket krekte berekkeningskrêft en hardware; oars, resultaten miskien net ideaal.

    Fanwegen ferbeane kosten is AI-ûndersyk hieltyd mear kommersjalisearre wurden, wêrby't Big Tech-bedriuwen de stúdzjes yn it fjild liede. Dizze bedriuwen sille ek it measte winne fan har befiningen. Underwilens moatte ûndersyksynstellingen en non-profitorganisaasjes faak gearwurkje mei dizze bedriuwen as se har ferkenning yn it fjild dwaan wolle. 

    Disruptive ynfloed

    D'r is bewiis dat suggerearret dat neuronale netwurken kinne wurde "besnoeid." Dit betsjut dat binnen supersized neuronale netwurken in lytsere groep itselde nivo fan krektens kin berikke as it orizjinele AI-model sûnder swiere gefolgen op syn funksjonaliteit. Bygelyks, yn 2020, AI-ûndersikers oan it Swarthmore College en it Los Alamos National Laboratory yllustrearre dat ek al in kompleks DL-model kin leare om takomstige stappen te foarsizzen yn wiskundige John Conway's Game of Life, d'r altyd in lytser neuraal netwurk is dat kin wurde leard itselde ding te dwaan.

    Undersikers ûntdutsen dat as se in protte parameters fan in DL-model wegerje nei't it de folsleine trainingproseduere foltôge hat, se it kinne ferminderje nei 10 prosint fan har oarspronklike grutte en noch itselde resultaat berikke. Ferskate techbedriuwen komprimearje har AI-modellen al om romte te besparjen op apparaten lykas laptops en smartphones. Dizze metoade besparret net allinich jild, mar lit de software ek rinne sûnder in ynternetferbining en resultaten yn realtime krije. 

    D'r wiene ek gefallen dat DL mooglik wie op apparaten oandreaun troch sinnebatterijen as knopsellen, tanksij lytse neurale netwurken. In beheining fan de snoeimetoade is lykwols dat it model noch folslein traind wurde moat foardat it fermindere wurde kin. D'r wiene wat inisjele stúdzjes oer neurale subsets dy't op har eigen kinne wurde traind. Har krektens is lykwols net itselde as dy fan supersized neuronale netwurken.

    Gefolgen fan training AI-modellen

    Bredere gefolgen fan training AI-modellen kinne omfetsje: 

    • Ferhege ûndersyk yn ferskate metoaden foar training fan neurale netwurken; lykwols, foarútgong kin wurde fertrage troch gebrek oan finansiering.
    • Grutte tech bliuwt har AI-ûndersykslaboratoria finansiere, wat resulteart yn mear konflikten fan belangen.
    • De kosten fan AI-ûntwikkeling dy't de betingsten meitsje foar monopoaljes om te foarmjen, beheine it fermogen fan nije AI-startups om selsstannich te konkurrearjen mei fêstige techbedriuwen. In opkommende saaklik senario kin in hânfol grutte techbedriuwen sjen dy't gigantyske proprietêre AI-modellen ûntwikkelje en se lease oan lytsere AI-bedriuwen as in tsjinst / nutsbedriuw.
    • Undersykynstellingen, non-profitorganisaasjes en universiteiten wurde finansierd troch grutte tech om guon AI-eksperiminten út te fieren út namme. Dizze trend kin liede ta mear braindrain fan akademisy nei bedriuwen.
    • Ferhege druk foar grutte tech om har AI-etyske rjochtlinen te publisearjen en regelmjittich te aktualisearjen om har ferantwurding te meitsjen foar har ûndersyks- en ûntwikkelingsprojekten.
    • Training AI-modellen wurde djoerder, om't hegere kompjûterkrêft hieltyd mear fereaske is, wat liedt ta mear koalstofemissies.
    • Guon oerheidsynstânsjes besykje de gegevens te regeljen dy't brûkt wurde yn 'e training fan dizze gigantyske AI-modellen. Ek kinne kompetysje-ynstânsjes wetjouwing oanmeitsje dy't twingt AI-modellen fan in bepaalde grutte tagonklik te meitsjen foar lytsere ynlânske bedriuwen yn in poging om MKB-ynnovaasje te stimulearjen.

    Fragen om te beskôgje

    • As jo ​​​​wurkje yn 'e AI-sektor, hoe ûntwikkelet jo organisaasje dan mear miljeu duorsume AI-modellen?
    • Wat binne de potinsjele gefolgen op lange termyn fan djoere AI-modellen?

    Ynsjoch ferwizings

    De folgjende populêre en ynstitúsjonele keppelings waarden ferwiisd foar dit ynsjoch: