Utbildning av AI-modeller: Jakten på AI-utveckling till låg kostnad

BILDKREDIT:
Bild kredit
iStock

Utbildning av AI-modeller: Jakten på AI-utveckling till låg kostnad

Utbildning av AI-modeller: Jakten på AI-utveckling till låg kostnad

Underrubrik text
Artificiell intelligensmodeller är notoriskt dyra att bygga och träna, vilket gör dem utom räckhåll för de flesta forskare och användare.
    • Författare:
    • författarnamn
      Quantumrun Framsyn
    • Mars 21, 2023

    Deep learning (DL) har visat sig vara en kompetent lösning på flera utmaningar inom utveckling av artificiell intelligens (AI). Men DL blir också dyrare. Att driva djupa neurala nätverk kräver höga bearbetningsresurser, särskilt vid förträning. Ännu värre, denna energikrävande process innebär att dessa krav resulterar i stora koldioxidavtryck, vilket skadar ESG-betygen för kommersialisering av AI-forskning.

    Utbildning av AI-modeller sammanhang

    Förträning är nu den mest populära metoden för att bygga storskaliga neurala nätverk, och den har visat stor framgång inom datorseende (CV) och naturlig språkbehandling (NLP). Det har dock blivit för kostsamt att utveckla enorma DL-modeller. Till exempel hade utbildning av OpenAI:s Generative Pre-trained Transformer 3 (GPT-3), som har 175 miljarder parametrar och behöver tillgång till enorma serverkluster med förstklassiga grafikkort, en uppskattad kostnad på 12 miljoner USD. En kraftfull server och hundratals gigabyte video-random access memory (VRAM) behövs också för att köra modellen.

    Även om stora teknikföretag kanske har råd med sådana utbildningskostnader, blir det oöverkomligt för mindre startups och forskningsorganisationer. Tre faktorer driver denna kostnad. 

    1. Omfattande beräkningskostnader, som skulle behöva flera veckor med tusentals grafiska bearbetningsenheter (GPU).

    2. Finjusterade modeller kräver massiv lagring, som vanligtvis tar upp hundratals gigabyte (GBs). Dessutom måste flera modeller för olika uppgifter lagras.

    3. Att träna stora modeller kräver exakt beräkningskraft och hårdvara; annars kanske resultatet inte är idealiskt.

    På grund av oöverkomliga kostnader har AI-forskning blivit allt mer kommersialiserad, där Big Tech-företag leder studierna på området. Dessa företag kommer också att få mest ut av sina resultat. Samtidigt måste forskningsinstitutioner och ideella organisationer ofta samarbeta med dessa företag om de vill bedriva sin utforskning inom området. 

    Störande inverkan

    Det finns bevis som tyder på att neurala nätverk kan "beskäras". Detta innebär att inom superstora neurala nätverk kan en mindre grupp uppnå samma nivå av noggrannhet som den ursprungliga AI-modellen utan stora effekter på dess funktionalitet. Till exempel, 2020 illustrerade AI-forskare vid Swarthmore College och Los Alamos National Laboratory att även om en komplex DL-modell kan lära sig att förutsäga framtida steg i matematikern John Conways Game of Life, så finns det alltid ett mindre neuralt nätverk som kan läras ut att göra samma sak.

    Forskare upptäckte att om de kasserar många parametrar i en DL-modell efter att den har slutfört hela träningsproceduren, kan de minska den till 10 procent av dess ursprungliga storlek och ändå uppnå samma resultat. Flera teknikföretag komprimerar redan sina AI-modeller för att spara utrymme på enheter som bärbara datorer och smartphones. Denna metod sparar inte bara pengar utan låter också programvaran köras utan internetanslutning och få resultat i realtid. 

    Det fanns också tillfällen då DL var möjligt på enheter som drivs av solbatterier eller knappceller, tack vare små neurala nätverk. En begränsning av beskärningsmetoden är dock att modellen fortfarande behöver tränas helt innan den kan reduceras. Det gjordes några inledande studier på neurala delmängder som kan tränas på egen hand. Deras noggrannhet är dock inte densamma som för neurala nätverk i superstorlek.

    Implikationer av att träna AI-modeller

    Vidare konsekvenser av att träna AI-modeller kan inkludera: 

    • Ökad forskning inom olika metoder för att träna neurala nätverk; framsteg kan dock bromsas av brist på finansiering.
    • Big tech fortsätter att finansiera sina AI-forskningslabb, vilket resulterar i fler intressekonflikter.
    • Kostnaderna för AI-utveckling skapar förutsättningar för monopol att bildas, vilket begränsar möjligheten för nya AI-startups att konkurrera oberoende med etablerade teknikföretag. Ett framväxande affärsscenario kan se att en handfull stora teknikföretag utvecklar gigantiska proprietära AI-modeller och leasar dem till mindre AI-företag som en tjänst/verktyg.
    • Forskningsinstitutioner, ideella organisationer och universitet som finansieras av stortekniker för att utföra några AI-experiment för deras räkning. Denna trend kan leda till mer kompetensflykt från den akademiska världen till företag.
    • Ökat tryck på stortekniker att publicera och regelbundet uppdatera sina AI-etiska riktlinjer för att göra dem ansvariga för sina forsknings- och utvecklingsprojekt.
    • Att träna AI-modeller blir dyrare eftersom högre datorkraft krävs i allt högre grad, vilket leder till mer koldioxidutsläpp.
    • Vissa statliga myndigheter försöker reglera data som används i utbildningen av dessa gigantiska AI-modeller. Konkurrensbyråer kan också skapa lagstiftning som tvingar AI-modeller av en viss storlek att göras tillgängliga för mindre inhemska företag i ett försök att stimulera innovation till små och medelstora företag.

    Frågor att överväga

    • Om du arbetar inom AI-sektorn, hur utvecklar din organisation mer miljömässigt hållbara AI-modeller?
    • Vilka är de potentiella långsiktiga konsekvenserna av dyra AI-modeller?

    Insiktsreferenser

    Följande populära och institutionella länkar hänvisades till för denna insikt: