Modelli di furmazione AI: A ricerca di u sviluppu AI à pocu costu

• Author:
• Nome di l'autore

  Quantumrun Foresight
• March 21, 2023

L'apprendimentu profondu (DL) hà dimustratu esse una soluzione cumpetente à parechje sfide in u sviluppu di l'intelligenza artificiale (AI). Tuttavia, DL hè ancu diventatu più caru. U funziunamentu di e rete neurali profonde richiede risorse di trasfurmazioni elevate, in particulare in pre-furmazioni. Peor, stu prucessu intensivu d'energia significa chì questi requisiti risultanu in grandi impronte di carbonu, dannu a classificazione ESG di a cummercializazione di a ricerca AI.

Cuntestu di mudelli di furmazione AI

A pre-furmazione hè avà l'approcciu più populari per a custruzzione di rete neurali à grande scala, è hà dimustratu un grande successu in a visione di l'urdinatore (CV) è in u processu di lingua naturale (NLP). Tuttavia, u sviluppu di mudelli DL enormi hè diventatu troppu caru. Per esempiu, a furmazione di OpenAI's Generative Pre-trained Transformer 3 (GPT-3), chì hà 175 miliardi di parametri è hà bisognu di accessu à enormi clusters di servitori cù carte grafiche di prima qualità, hà avutu un costu stimatu di $ 12 milioni. Un servitore putente è centinaie di gigabytes di memoria d'accessu aleatoriu di video (VRAM) sò ancu necessarii per eseguisce u mudellu.

Mentre chì e grandi cumpagnie tecnologiche puderanu permette di tali costi di furmazione, diventa pruibitivu per i startups più chjuchi è l'urganisazioni di ricerca. Trè fattori guidanu sta spesa. 

1. Costi di calculu estensivu, chì averia bisognu di parechje settimane cù millaie di unità di trasfurmazioni grafiche (GPU).

2. I mudelli finamente sintonizzati necessitanu un almacenamentu massivu, generalmente piglianu centinaie di gigabytes (GB). Inoltre, parechji mudelli per e diverse attività deve esse guardatu.

3. A furmazione di mudelli grandi richiede una putenza computazionale precisa è hardware; altrimenti, i risultati puderianu micca esse ideali.

A causa di i costi pruibitivi, a ricerca di l'AI hè diventata sempre più cummercializata, induve l'imprese Big Tech guidanu i studii in u campu. Queste imprese anu ancu guadagnà u più da e so scuperte. Intantu, l'istituzioni di ricerca è l'imprese senza prufittu spessu anu da cullaburazione cù queste imprese se volenu fà a so esplorazione in u campu. 

Impact disruptive

Ci hè evidenza chì suggerisce chì e rete neurali ponu esse "pruned". Questu significa chì in e rete neurali supersized, un gruppu più chjucu pò ottene u listessu livellu di precisione cum'è u mudellu AI originale senza impatti pesanti nantu à a so funziunalità. Per esempiu, in 2020, circadori AI in Swarthmore College è u Laboratoriu Naziunale di Los Alamos illustranu chì ancu s'è un mudellu DL cumplessu pò amparà à predichendu passi futuri in u ghjocu di a vita di u matematicu John Conway, ci hè sempre una reta neurale più chjuca chì pò esse insignata. per fà a stessa cosa.

L'investigatore anu scupertu chì, s'ellu sguassate numerosi paràmetri di un mudellu DL, dopu avè finitu tutta a prucedura di furmazione, ponu riduce à 10 per centu di a so dimensione originale è ancu ottene u listessu risultatu. Parechje cumpagnie tecnologiche sò digià cumpressendu i so mudelli AI per risparmià spaziu nantu à i dispositi cum'è laptops è smartphones. Stu metudu ùn hè micca solu risparmià soldi, ma permette ancu à u software per eseguisce senza una cunnessione Internet è ottene risultati in tempu reale. 

Ci era ancu casi quandu DL era pussibile nantu à i dispositi alimentati da batterie solari o pile di buttone, grazia à e petite rete neurali. In ogni casu, una limitazione di u metudu di poda hè chì u mudellu hà sempre bisognu à esse furmatu cumplettamente prima di pudè esse ridutta. Ci era qualchi studii iniziali nantu à i subsets neurali chì ponu esse furmatu da sè stessu. In ogni casu, a so precisione ùn hè micca listessa à quelli di e rete neurali supersized.

Implicazioni di a furmazione di mudelli AI

Implicazioni più larghe di i mudelli AI di furmazione ponu include: 

• Aumentu di a ricerca in diversi metudi di furmazione di e rete neurali; Tuttavia, u prugressu pò esse rallentatu da a mancanza di finanziamentu.
• Big tech cuntinueghjanu à finanzà i so laboratori di ricerca AI, risultatu in più cunflitti d'interessi.
• I costi di u sviluppu di l'AI creanu e cundizioni per a furmazione di monopoli, limitendu a capacità di novi startups AI per cumpete indipindentamente cù l'imprese tecnologiche stabilite. Un scenariu di cummerciale emergente pò vede una manciata di grandi imprese tecnologiche chì sviluppanu mudelli di AI proprietarii giganti è l'affittu à imprese AI più chjuche cum'è serviziu / utilità.
• Istituzioni di ricerca, senza prufittu, è università chì sò finanziati da e grande tecnulugia per fà alcuni esperimenti di IA in nome di elli. Questa tendenza pò purtà à più fuga di u cervellu da l'accademia à l'imprese.
• Pressione aumentata per a big tech per pubblicà è aghjurnà regularmente e so linee di etica di l'IA per rende rispunsevuli di i so prughjetti di ricerca è sviluppu.
• A furmazione di mudelli AI diventanu più caru cum'è una putenza di calculu più alta hè sempre più necessaria, chì porta à più emissioni di carbonu.
• Certi agenzii di u guvernu tentativu di regulà e dati utilizati in a furmazione di questi mudelli AI giganti. Inoltre, l'agenzii di cuncurrenza ponu creà una legislazione chì forze mudelli di IA di una certa dimensione à esse resi accessibili à e imprese domestiche più chjuche in un sforzu di stimulà l'innuvazione di e PMI.

Dumande da cunsiderà

• Se travagliate in u settore AI, cumu si sviluppa a vostra urganizazione mudelli AI più sustenibili per l'ambiente?
• Chì sò e pussibuli cunsequenze à longu andà di mudelli AI caru?