Моделҳои азими AI: Системаҳои компютерии азим ба нуқтаи авҷ расида истодаанд

• Муаллиф:
• Номи муаллиф

  Пешгӯии Quantumrun
• Июни соли 2, 2023

Аз соли 2012 инҷониб пешрафтҳои назаррас дар зеҳни сунъӣ (AI) мунтазам ба амал омадаанд, ки асосан аз ҳисоби афзоиши қудрати ҳисоббарорӣ ("ҳисоббарорӣ" барои кӯтоҳ) ба вуҷуд омадааст. Яке аз бузургтарин моделҳо, ки дар соли 2020 ба кор андохта шуд, нисбат ба модели аввали соли 600,000 2012 2018 маротиба бештар ҳисоббарорӣ истифода кардааст. Муҳаққиқони OpenAI ин тамоюлро дар соли XNUMX қайд карданд ва ҳушдор доданд, ки ин суръати афзоиш барои муддати тӯлонӣ устувор нахоҳад буд.

Контексти моделҳои бузурги AI

Бисёре аз таҳиягарони омӯзиши мошинсозӣ (ML) моделҳои трансформаторро барои омӯзиши амиқ (DL) истифода мебаранд, зеро потенсиали ба назар бепоёни онҳо. Намунаҳои ин моделҳо иборатанд аз Transformer Generative Pre-trained 2 (GPT-2), GPT-3, Намояндагии рамзгузори дуҷониба аз Transformers (BERT) ва Тюринг тавлиди забони табиӣ (NLG). Ин алгоритмҳо аксар вақт барномаҳои воқеии ҷаҳонӣ доранд, ба монанди тарҷумаи мошин ё пешгӯии силсилаи вақт. 

Усулҳои зеҳни сунъӣ бояд васеъ шаванд, то маълумоти бештари омӯзишро дар бар гиранд ва дар пешгӯиҳо беҳтар шаванд. Ин талабот ба афзоиши моделҳои аз ҳад калон бо миллиардҳо параметрҳо оварда расонд (тағйирёбандаҳое, ки алгоритмҳо барои пешгӯиҳо истифода мебаранд). Ин моделҳо аз ҷониби OpenAI-и GPT-3 (ва ҳамкории он ChatGPT дар моҳи декабри соли 2022 оғоз шудааст), PanGu-alpha дар Чин, Megatron-Turing NLG Nvidia ва DeepMind Gopher муаррифӣ мешаванд. Дар соли 2020, омӯзиши GPT-3 як суперкомпьютерро талаб мекард, ки дар байни панҷ бузургтарин дар ҷаҳон буд. 

Бо вуҷуди ин, ин моделҳо одатан миқдори зиёди маълумотҳои таълимии энергияталабро талаб мекунанд. Омӯзиши амиқ аз қобилияти он дар истифодаи қудрати азими ҳисоббарорӣ вобаста буд, аммо ин ба зудӣ тағйир хоҳад ёфт. Омӯзиш гарон аст, барои микросхемаҳои AI маҳдудиятҳо вуҷуд дорад ва омӯзиши моделҳои калон протсессорҳоро банд мекунад ва идоракунии ҳамаи онҳоро душвор мегардонад. Чӣ қадаре ки параметр калонтар бошад, омӯзиши ин моделҳо ҳамон қадар гаронтар мешавад. Коршиносон розӣ ҳастанд, ки нуқтае фаро мерасад, ки моделҳои аз ҳад зиёди AI метавонад барои омӯзиш хеле гарон ва энергияталаб шаванд. 

Таъсири вайронкунанда

Дар соли 2020, OpenAI миқдори ҳадди ақали ҳисоббарориро барои омӯзиши моделҳои сершумор, бо назардошти шумораи параметрҳо ва андозаи маҷмӯаи додаҳо ҳисоб кард. Ин муодилаҳо дар бораи он, ки ML талаб мекунад, ки маълумот аз шабака чанд маротиба гузарад, чӣ гуна ҳисоб кардани ҳар як гузариш бо афзоиши шумораи параметрҳо афзоиш меёбад ва бо афзоиши шумораи параметрҳо чӣ қадар маълумот лозим аст.

Тибқи ҳисобҳои Open AI, бо назардошти он ки таҳиягарон метавонанд самаранокии ҳадди аксарро ба даст оранд, сохтани GPT-4 (100 маротиба калонтар аз GPT-3 (17.5 триллион параметр)) 7,600 воҳиди коркарди графикиро (GPU) дар тӯли на камтар аз як сол кор мекунад ва тақрибан арзиш дорад. 200 миллион доллар. Модели параметри 100 триллион барои як сол ба 83,000 2 GPU ниёз дорад, ки арзиши он беш аз XNUMX миллиард долларро ташкил медиҳад.

Бо вуҷуди ин, ширкатҳои технологӣ дар моделҳои доимо васеъшавандаи AI ҳамкорӣ мекунанд ва сармоягузорӣ мекунанд, зеро талабот ба ҳалли ML афзоиш меёбад. Масалан, Baidu дар Чин ва лабораторияи Пенг Ченг PCL-BAIDU Wenxin-ро бо 280 миллиард параметр бароварданд. PCL-BAIDU аллакай аз ҷониби каналҳои хабарии Baidu, системаи ҷустуҷӯӣ ва ёвари рақамӣ истифода мешавад. 

Версияи охирини барномаи Go-playing, ки DeepMind моҳи декабри соли 2021 офаридааст, дорои 280 миллиард параметр мебошад. Моделҳои Google Switch-Transformer-GLaM мутаносибан 1 триллион ва 1.2 триллион параметрҳои ҳайратангез доранд. Ву Дао 2.0 аз Академияи интеллектуалии Пекин боз ҳам бузургтар аст ва гузориш дода шудааст, ки 1.75 триллион параметр дорад. Азбаски шаҳрҳои интеллектуалӣ ва автоматизатсия халалдоршавиро идома медиҳанд, коршиносон намедонанд, ки чӣ гуна ҳисоббарории AI чунин ояндаро дастгирӣ мекунад. 

Оқибатҳои моделҳои аз ҳад зиёди AI

Оқибатҳои васеътари моделҳои аз ҳад зиёди AI метавонанд инҳоро дар бар гиранд: 

• Афзоиши сармоягузорӣ ва имкониятҳо барои таҳияи микросхемаҳои компютерии AI, ки энергияи камтарро истеъмол мекунанд. 
• Пешрафти AI аз сабаби набудани қудрати ҳисоббарорӣ суст шуда, боиси маблағгузории бештари технологияҳо ва ҳалли энергияи каммасраф мегардад.
• Таҳиягарони ML ба ғайр аз трансформаторҳо моделҳои алтернативӣ эҷод мекунанд, ки метавонанд ба кашфиёт ва навовариҳо барои алгоритмҳои самараноктар оварда расонанд.
• Ҳалли AI, ки ба мушкилоти ба барнома нигаронидашуда тамаркуз мекунанд, мувофиқан танзим кардани ҳисоббарорӣ ё тағир додани лозим ба ҷои танҳо аз ҳад зиёд кардан.
• Маҷмӯи маълумотҳои мураккабтаре, ки ба барномаҳои AI имкон медиҳанд пешгӯиҳои беҳтар, аз ҷумла пешгӯиҳои обу ҳаво, кашфи кайҳон, ташхисҳои тиббӣ ва савдои байналмилалиро иҷро кунанд.

Саволҳо барои шарҳ

• Агар шумо дар бахши AI кор кунед, дар таҳияи моделҳои беҳтари ML чӣ пешрафтҳо вуҷуд доранд?
• Дигар бартариҳои эҳтимолии моделҳо бо маълумоти васеъи омӯзишӣ барои омӯхтан кадомҳоянд?