Навучальныя мадэлі штучнага інтэлекту: пошук недарагіх распрацовак штучнага інтэлекту

• аўтар:
• імя аўтара

  Quantumrun Foresight
• Сакавік 21, 2023

Глыбокае навучанне (DL) зарэкамендавала сябе як кампетэнтнае рашэнне некалькіх праблем у распрацоўцы штучнага інтэлекту (AI). Аднак DL таксама даражэе. Аперацыя з глыбокімі нейронавымі сеткамі патрабуе вялікіх рэсурсаў апрацоўкі, асабліва ў перыяд папярэдняга навучання. Што яшчэ горш, гэты энергаёмісты працэс азначае, што гэтыя патрабаванні прыводзяць да вялікіх выкідаў вуглякіслага газу, пашкоджваючы рэйтынг ESG камерцыялізацыі даследаванняў штучнага інтэлекту.

Навучальны кантэкст мадэляў штучнага інтэлекту

Папярэдняе навучанне зараз з'яўляецца самым папулярным падыходам да пабудовы буйнамаштабных нейронавых сетак, і ён паказаў вялікі поспех у камп'ютэрным зроку (CV) і апрацоўцы натуральнай мовы (NLP). Аднак распрацоўка велізарных мадэляў DL стала занадта дарагой. Напрыклад, навучанне Generative Pre-trained Transformer 3 (GPT-3) OpenAI, які мае 175 мільярдаў параметраў і мае патрэбу ў доступе да велізарных серверных кластараў з першакласнымі відэакартамі, каштавала прыкладна 12 мільёнаў долараў ЗША. Магутны сервер і сотні гігабайт відэапамяці з адвольным доступам (VRAM) таксама неабходны для працы мадэлі.

У той час як буйныя тэхналагічныя кампаніі маглі б дазволіць сабе такія выдаткі на навучанне, для меншых стартапаў і навукова-даследчых арганізацый гэта становіцца непамерна высокім. Тры фактары абумоўліваюць гэтыя выдаткі. 

1. Вялікія выдаткі на вылічэнні, на якія спатрэбіцца некалькі тыдняў з тысячамі графічных працэсараў (GPU).

2. Дакладна настроеныя мадэлі патрабуюць вялізнага сховішча, якое звычайна займае сотні гігабайт (ГБ). Акрамя таго, трэба захоўваць некалькі мадэляў для розных задач.

3. Навучанне вялікіх мадэляў патрабуе дакладнай вылічальнай магутнасці і абсталявання; у адваротным выпадку вынікі могуць быць не ідэальнымі.

З-за празмерна высокіх выдаткаў даследаванні штучнага інтэлекту становяцца ўсё больш камерцыялізаванымі, пры гэтым буйныя тэхналагічныя кампаніі ўзначальваюць даследаванні ў гэтай галіне. Гэтыя фірмы таксама выйграюць ад сваіх высноў. Між тым, навукова-даследчыя ўстановы і некамерцыйныя арганізацыі часта вымушаныя супрацоўнічаць з гэтымі прадпрыемствамі, калі яны жадаюць праводзіць даследаванні ў гэтай галіне. 

Разбуральнае ўздзеянне

Ёсць доказы таго, што нейронавыя сеткі можна "абрэзаць". Гэта азначае, што ў суперпамерных нейронавых сетках меншая група можа дасягнуць таго ж узроўню дакладнасці, што і арыгінальная мадэль штучнага інтэлекту без істотнага ўздзеяння на яе функцыянальнасць. Напрыклад, у 2020 годзе даследчыкі штучнага інтэлекту з каледжа Свартмор і Нацыянальнай лабараторыі Лос-Аламоса прадэманстравалі, што нават калі складаная мадэль DL можа навучыцца прадказваць будучыя крокі ў гульні жыцця матэматыка Джона Конвея, заўсёды ёсць меншая нейронавая сетка, якой можна навучыць рабіць тое ж самае.

Даследчыкі выявілі, што калі яны адкідаюць шматлікія параметры мадэлі DL пасля завяршэння ўсёй працэдуры навучання, яны могуць паменшыць яе да 10 працэнтаў ад першапачатковага памеру і пры гэтым дасягнуць таго ж выніку. Некалькі тэхналагічных кампаній ужо сціскаюць свае мадэлі штучнага інтэлекту, каб зэканоміць месца на такіх прыладах, як ноўтбукі і смартфоны. Гэты метад не толькі эканоміць грошы, але і дазваляе праграмнаму забеспячэнню працаваць без падлучэння да Інтэрнэту і атрымліваць вынікі ў рэжыме рэальнага часу. 

Былі таксама выпадкі, калі DL было магчыма на прыладах, якія працуюць ад сонечных батарэй або кнопачных элементаў, дзякуючы невялікім нейронавым сеткам. Аднак абмежаваннем метаду абрэзкі з'яўляецца тое, што мадэль усё яшчэ павінна быць цалкам навучана, перш чым яе можна будзе паменшыць. Былі некаторыя першапачатковыя даследаванні нервовых падгруп, якія можна навучыць самастойна. Аднак іх дакладнасць не такая ж, як у звышпамерных нейронных сетак.

Наступствы навучання мадэляў штучнага інтэлекту

Больш шырокія наступствы навучання мадэлям штучнага інтэлекту могуць уключаць: 

• Павелічэнне даследаванняў розных метадаў навучання нейронавых сетак; аднак прагрэс можа запаволіцца з-за недахопу фінансавання.
• Вялікія тэхналогіі працягваюць фінансаваць свае даследчыя лабараторыі штучнага інтэлекту, што прыводзіць да большага канфлікту інтарэсаў.
• Выдаткі на распрацоўку штучнага інтэлекту ствараюць умовы для фарміравання манаполій, што абмяжоўвае здольнасць новых стартапаў штучнага інтэлекту самастойна канкураваць з вядомымі тэхналагічнымі фірмамі. У новым бізнес-сцэнары некалькі буйных тэхналагічных фірмаў могуць распрацоўваць гіганцкія запатэнтаваныя мадэлі штучнага інтэлекту і здаваць іх у арэнду меншым фірмам штучнага інтэлекту ў якасці паслугі/карыснай праграмы.
• Навукова-даследчыя ўстановы, некамерцыйныя арганізацыі і ўніверсітэты фінансуюцца вялікімі тэхналогіямі для правядзення некаторых эксперыментаў штучнага інтэлекту ад іх імя. Гэтая тэндэнцыя можа прывесці да большай уцечкі мазгоў з навуковых колаў у карпарацыі.
• Павышаны ціск на буйныя тэхналогіі, каб яны публікавалі і рэгулярна абнаўлялі свае рэкамендацыі па этыцы штучнага інтэлекту, каб зрабіць іх адказнымі за свае навукова-даследчыя праекты.
• Навучальныя мадэлі штучнага інтэлекту становяцца ўсё больш дарагімі, паколькі ўсё больш патрабуецца больш высокая вылічальная магутнасць, што вядзе да росту выкідаў вугляроду.
• Некаторыя дзяржаўныя ўстановы спрабуюць рэгуляваць дадзеныя, якія выкарыстоўваюцца ў навучанні гэтых гіганцкіх мадэляў штучнага інтэлекту. Акрамя таго, канкурэнтныя агенцтвы могуць стварыць заканадаўства, якое прымушае мадэлі штучнага інтэлекту пэўнага памеру быць даступнымі для меншых айчынных фірмаў у спробе стымуляваць інавацыі МСП.

Пытанні для разгляду

• Калі вы працуеце ў сектары штучнага інтэлекту, як ваша арганізацыя распрацоўвае больш экалагічна ўстойлівыя мадэлі штучнага інтэлекту?
• Якія магчымыя доўгатэрміновыя наступствы дарагіх мадэляў штучнага інтэлекту?