AI моделдерин окутуу: AIны арзан баада иштеп чыгууну издөө

• Author:
• Жазуучу аты

  Quantumrun Foresight
• Март 21, 2023

Терең үйрөнүү (DL) жасалма интеллектти (AI) өнүктүрүүдөгү бир нече көйгөйлөргө компетенттүү чечим экенин далилдеди. Бирок, DL да кымбат болуп баратат. Терең нейрон тармактарын иштетүү, айрыкча, алдын ала даярдоодо жогорку иштетүү ресурстарын талап кылат. Андан да жаманы, бул энергияны көп талап кылган процесс бул талаптар AI изилдөөлөрүнүн коммерциялаштырылышынын ESG рейтингине зыян келтирип, чоң көмүртек изине алып келет дегенди билдирет.

AI моделдерин окутуу контексти

Алдын ала тренинг азыр масштабдуу нейрон тармактарын куруунун эң популярдуу ыкмасы болуп саналат жана ал компьютердик көрүү (CV) жана табигый тилди иштетүүдө (NLP) чоң ийгиликтерди көрсөттү. Бирок, чоң DL моделдерин иштеп чыгуу өтө кымбат болуп калды. Мисалы, 3 миллиард параметрге ээ жана эң жогорку деңгээлдеги графикалык карталары бар эбегейсиз сервердик кластерлерге кирүү мүмкүнчүлүгүн талап кылган OpenAIдин Generative Pre-trained Transformer 3 (GPT-175) программасын окутуунун болжолдуу баасы 12 миллион долларды түзгөн. Моделди иштетүү үчүн күчтүү сервер жана жүздөгөн гигабайт видео кокустук эстутум (VRAM) да керектелет.

Негизги технологиялык компаниялар мындай окутуу чыгымдарын көтөрө алышы мүмкүн, бирок бул кичинекей стартаптар жана изилдөө уюмдары үчүн тыюу салынат. Бул чыгашага үч фактор түрткү берет. 

1. Миңдеген графикалык иштетүү бирдиктери (GPU) менен бир нече жума талап кылынган чоң эсептөө чыгымдары.

2. Жакшы жөндөлгөн моделдер, адатта, жүздөгөн гигабайттарды (ГБ) ээлей турган чоң сактагычты талап кылат. Андан тышкары, ар кандай тапшырмалар үчүн бир нече моделдер сакталышы керек.

3. Чоң моделдерди даярдоо так эсептөө күчүн жана аппараттык каражаттарды талап кылат; антпесе, натыйжалар идеалдуу болбошу мүмкүн.

Тыюу салынган чыгымдардан улам, AI изилдөөлөрү барган сайын коммерциялаштырылган, мында Big Tech компаниялары бул тармактагы изилдөөлөрдү жетектеп жатышат. Бул фирмалар дагы өздөрүнүн тыянактарынан эң көп пайда көрүшөт. Ошол эле учурда, изилдөө институттары жана коммерциялык эмес уюмдар, эгерде алар талаада чалгындоо иштерин жүргүзүүнү кааласа, бул ишканалар менен кызматташууга туура келет. 

Бузуучу таасир

Нейрондук тармактарды "кесүүгө" болорун көрсөткөн далилдер бар. Бул чоңураак нейрон тармактарынын ичинде кичинекей топ AI модели сыяктуу тактыктын деңгээлине анын иштөөсүнө катуу таасир этпестен жетише алат дегенди билдирет. Мисалы, 2020-жылы, Swarthmore колледжинин жана Лос-Аламос улуттук лабораториясынын AI изилдөөчүлөрү татаал DL модели математик Джон Конуэйдин Жашоо оюнунда келечектеги кадамдарды болжолдоого үйрөнө алса да, үйрөтүүгө боло турган кичинекей нейрон тармагы дайыма бар экенин көрсөттү. ошол эле нерсени кылуу.

Окумуштуулар эгер алар DL моделинин көптөгөн параметрлерин бүткүл окутуу процедурасын аяктагандан кийин жокко чыгарса, аны баштапкы көлөмүнүн 10 пайызына чейин азайтып, ошол эле натыйжага жетише аларын аныкташкан. Бир нече технологиялык компаниялар ноутбуктар жана смартфондор сыяктуу түзмөктөрдө орун үнөмдөө үчүн AI моделдерин кысып жатышат. Бул ыкма акчаны үнөмдөп эле тим болбостон, программалык камсыздоону Интернетке туташпай туруп иштөөгө жана реалдуу убакытта жыйынтыктарды алууга мүмкүндүк берет. 

Чакан нейрон тармактарынын аркасында күн батареялары же баскыч клеткалары менен иштеген түзмөктөрдө DL мүмкүн болгон учурлар да болгон. Бирок, кыркуу ыкмасынын бир чектөө модели дагы эле кыскарганга чейин толугу менен үйрөтүлгөн болушу керек. Нейрондук топтомдор боюнча алгачкы изилдөөлөр болгон, аларды өз алдынча үйрөнүүгө болот. Бирок, алардын тактыгы чоң нейрон тармактарынын тактыгы менен бирдей эмес.

AI моделдерин окутуунун натыйжалары

AI моделдерин окутуунун кеңири кесепеттери төмөнкүлөрдү камтышы мүмкүн: 

• Нейрондук тармактарды окутуунун ар кандай ыкмаларын изилдөөнүн өсүшү; бирок, каржылоонун жетишсиздигинен прогресстин басаңдашы мүмкүн.
• Чоң технологиялар AI изилдөө лабораторияларын каржылоону улантууда, натыйжада кызыкчылыктардын кагылышуусу көбөйөт.
• Жаңы AI стартаптарынын түзүлгөн технологиялык фирмалар менен өз алдынча атаандашуу мүмкүнчүлүгүн чектеп, AI өнүктүрүүгө кеткен чыгымдар монополиялардын пайда болушуна шарт түзөт. Өнүгүп келе жаткан бизнес сценарийинде бир нече ири технологиялык фирмалар ири менчик AI моделдерин иштеп чыгып, аларды кызмат/пайдалуу программа катары кичи AI фирмаларына ижарага бериши мүмкүн.
• Изилдөө мекемелери, коммерциялык эмес уюмдар жана университеттер алардын атынан AI эксперименттерин жүргүзүү үчүн чоң технологиялар тарабынан каржыланат. Бул тенденция академиядан корпорацияларга мээнин көбүрөөк агылышына алып келиши мүмкүн.
• Чоң технологияларга AI этикасынын көрсөтмөлөрүн жарыялоо жана үзгүлтүксүз жаңыртуу үчүн басымдын жогорулашы, аларды изилдөө жана өнүктүрүү долбоорлору үчүн жоопкерчиликтүү кылуу.
• AI моделдерин үйрөтүү кымбаттап баратат, анткени жогорку эсептөө күчү талап кылынууда, бул көмүртектин көбүрөөк чыгарылышына алып келет.
• Кээ бир мамлекеттик органдар бул гигант AI моделдерин окутууда колдонулган маалыматтарды жөнгө салууга аракет кылышат. Ошондой эле, атаандаштык агенттиктери чакан жана орто бизнестин инновацияларына дем берүү максатында белгилүү өлчөмдөгү AI моделдерин кичи ата мекендик фирмалар үчүн жеткиликтүү кылууга мажбурлаган мыйзамдарды түзүшү мүмкүн.

Карала турган суроолор

• Эгер сиз AI тармагында иштесеңиз, сиздин уюмуңуз экологиялык жактан туруктуу AI моделдерин кантип иштеп чыгууда?
• Кымбат AI моделдеринин узак мөөнөттүү кесепеттери кандай болушу мүмкүн?