Рамкалық консолидация: терең оқыту шеңберлерін біріктіру уақыты келді ме?

• автор:
• Автордың аты-жөні

  Кванттық болжау
• Қаңтар 31, 2023

Жасанды интеллект (AI) және машиналық оқытуды (ML) пайдаланатын құралдар ұйымдарға өздерінің үнемі өсіп келе жатқан деректер қорын тиімдірек басқаруға және талдауға мүмкіндік береді. Атап айтқанда, терең оқыту (DL) құрылымдары көптеген AI/ML инновацияларының құрылыс блоктарына айналуда. Ендігі мәселе ғылыми зерттеулер мен әзірлемелерді жылдам жүргізу үшін әртүрлі құрылымдарды біріктіруде.

Жақтау консолидациясы контексі

Бағдарламалау құрылымы – әзірлеушілерге дұрыс ұйымдастырылған және сенімді бағдарламалық қамтамасыз ету мен жүйелерді құруға көмектесетін құралдар жиынтығы. Бағдарламалаудағы құрылым дайын құрамдас бөліктерді немесе жалпы мәселелердің шешімдерін қамтамасыз етеді, содан кейін әзірлеушілер оларды нақты қажеттіліктеріне сәйкес реттей алады. Дәстүрлі бағдарламалауда теңшелетін код қайта пайдалануға болатын кодқа қол жеткізу үшін кітапханаға шақырады. Басқарудың инверсиясы (IoC) кезінде рамка қажет болғанда кодтың теңшелетін бөліктерін шақырады.

DL туралы айтатын болсақ, фреймворктар терең нейрондық желілерді жобалаудың, жаттықтырудың және тексерудің оңай жолын ұсынады. Көптеген DL фреймворктері PyTorch, TensorFlow, PyTorch Geometric және DGL сияқты жаттығуларды жылдамдату үшін графикалық өңдеу блоктарын (GPU) пайдаланады. Бұл құрылымдар жоғары өнімділікті қамтамасыз ету үшін cuDNN, NCCL және DALI сияқты GPU-жеделдетілген кітапханаларға сүйенеді. 

Кейбір DL құрылымдарының зерттеушілер арасында танымалдығы көбінесе коммерциялық қолданбалардағы үрдістерді көрсетеді. Мысалы, Google-дың TensorFlow және Meta-ның PyTorch екеуі ең танымал. Атап айтқанда, PyTorch 2017 жылдан бері бала асырап алудың өсуін байқады. AI-ге бағытталған The Gradient журналының мәліметі бойынша, 2019 жылы пайдаланылған құрылым туралы айтылған конференциялық мақалалардың 75 пайызы PyTorch-ке сілтеме жасаған, бірақ TensorFlow емес. PyTorch қағаздарына қарағанда TensorFlow қағаздарын көбірек шығарған 161 зерттеушінің 55 пайызы Pytorch-қа ауысса, тек 15 пайызы керісінше.

Деструктивті әсер

Дәйекті нәтижелер мен сапаны бақылауды қамтамасыз ету үшін компанияларға AI құрылымдарын біріктіру қажеттілігі артып келеді. Жасанды интеллект жобаларының ғылыми-зерттеу өндірісі бұрыннан баяу және жалықтыратыны белгілі болды. Бірнеше қадамдар, пайдалану қиын құралдар және стандарттаудың жоқтығы барлығын қадағалауды қиындатты. Зерттеушілер мен инженерлер ғылыми-зерттеу немесе коммерциялық өндіріс үшін жақсы, бірақ екеуі де емес құрылымдар арасында таңдауда қиындықтарға тап болды.

2021 жылы Meta өзінің барлық AI жүйелерін PyTorch-қа көшіруге шешім қабылдады. Бұрын компания екі негізгі жүйені — зерттеу үшін ашық бастапқы PyTorch (оны компания Linux Foundation серіктестігімен әзірлеген) және коммерциялық мақсатта қолданылатын Caffe2 ішкі құрылымды пайдаланды. Бұл ауысу техникалық қызмет көрсету мен әзірлеуге ақша үнемдейтін Meta үшін ғана емес, сонымен қатар осы ашық бастапқы негізді пайдаланатын әзірлеушілер үшін де жақсы жаңалық. Мета PyTorch әзірлеушілер қауымдастығымен жұмыс істеуге, идеялар мен әлеуетті жобалар бойынша бірлесіп жұмыс істеуге назар аударатынын айтты. 

Facebook-тегі PyTorch инженерлері AI/ML инновацияларын дамытудың әрбір кезеңі үшін қажетті әртүрлі құралдарды, алдын ала дайындалған үлгілерді, кітапханаларды және деректер жинақтарын біртіндеп енгізді. 2021 жылғы жаңартулармен алдыңғы нұсқалармен салыстырғанда 3,000-нан астам тұрақты зерттеулер жүргізілді. Технологиялық компаниялар AI құрылымдарын қысқарту және ынтымақтастық пен қабылдауға ықпал ететін өзара әрекеттесетін жүйелерді жасау үшін көбірек ынтымақтасады деп үміттенеміз.

Рамкалық консолидацияның салдары

Жақтау консолидациясының кеңірек салдары мыналарды қамтуы мүмкін: 

• AI/ML кеңістігіндегі жылдам инновация, өйткені көптеген компаниялар зерттеу үшін бір негізгі негізді қабылдайды.
• Бірдей негізгі инфрақұрылымды, әсіресе смарт үй және Интернет заттары (IoT) құрылғыларын пайдаланатын әртүрлі бағдарламалық жасақтамадағы тұрақты соңғы пайдаланушы тәжірибесі.
• Зерттеушілер бір жалпы негізді пайдаланған кезде алгоритмді бұрмалауды және басқа қателерді/мәселелерді дәл анықтай алады.
• Кез келген адам қол жеткізе алатын және құрастыра алатын ашық бастапқы негіздерді жасау үшін технологиялық фирмалар мен ұйымдар арасында көбірек ынтымақтастық.
• Ынтымақтастыққа кедергі келтіруі мүмкін ең басым негізді құру үшін ірі технологиялық фирмалар арасындағы бәсекелестіктің артуы.

Түсініктеме беруге арналған сұрақтар

• Егер сіз DL кеңістігінде жұмыс жасасаңыз, консолидациялау шеңберлері жұмысыңызды қалай жеңілдетті?
• Бірге жақсы жұмыс істейтін фреймворктардың таңдаулы санының басқа артықшылықтары қандай?