Консолидация на рамката: Време ли е рамките за дълбоко обучение да се слеят?

• Автор:
• име Автор

  Quantumrun Foresight
• Януари 31, 2023

Инструменти, които използват изкуствен интелект (AI) и машинно обучение (ML), позволяват на организациите да управляват и анализират по-ефективно своите непрекъснато нарастващи съкровища от данни. По-специално, рамките за дълбоко обучение (DL) се превръщат в градивните елементи на много иновации в AI/ML. Предизвикателството сега се крие в консолидирането на различни рамки за ускорено изследване и развитие.

Контекст на консолидация на рамката

Програмната рамка е набор от инструменти, които помагат на разработчиците да изграждат софтуер и системи, които са добре организирани и надеждни. Рамката в програмирането предоставя готови компоненти или решения на общи проблеми, които след това разработчиците могат да персонализират според специфичните си нужди. В традиционното програмиране персонализираният код се обажда в библиотеката за достъп до повторно използваем код. С инверсия на контрола (IoC), рамката извиква персонализирани части от код, когато е необходимо.

Когато става въпрос за DL, рамките предоставят лесен начин за проектиране, обучение и валидиране на дълбоки невронни мрежи. Много DL рамки използват графични процесори (GPU) за ускоряване на обучението, включително PyTorch, TensorFlow, PyTorch Geometric и DGL. Тези рамки разчитат на GPU-ускорени библиотеки като cuDNN, NCCL и DALI, за да осигурят висока производителност. 

Популярността на някои DL рамки сред изследователите често отразява тенденциите в търговските приложения. Например TensorFlow на Google и PyTorch на Meta са две от най-популярните. По-конкретно, PyTorch отбеляза ръст в приемането от 2017 г. насам. Според фокусираното върху AI списание The Gradient, в документите от конференции от 2019 г., в които се споменава използваната рамка, 75 процента цитират PyTorch, но не и TensorFlow. От 161 изследователи, които са публикували повече документи за TensorFlow, отколкото документи за PyTorch, 55 процента са преминали към Pytorch, докато само 15 процента са направили обратното.

Разрушително въздействие

Налице е нарастваща нужда компаниите да консолидират своите AI рамки, за да предоставят последователни резултати и контрол на качеството. В миналото е известно, че тръбопроводът от изследвания към производство на AI проекти е бавен и досаден. Множество стъпки, инструменти, които са трудни за използване, и липса на стандартизация затрудняват проследяването на всичко. Изследователите и инженерите имаха проблеми при избора между рамки, които са добри или за изследване, или за комерсиално производство, но не и за двете.

През 2021 г. Meta реши да мигрира всички свои AI системи към PyTorch. Преди това компанията използваше две основни рамки – PyTorch с отворен код за изследвания (която компанията разработи в партньорство с Linux Foundation) и Caffe2, вътрешната рамка, използвана за търговски цели. Този преход е добра новина не само за Meta, която ще спести пари за поддръжка и разработка, но и за разработчиците, използващи тази рамка с отворен код. Meta каза, че ще се съсредоточи върху работата с общността на разработчиците на PyTorch, сътрудничеството по идеи и потенциални проекти. 

Инженерите на PyTorch във Facebook постепенно въведоха различни инструменти, предварително обучени модели, библиотеки и набори от данни, които са от съществено значение за всеки етап от разработването на иновации за AI/ML. С актуализациите от 2021 г. има повече от 3,000 текущи изследвания в сравнение с предишните версии. Да се ​​надяваме, че технологичните компании ще си сътрудничат повече, за да намалят рамките на AI и да създадат оперативно съвместими системи, които насърчават сътрудничеството и приемането.

Последици от консолидацията на рамката

По-широките последици от консолидацията на рамката могат да включват: 

• По-бързи иновации в пространството на AI/ML, тъй като повече компании приемат една основна рамка за изследване.
• Последователно изживяване на крайния потребител в различен софтуер, който използва една и съща основна инфраструктура, особено за интелигентен дом и устройства за интернет на нещата (IoT).
• Изследователите могат точно да идентифицират пристрастията на алгоритъма и други грешки/проблеми, когато използват една обща рамка.
• Повече сътрудничество между технологични фирми и организации за създаване на рамки с отворен код, до които всеки има достъп и надгражда.
• Засилваща се конкуренция между големите технологични фирми за установяване на най-доминиращата рамка, което може да попречи на сътрудничеството.

Въпроси за коментар

• Ако работите в DL пространството, как консолидиращите рамки улесниха работата ви?
• Какви са другите предимства на избран брой рамки, които работят добре заедно?