Өтө чоң AI моделдери: Гигант эсептөө системалары эң чоң чекке жетип жатышат

Кредит сүрөтү:
Image кредит
iStock

Өтө чоң AI моделдери: Гигант эсептөө системалары эң чоң чекке жетип жатышат

Өтө чоң AI моделдери: Гигант эсептөө системалары эң чоң чекке жетип жатышат

Чакан теманын тексти
Машиналарды үйрөнүүнүн математикалык моделдери жыл сайын чоңоюп, татаалдашып баратат, бирок эксперттер бул кеңири алгоритмдер туу чокусуна жетет деп ойлошот.
    • Author:
    • Жазуучу аты
      Quantumrun Foresight
    • Май 2, 2023

    2012-жылдан бери жасалма интеллект (AI) боюнча олуттуу жетишкендиктер үзгүлтүксүз болуп, негизинен эсептөө күчүн жогорулатуу менен шартталган (кыскача айтканда эсептөө). 2020-жылы ишке киргизилген эң чоң моделдердин бири 600,000-жылдагы биринчи моделге караганда 2012 2018 эсе көп эсептөөнү колдонду. OpenAI изилдөөчүлөрү XNUMX-жылы бул тенденцияны белгилешти жана бул өсүү темпи көпкө чейин туруктуу болбой турганын эскертишти.

    Өтө чоң AI моделдеринин контексти

    Көптөгөн машина үйрөнүү (ML) иштеп чыгуучулары чексиз көрүнгөн потенциалынан улам терең үйрөнүү (DL) үчүн трансформатордук моделдерди колдонушат. Бул моделдердин мисалдары Генеративдик Алдын ала даярдалган Transformer 2 (GPT-2), GPT-3, Transformers эки багыттуу Encoder өкүлчүлүктөрү (BERT) жана Turing Natural Language Generation (NLG) кирет. Бул алгоритмдер көбүнчө машина котормолору же убакыт серияларын болжолдоо сыяктуу реалдуу тиркемелерге ээ. 

    Жасалма интеллект режимдери көбүрөөк машыгуу маалыматтарын камтышы жана алдын ала айтууда жакшыраак болушу үчүн кеңейиши керек. Бул талап миллиарддаган параметрлери (болжолдоолорду жасоо үчүн алгоритмдер колдонгон өзгөрмөлөр) менен чоң моделдердин өсүшүнө алып келди. Бул моделдер OpenAIдин GPT-3 (жана анын ChatGPT өз ара аракеттешүүсү 2022-жылы декабрда башталган), Кытайда негизделген PanGu-alpha, Nvidia'нын Megatron-Turing NLG жана DeepMind's Gopher менен көрсөтүлгөн. 2020-жылы GPT-3 программасын окутуу үчүн дүйнөдөгү эң чоң беш компьютердин катарына кирген суперкомпьютер талап кылынат. 

    Бирок, бул моделдер энергияны көп талап кылган окутуу маалыматтарын талап кылат. Терең үйрөнүү анын эбегейсиз эсептөө күчүн колдонуу жөндөмүнөн көз каранды, бирок бул жакында өзгөрөт. Окутуу кымбатка турат, AI чиптерине чектөөлөр бар, ал эми чоң моделдерди окутуу процессорлорду жабып, алардын баарын башкарууну кыйындатат. Параметр канчалык чоң болсо, бул моделдерди окутуу ошончолук кымбатка турат. Эксперттер AI моделдери өтө кымбат болуп, машыктыруу үчүн энергияны көп талап кыла турган учур келет деген пикирде. 

    Бузуучу таасир

    2020-жылы OpenAI көптөгөн моделдерди окутуу үчүн зарыл болгон эсептөөлөрдүн минималдуу көлөмүн, параметрлердин санын жана маалымат топтомунун өлчөмүн эсепке алган. Бул теңдемелер ML бул маалыматтын тармак аркылуу көп жолу өтүшүн талап кылат, ар бир өтүү үчүн эсептөө параметрлердин саны көбөйгөн сайын көбөйөт жана параметрлердин саны өскөн сайын канча маалымат керек болот.

    Open AI баалоолоруна ылайык, иштеп чыгуучулар максималдуу эффективдүүлүккө жете алышат деп ойлосок, GPT-4 куруу (GPT-100тен 3 эсе чоң (17.5 триллион параметр)) жок дегенде бир жыл иштеген 7,600 графикалык иштетүү бирдигин (GPU) талап кылат жана болжол менен чыгым болот. 200 миллион доллар. 100 триллион параметр моделин бир жыл бою иштетүү үчүн 83,000 2 GPU керек болот, бул XNUMX миллиард доллардан ашык каражатты талап кылат.

    Ошого карабастан, технологиялык фирмалар кызматташып, ML чечимдерине суроо-талаптын өсүшүнө жараша, алардын уламдан-улам кеңейип жаткан чоң AI моделдерине инвестиция салып жатышат. Мисалы, Кытайда жайгашкан Baidu жана Peng Cheng Lab 280 миллиард параметр менен PCL-BAIDU Wenxin чыгарды. PCL-BAIDU мурунтан эле Baidu жаңылыктар каналдары, издөө системасы жана санарип жардамчысы тарабынан колдонулуп жатат. 

    DeepMind 2021-жылдын декабрында жараткан Go-playing программасынын акыркы версиясында 280 миллиард параметр бар. Google Switch-Transformer-GLaM моделдеринин таң калыштуу 1 триллион жана 1.2 триллион параметрлери бар. Пекиндеги AI академиясынан Ву Дао 2.0 дагы массалык жана 1.75 триллион параметрге ээ экени кабарланган. Акылдуу шаарлар жана автоматташтыруу үзгүлтүккө учурап жаткандыктан, эксперттер AI эсептөөлөрү мындай келечекти кантип колдой турганын билишпейт. 

    Өтө чоң AI моделдеринин кесепеттери

    Чоңойгон AI моделдеринин кеңири кесепеттери төмөнкүлөрдү камтышы мүмкүн: 

    • Энергияны аз сарптаган AI компьютердик чиптерин өнүктүрүүгө инвестициялардын жана мүмкүнчүлүктөрдүн көбөйүшү. 
    • Эсептөө кубаттуулугунун жетишсиздигинен AI прогресси басаңдап, энергияны үнөмдөөчү технологияларды жана чечимдерди көбүрөөк каржылоого алып келди.
    • ML иштеп чыгуучулары трансформаторлордон башка альтернативалык моделдерди жаратышат, бул ачылыштарга жана эффективдүү алгоритмдер үчүн инновацияларга алып келиши мүмкүн.
    • Колдонмого багытталган көйгөйлөргө багытталган AI чечимдери, эсептөөнү ошого жараша тууралоо же жөн гана чоңдуктун ордуна өзгөртүү.
    • AI программаларына аба ырайын, космосту ачууну, медициналык диагноздорду жана эл аралык сооданы камтыган жакшыраак божомолдорду аткарууга мүмкүндүк берген татаал маалымат топтому.

    Комментарий берүү үчүн суроолор

    • Эгер сиз AI тармагында иштесеңиз, жакшыраак ML моделдерин иштеп чыгууда кандай ийгиликтер бар?
    • Окутуунун кеңири маалыматтары бар моделдердин дагы кандай артыкчылыктары бар?

    Insight шилтемелер

    Бул түшүнүк үчүн төмөнкү популярдуу жана институционалдык шилтемелер колдонулган: