Хэт том хиймэл оюун ухаантай загварууд: Аварга том тооцооллын системүүд эргэлтийн цэгт хүрч байна

• Зохиогчийн тухай:
• Зохиогчийн нэр

  Quantumrun Foresight
• June 2, 2023

2012 оноос хойш хиймэл оюун ухаан (AI)-д мэдэгдэхүйц ахиц дэвшил тогтмол гарч ирсэн бөгөөд голчлон тооцоолох хүчин чадлыг ("тооцоолох") нэмэгдүүлсэнтэй холбоотой. 2020 онд нээлтээ хийсэн хамгийн том загваруудын нэг нь 600,000 оны анхны загвараас 2012 дахин их тооцоолол ашигласан байна. OpenAI-ийн судлаачид 2018 онд энэ чиг хандлагыг тэмдэглэж, энэ өсөлтийн хурд удаан үргэлжлэхгүй гэдгийг анхааруулав.

Хэт том AI загваруудын контекст

Маш олон машин сургалтын (ML) хөгжүүлэгчид хязгааргүй мэт санагдах боломжийн улмаас гүн гүнзгий суралцах (DL)-д зориулж трансформаторын загварыг ашигладаг. Эдгээр загваруудын жишээнд Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Transformers-ийн хоёр чиглэлт кодлогчийн төлөөлөл (BERT), Turing Natural Language Generation (NLG) зэрэг багтана. Эдгээр алгоритмууд нь ихэвчлэн машины орчуулга эсвэл цагийн цувралын таамаглал зэрэг бодит хэрэглээний програмуудтай байдаг. 

Хиймэл оюун ухааны горимууд илүү их сургалтын өгөгдлийг багтааж, урьдчилан таамаглахдаа илүү сайн болохын тулд өргөжих ёстой. Энэхүү шаардлага нь олон тэрбум параметртэй (алгоритмуудын таамаглал гаргахад ашигладаг хувьсагч) загваруудыг нэмэгдүүлэхэд хүргэсэн. Эдгээр загваруудыг OpenAI-ийн GPT-3 (мөн түүний ChatGPT харилцан ажиллагаа 2022 оны 2020-р сард эхэлсэн), Хятадад суурилсан PanGu-alpha, Nvidia-ийн Megatron-Turing NLG, DeepMind-ийн Gopher зэрэг загваруудаар төлөөлдөг. 3 онд GPT-XNUMX-ын сургалтад дэлхийн хамгийн том тавд багтсан супер компьютер шаардлагатай болсон. 

Гэсэн хэдий ч эдгээр загварууд нь их хэмжээний эрчим хүч шаардсан сургалтын өгөгдөл шаарддаг. Гүнзгий суралцах нь түүний асар их тооцооллын хүчийг ашиглах чадвараас шалтгаалдаг байсан ч энэ нь удахгүй өөрчлөгдөх болно. Сургалт нь үнэтэй, AI чипүүдэд хязгаарлалт байдаг, том загваруудыг сургах нь процессоруудыг бөглөрүүлдэг тул бүгдийг нь удирдахад хэцүү болгодог. Параметр нь том байх тусам эдгээр загварыг сургах нь илүү үнэтэй болно. Хэт том хиймэл оюун ухаантай загваруудыг сургахад хэтэрхий үнэтэй, эрчим хүч их зарцуулдаг үе ирнэ гэдэгтэй мэргэжилтнүүд санал нэг байна. 

Сөрөг нөлөө

2020 онд OpenAI нь параметрийн тоо болон өгөгдлийн багцын хэмжээг харгалзан олон тооны загваруудыг сургахад шаардагдах тооцооллын хамгийн бага хэмжээг тооцоолсон. Эдгээр тэгшитгэлүүд нь ML нь тухайн өгөгдлийг сүлжээгээр хэрхэн олон удаа дамжуулахыг шаарддаг, параметрийн тоо нэмэгдэхийн хэрээр дамжуулалт бүрийн тооцоолол хэрхэн өсдөг, параметрийн тоо өсөх тусам хэр их өгөгдөл шаардагдахыг тодорхойлдог.

Open AI-ийн тооцоолсноор, хөгжүүлэгчид хамгийн их үр дүнд хүрч чадна гэж үзвэл GPT-4 (GPT-100-аас 3 дахин том (17.5 их наяд параметр)) бүтээхэд дор хаяж нэг жил ажиллах 7,600 график боловсруулах нэгж (GPU) шаардлагатай бөгөөд ойролцоогоор зардал гарах болно. 200 сая доллар. 100 триллион параметр бүхий загварт нэг жилийн турш ажиллахын тулд 83,000 GPU шаардлагатай бөгөөд энэ нь 2 тэрбум доллараас илүү үнэтэй болно.

Гэсэн хэдий ч ML шийдлүүдийн эрэлт өсөхийн хэрээр технологийн пүүсүүд өөрсдийн байнга өргөжиж буй асар том хиймэл оюун ухаантай загварууддаа хамтран ажиллаж, хөрөнгө оруулалт хийж байна. Жишээлбэл, Хятадад төвтэй Baidu болон Peng Cheng Lab нь 280 тэрбум параметр бүхий PCL-BAIDU Wenxin-ийг гаргасан. PCL-BAIDU-г Baidu-ийн мэдээний суваг, хайлтын систем, дижитал туслах аль хэдийн ашиглаж байна. 

DeepMind-ийн 2021 оны 280-р сард бүтээсэн Go-playing програмын хамгийн сүүлийн хувилбар нь 1 тэрбум параметртэй. Google Switch-Transformer-GLaM загварууд нь 1.2 их наяд, 2.0 их наяд параметртэй. Бээжингийн хиймэл оюун ухааны академийн Ву Дао 1.75 нь илүү том бөгөөд XNUMX их наяд параметртэй гэж мэдээлсэн. Ухаалаг хотууд болон автоматжуулалт нь тасалдлыг үргэлжлүүлсээр байгаа тул AI тооцоолол ийм ирээдүйг хэрхэн дэмжих талаар мэргэжилтнүүд эргэлзэж байна. 

Хэт том хиймэл оюун ухааны загваруудын үр дагавар

Хэт том хиймэл оюун ухааны загваруудын өргөн хүрээний үр дагавар нь дараахь зүйлийг агуулж болно. 

• Эрчим хүч бага зарцуулдаг хиймэл оюун ухаантай компьютерийн чипийг хөгжүүлэх хөрөнгө оруулалт, боломжууд нэмэгдэв. 
• Тооцооллын хүчин чадал дутагдсанаас хиймэл оюун ухааны дэвшил удааширч, эрчим хүч хэмнэдэг технологи, шийдлүүдийг илүү их санхүүжүүлэхэд хүргэсэн.
• ML хөгжүүлэгчид трансформаторуудаас гадна өөр загваруудыг бий болгодог бөгөөд энэ нь илүү үр ашигтай алгоритмуудын нээлт, инновацийг бий болгоход хүргэдэг.
• Аппликейшн-төвтэй асуудлуудад анхаарлаа төвлөрүүлж, тооцооллыг тохируулан тохируулах эсвэл зүгээр л томруулахын оронд шаардлагатай бол өөрчлөх AI шийдлүүд.
• Илүү нарийн төвөгтэй өгөгдлийн багц нь хиймэл оюун ухааны хөтөлбөрүүдэд цаг агаарын урьдчилсан мэдээ, сансрын нээлт, эмнэлгийн оношлогоо, олон улсын худалдаа зэрэг илүү сайн таамаглал гаргах боломжийг олгодог.

Сэтгэгдэл бичих асуултууд

• Хэрэв та хиймэл оюун ухааны салбарт ажилладаг бол илүү сайн ML загваруудыг хөгжүүлэхэд ямар ахиц дэвшил гарсан бэ?
• Сургалтын өргөн мэдээлэл бүхий загваруудын өөр ямар давуу талтай вэ?