Model AI Supersized: Sistem komputasi raksasa wis tekan titik kritis

• Babagan Author:
• Jeneng panganggit

  Quantumrun Foresight
• Juni 2, 2023

Wiwit 2012, kemajuan sing signifikan ing intelijen buatan (AI) wis kedadeyan kanthi rutin, utamane didorong kanthi nambah daya komputasi ("komputasi" kanggo singkatan). Salah sawijining model paling gedhe, sing diluncurake ing 2020, nggunakake 600,000 kaping luwih akeh tinimbang model pisanan saka 2012. Peneliti ing OpenAI nyathet tren iki ing taun 2018 lan ngelingake yen tingkat pertumbuhan iki ora bakal suwe.

Konteks model AI supersized

Akeh pangembang machine learning (ML) nggunakake model trafo kanggo deep learning (DL) amarga potensial sing ora ana watesan. Conto model kasebut kalebu Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Bidirectional Encoder Representations from Transformers (BERT), lan Turing Natural Language Generation (NLG). Algoritma iki asring duwe aplikasi ing donya nyata kayata terjemahan mesin utawa prediksi seri wektu. 

Mode intelijen buatan kudu nggedhekake kanggo nampung data latihan luwih akeh lan dadi luwih apik ing prediksi. Keperluan iki nyebabake model supersized kanthi milyaran parameter (variabel sing digunakake dening algoritma kanggo nggawe prediksi). Model kasebut diwakili dening OpenAI's GPT-3 (lan interaksi ChatGPT sing diluncurake ing Desember 2022), PanGu-alpha berbasis China, Nvidia's Megatron-Turing NLG, lan DeepMind's Gopher. Ing taun 2020, latihan GPT-3 mbutuhake superkomputer sing kalebu lima paling gedhe ing donya. 

Nanging, model kasebut cenderung mbutuhake data latihan intensif energi sing akeh banget. Sinau jero gumantung marang kemampuane nggunakake daya komputasi sing gedhe banget, nanging iki bakal owah. Latihan iku larang, ana watesan kanggo chip AI, lan latihan model gedhe ngalangi prosesor, dadi angel kanggo ngatur kabeh. Parameter sing luwih gedhe, luwih larang kanggo nglatih model kasebut. Para ahli setuju manawa bakal ana titik ing ngendi model AI sing supersized bisa dadi larang banget lan intensif energi kanggo dilatih. 

Dampak gangguan

Ing taun 2020, OpenAI ngira jumlah komputasi minimal sing dibutuhake kanggo nglatih pirang-pirang model, kanthi ngitung jumlah parameter lan ukuran set data. Persamaan kasebut nyathet carane ML mbutuhake data kasebut liwat jaringan kaping pirang-pirang, carane ngitung saben pass mundhak nalika jumlah paramèter mundhak, lan pira data sing dibutuhake nalika jumlah paramèter mundhak.

Miturut prakiran Open AI, yen pangembang bisa entuk efisiensi maksimal, mbangun GPT-4 (100 kaping luwih gedhe tinimbang GPT-3 (parameter 17.5 triliun)) mbutuhake 7,600 unit pangolahan grafis (GPU) sing mlaku paling ora setaun lan biaya kira-kira. USD $200 yuta. Model parameter 100 triliun mbutuhake 83,000 GPU kanggo nguwasani setaun, regane luwih saka USD $2 milyar.

Nanging, perusahaan teknologi wis kolaborasi lan ngetokake investasi ing model AI supersized sing terus berkembang amarga permintaan kanggo solusi ML saya mundhak. Contone, Baidu sing berbasis ing China lan Lab Peng Cheng ngeculake PCL-BAIDU Wenxin, kanthi 280 milyar paramèter. PCL-BAIDU wis digunakake dening feed warta, mesin telusur, lan asisten digital Baidu. 

Versi program Go-playing paling anyar, sing digawe DeepMind ing Desember 2021, duwe 280 milyar parameter. Model Google Switch-Transformer-GLaM duwe 1 triliun lan 1.2 triliun paramèter, masing-masing. Wu Dao 2.0 saka Beijing Academy of AI malah luwih gedhe lan wis dilaporake duwe 1.75 triliun paramèter. Minangka kutha cerdas lan otomatisasi terus nyebabake gangguan, para ahli ora yakin kepiye komputasi AI bakal ndhukung masa depan kasebut. 

Implikasi model AI supersized

Implikasi model AI sing luwih gedhe bisa uga kalebu: 

• Nambah investasi lan kesempatan kanggo ngembangake chip komputer AI sing nggunakake energi kurang. 
• Kemajuan AI saya suda amarga kekurangan daya komputasi, ndadékaké pendanaan luwih akeh kanggo teknologi lan solusi sing ngirit energi.
• Pangembang ML nggawe model alternatif kajaba trafo, sing bisa nyebabake panemuan lan inovasi kanggo algoritma sing luwih efisien.
• Solusi AI fokus ing masalah aplikasi-sentris, nyetel komputasi miturut utawa ngowahi yen perlu tinimbang mung supersizing.
• Dataset sing luwih rumit ngidini program AI nindakake prediksi sing luwih apik, kalebu ramalan cuaca, panemuan ruang angkasa, diagnosis medis, lan perdagangan internasional.

Pitakonan kanggo komentar

• Yen sampeyan kerja ing sektor AI, apa sawetara kemajuan kanggo ngembangake model ML sing luwih apik?
• Apa keuntungan potensial liyane saka model kanthi data latihan ekstensif kanggo sinau?