Modél AI Supersized: Sistem komputasi raksasa ngahontal titik tipping

• Author:
• Ngaran pangarang

  Quantumrun tetempoan
• Juni 2, 2023

Kusabab 2012, kamajuan signifikan dina kecerdasan jieunan (AI) geus lumangsung rutin, utamana didorong ku ngaronjatna daya komputasi ("itung" kanggo pondok). Salah sahiji model pangbadagna, diluncurkeun dina 2020, garapan 600,000 kali leuwih komputasi ti model munggaran ti 2012. Panaliti di OpenAI nyatet trend ieu di 2018 sarta ngingetkeun yén laju pertumbuhan ieu moal sustainable pikeun lila.

Kontéks modél AI Supersized

Seueur pamekar pembelajaran mesin (ML) nganggo modél trafo pikeun diajar jero (DL) kusabab poténsina anu teu aya watesna. Conto modél ieu kalebet Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Bidirectional Encoder Representations from Transformers (BERT), sareng Turing Natural Language Generation (NLG). Algoritma ieu sering gaduh aplikasi dunya nyata sapertos tarjamahan mesin atanapi prediksi séri waktos. 

Modeu intelijen jieunan kedah dilegakeun pikeun nampung langkung seueur data latihan sareng janten langkung saé dina prediksi. Sarat ieu nyababkeun naékna modél supersized sareng milyaran parameter (variabel anu dianggo ku algoritma pikeun ngaramalkeun). Modél ieu diwakilan ku OpenAI's GPT-3 (sareng interaksi ChatGPT na diluncurkeun dina bulan Désémber 2022), PanGu-alpha berbasis Cina, Nvidia's Megatron-Turing NLG, sareng DeepMind's Gopher. Taun 2020, latihan GPT-3 ngabutuhkeun superkomputer anu kalebet lima panggedéna di dunya. 

Sanajan kitu, model ieu condong merlukeun jumlah masif data latihan-intensif énergi. Pangajaran jero gumantung kana kamampuanna pikeun ngagunakeun kakuatan komputasi anu ageung, tapi ieu engké bakal robih. Latihan mahal, aya wates pikeun chip AI, sareng latihan modél ageung ngahambat prosesor, janten sesah pikeun ngatur sadayana. Parameter anu langkung ageung, langkung mahal pikeun ngalatih modél ieu. Para ahli satuju yén bakal aya titik dimana modél AI supersized tiasa janten mahal teuing sareng intensif énergi pikeun ngalatih. 

Dampak ngaganggu

Dina 2020, OpenAI ngira-ngira jumlah komputasi minimum anu diperyogikeun pikeun ngalatih seueur modél, ngitung jumlah parameter sareng ukuran set data. Persamaan ieu ngajelaskeun kumaha ML ngabutuhkeun data pikeun ngaliwat jaringan sababaraha kali, kumaha ngitung unggal pass naék nalika jumlah parameter naék, sareng sabaraha data anu diperyogikeun nalika jumlah parameter naék.

Numutkeun perkiraan Open AI, asumsina yén pamekar tiasa ngahontal efisiensi maksimal, ngawangun GPT-4 (100 kali langkung ageung tibatan GPT-3 (parameter 17.5 triliun)) ngabutuhkeun 7,600 unit pangolahan grafis (GPU) ngajalankeun sahenteuna sataun sareng biayana kirang langkung. USD $200 juta. Model parameter 100-triliun peryogi 83,000 GPU pikeun ngawasaana salami sataun, hargana langkung ti USD $ 2 milyar.

Nanging, perusahaan téknologi parantos kolaborasi sareng tuang investasi dina modél AI supersized anu terus-terusan ngembang nalika paménta pikeun solusi ML tumbuh. Contona, Baidu basis Cina jeung Peng Cheng Lab ngarilis PCL-BAIDU Wenxin, kalawan 280 milyar parameter. PCL-BAIDU parantos dianggo ku feed warta Baidu, mesin pencari, sareng asisten digital. 

Versi program Go-playing panganyarna, anu didamel DeepMind dina bulan Désémber 2021, ngagaduhan 280 milyar parameter. Model Google Switch-Transformer-GLaM gaduh 1 triliun sareng 1.2 triliun parameter masing-masing. Wu Dao 2.0 ti Beijing Academy of AI malah langkung masif sareng parantos dilaporkeun gaduh 1.75 triliun parameter. Nalika kota pinter sareng otomatisasi terus nyorong gangguan, para ahli henteu yakin kumaha komputasi AI bakal ngadukung masa depan sapertos kitu. 

Implikasi model AI supersized

Implikasi anu langkung ageung tina modél AI supersized tiasa kalebet: 

• Ngaronjatkeun investasi sareng kasempetan pikeun ngembangkeun chip komputer AI anu ngirangan énergi. 
• Kamajuan AI ngalambatkeun ku kurangna kakuatan komputasi, nyababkeun langkung seueur dana pikeun téknologi sareng solusi hemat energi.
• Pangembang ML nyiptakeun modél alternatif salian ti trafo, anu tiasa nyababkeun pamanggihan sareng inovasi pikeun algoritma anu langkung éfisién.
• Solusi AI museurkeun kana masalah anu dipuseurkeun ku aplikasi, nyaluyukeun komputasi sasuai atanapi ngarobih upami diperyogikeun tinimbang ngan ukur supersizing.
• Setét data anu langkung kompleks ngamungkinkeun program AI ngalaksanakeun prediksi anu langkung saé, kalebet ramalan cuaca, panemuan rohangan, diagnosis médis, sareng perdagangan internasional.

Patarosan pikeun mairan

• Upami anjeun damel di séktor AI, naon waé kamajuan dina ngamekarkeun modél ML anu langkung saé?
• Naon mangpaat poténsi séjén model kalawan data latihan éksténsif pikeun neuleuman tina?