Nā hiʻohiʻona AI Supersized: Ke hōʻea nei nā ʻōnaehana computing nunui i ka piko

• Author:
• Ka inoa o ka mea kākau

  Quantumrun Foresight
• June 2, 2023

Mai ka makahiki 2012, ua loaʻa mau ka holomua nui o ka naʻauao artificial (AI), i alakaʻi nui ʻia e ka hoʻonui ʻana i ka mana computing (“compute” no ka pōkole). ʻO kekahi o nā hiʻohiʻona nui loa, i hoʻokuʻu ʻia i ka makahiki 2020, ua hoʻohana ʻia he 600,000 mau manawa ʻoi aku ka nui o ka helu ma mua o ke kumu hoʻohālike mua mai 2012. Ua ʻike nā mea noiʻi ma OpenAI i kēia ʻano i ka makahiki 2018 a ua ʻōlelo ʻo ia ʻaʻole hiki ke hoʻomau i kēia ulu ulu no ka lōʻihi.

ʻO ka pōʻaiapili hoʻohālike AI supersized

Nui nā mea hoʻomohala aʻo mīkini (ML) e hoʻohana i nā kumu hoʻohālike no ke aʻo hohonu (DL) ma muli o ko lākou hiki ʻole ke palena. ʻO nā laʻana o kēia mau hiʻohiʻona, ʻo ia ka Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Bidirectional Encoder Representations from Transformers (BERT), a me Turing Natural Language Generation (NLG). Loaʻa pinepine kēia mau algorithm i nā noi honua maoli e like me ka unuhi mīkini a i ʻole ka wānana manawa. 

Pono e hoʻonui ʻia nā ʻano hana akamai no ka hoʻokō ʻana i nā ʻikepili aʻo hou aʻe a ʻoi aku ka maikaʻi ma nā wānana. Ua alakaʻi kēia koi i ka piʻi ʻana o nā hiʻohiʻona supersized me nā piliona o nā ʻāpana (nā hoʻololi i hoʻohana ʻia e nā algorithms e hana i nā wānana). Hōʻike ʻia kēia mau hiʻohiʻona e ka OpenAI's GPT-3 (a me kāna kamaʻilio ChatGPT i hoʻokumu ʻia i Dekemaba 2022), ʻo PanGu-alpha i hoʻokumu ʻia ma Kina, ʻo Nvidia's Megatron-Turing NLG, a me DeepMind's Gopher. I ka makahiki 2020, pono ke aʻo ʻana iā GPT-3 i kahi supercomputer i waena o nā ʻelima nui loa o ka honua. 

Eia naʻe, makemake kēia mau hiʻohiʻona i ka nui o ka ʻikepili hoʻomaʻamaʻa ikaika. Ua hilinaʻi ke aʻo hohonu i kona hiki ke hoʻohana i ka mana helu nui, akā e loli koke kēia. He pipiʻi ka hoʻomaʻamaʻa ʻana, aia nā palena i nā chips AI, a ʻo ka hoʻomaʻamaʻa ʻana i nā hiʻohiʻona nui e hoʻopaʻa i nā kaʻina hana, e paʻakikī ke hoʻokele iā lākou āpau. ʻO ka nui o ka palena, ʻoi aku ka nui o ke kumukūʻai no ka hoʻomaʻamaʻa ʻana i kēia mau hiʻohiʻona. Ua ʻae ka poʻe loea e hiki mai ana kahi manawa e lilo ai nā hiʻohiʻona supersized AI i mea kūʻai nui a ikaika hoʻi e hoʻomaʻamaʻa. 

Ka hopena hoʻopilikia

I ka makahiki 2020, ua manaʻo ʻo OpenAI i ka liʻiliʻi o ka helu helu e pono ai e hoʻomaʻamaʻa i nā hiʻohiʻona he nui, e helu ana i ka nui o nā ʻāpana a me ka nui o ka ʻikepili. ʻO kēia mau hoohalike e pili ana i ke koi ʻana o ML i kēlā ʻikepili e hele i ka pūnaewele i nā manawa he nui, pehea ka helu ʻana no kēlā me kēia pass e piʻi aʻe i ka piʻi ʻana o ka helu o nā ʻāpana, a me ka nui o ka ʻikepili e pono ai ke ulu ka helu o nā ʻāpana.

Wahi a Open AI, me ka manaʻo e hiki i nā mea hoʻomohala ke hoʻokō i ka hana kiʻekiʻe loa, ʻo ke kūkulu ʻana i ka GPT-4 (100 mau manawa ʻoi aku ka nui ma mua o GPT-3 (17.5 trillion parameters)) e koi ana i 7,600 mau kiʻi hoʻoili kiʻi (GPU) e holo ana no ka liʻiliʻi o hoʻokahi makahiki a me ke kumukūʻai ma kahi o hoʻokahi. USD $200 miliona. Pono ke kumu hoʻohālike 100-trillion he 83,000 GPUs e hoʻoikaika iā ia no hoʻokahi makahiki, ʻoi aku ka nui ma mua o USD $2 biliona.

Eia nō naʻe, ua hui pū nā ʻoihana ʻenehana a me ka ninini ʻana i nā hoʻopukapuka kālā i kā lākou mau hiʻohiʻona supersized AI e hoʻonui mau nei i ka ulu ʻana o ka noi no nā hoʻonā ML. No ka laʻana, ua hoʻokuʻu ʻo Baidu ma Kina a me ka Peng Cheng Lab i ka PCL-BAIDU Wenxin, me 280 billion mau palena. Ke hoʻohana ʻia nei ʻo PCL-BAIDU e nā mea hoʻolaha nūhou a Baidu, ʻenekini huli, a me ke kōkua kikohoʻe. 

ʻO ka polokalamu Go-playing polokalamu hou loa, i hana ʻia e DeepMind i Dekemaba 2021, he 280 biliona mau ʻāpana. ʻO nā hiʻohiʻona Google Switch-Transformer-GLaM he 1 trillion a me 1.2 trillion parameter, kēlā me kēia. ʻO Wu Dao 2.0 mai ka Beijing Academy of AI ʻoi aku ka nui a ua hōʻike ʻia he 1.75 trillion mau ʻāpana. Ke hoʻomau nei nā kūlanakauhale akamai a me ka automation i nā haunaele, ʻaʻole maopopo ka poʻe loea pehea e kākoʻo ai ʻo AI compute i kēia wā e hiki mai ana. 

Nā hopena o nā hiʻohiʻona AI supersized

Hiki ke hoʻopili ʻia nā hopena ākea o nā hiʻohiʻona AI supersized: 

• Hoʻonui ʻia nā hoʻopukapuka a me nā manawa kūpono i ka hoʻomohala ʻana i nā pahu kamepiula AI e hoʻopau i ka ikehu. 
• Ua lohi ka holomua o AI ma muli o ka nele o ka mana computing, e alakaʻi ana i ke kālā hou aʻe no nā ʻenehana mālama ʻenehana a me nā hoʻonā.
• Hoʻokumu nā mea hoʻomohala ML i nā hiʻohiʻona ʻē aʻe ma waho o nā mea hoʻololi, hiki ke alakaʻi i nā ʻike a me nā mea hou no nā algorithm ʻoi aku ka maikaʻi.
• ʻO nā hoʻonā AI e kālele ana i nā pilikia pili i ka noi, hoʻoponopono ʻana i ka helu e like me ka mea e pono ai ma mua o ka supersizing wale nō.
• ʻO nā ʻikepili paʻakikī e ʻae ana i nā polokalamu AI e hana i nā wānana ʻoi aku ka maikaʻi, me ka wānana ʻana i ka wā, ka ʻike ākea, nā maʻi lapaʻau, a me ke kālepa honua.

Nā nīnau e manaʻo ai

• Inā hana ʻoe ma ka ʻāpana AI, he aha ka holomua o ka hoʻomohala ʻana i nā hiʻohiʻona ML maikaʻi aʻe?
• He aha nā pōmaikaʻi ʻē aʻe o nā hiʻohiʻona me ka ʻikepili aʻo nui e aʻo ai?