අධිප්‍රමාණය කළ AI මාදිලි: යෝධ පරිගණක පද්ධති තීව්‍ර වන ස්ථානයට ළඟා වෙමින් තිබේ

• කර්තෘ:
• කර්තෘගේ නම

  Quantumrun Foresight
• ජූනි මස 2, 2023

2012 සිට, කෘත්‍රිම බුද්ධියේ (AI) සැලකිය යුතු ප්‍රගතියක් නිතිපතා සිදු වී ඇත, ප්‍රධාන වශයෙන් පරිගණක බලය වැඩි කිරීම (කෙටියෙන් "ගණනය") මගින් මෙහෙයවනු ලැබේ. 2020 දී දියත් කරන ලද විශාලතම මාදිලි වලින් එකක්, 600,000 සිට පළමු මාදිලියට වඩා 2012 ගුණයකින් වැඩි ගණනය කිරීම් භාවිතා කර ඇත. OpenAI හි පර්යේෂකයන් 2018 දී මෙම ප්‍රවණතාවය සටහන් කළ අතර මෙම වර්ධන වේගය දිගු කලක් තිරසාර නොවන බවට අනතුරු ඇඟවීය.

සුපිරි AI ආකෘති සන්දර්භය

බොහෝ යන්ත්‍ර ඉගෙනුම් (ML) සංවර්ධකයින් ගැඹුරු ඉගෙනීම (DL) සඳහා ට්‍රාන්ස්ෆෝමර් ආකෘති භාවිතා කරන්නේ ඔවුන්ගේ පෙනෙන අසීමිත හැකියාව නිසාය. මෙම මාදිලි සඳහා උදාහරණ ලෙස Generative Pre-trained Transformer 2 (GPT-2), GPT-3, Transformers වෙතින් Bidirectional Encoder Representations (BERT) සහ Turing Natural Language Generation (NLG) ඇතුළත් වේ. මෙම ඇල්ගොරිතම බොහෝ විට යන්ත්‍ර පරිවර්තන හෝ කාල ශ්‍රේණි පුරෝකථනය වැනි සැබෑ ලෝක යෙදුම් ඇත. 

කෘත්‍රිම බුද්ධි මාතයන් වැඩි පුහුණු දත්ත ලබා ගැනීමට සහ අනාවැකි වලදී වඩා හොඳ වීමට පුළුල් කළ යුතුය. මෙම අවශ්‍යතාවය බිලියන ගණනක පරාමිති (අනුමාන කිරීම් සඳහා ඇල්ගොරිතම මගින් භාවිතා කරන විචල්‍යයන්) සහිත අධිප්‍රමාණයේ මාදිලිවල නැගීම සඳහා හේතු වී ඇත. මෙම මාදිලි OpenAI හි GPT-3 (සහ එහි ChatGPT අන්තර්ක්‍රියාකාරිත්වය 2022 දෙසැම්බර් මාසයේදී දියත් කරන ලදී), චීනය පදනම් කරගත් PanGu-alpha, Nvidia's Megatron-Turing NLG සහ DeepMind's Gopher මගින් නියෝජනය වේ. 2020 දී, GPT-3 පුහුණු කිරීම සඳහා ලෝකයේ විශාලතම පරිගණක පහ අතර වූ සුපිරි පරිගණකයක් අවශ්‍ය විය. 

කෙසේ වෙතත්, මෙම ආකෘති සඳහා දැවැන්ත බලශක්ති-දැඩි පුහුණු දත්ත අවශ්ය වේ. ගැඹුරු ඉගෙනීම අතිවිශාල පරිගණක බලයක් භාවිතා කිරීමේ හැකියාව මත රඳා පවතී, නමුත් මෙය ඉක්මනින් වෙනස් වනු ඇත. පුහුණුව මිල අධිකයි, AI චිප් සඳහා සීමාවන් ඇත, සහ විශාල මාදිලි පුහුණු කිරීම ප්‍රොසෙසර අවහිර කරයි, ඒවා සියල්ල කළමනාකරණය කිරීමට අපහසු වේ. පරාමිතිය විශාල වන තරමට මෙම ආකෘති පුහුණු කිරීම සඳහා මිල අධික වේ. ප්‍රවීණයන් එකඟ වන්නේ අධිප්‍රමාණය කළ AI මාදිලි පුහුණු කිරීමට නොහැකි තරම් මිල අධික සහ බලශක්තිය වැය වන අවස්ථාවක් වනු ඇති බවයි. 

කඩාකප්පල්කාරී බලපෑම

2020 දී, OpenAI විසින් පරාමිති සංඛ්‍යාව සහ දත්ත කට්ටල ප්‍රමාණය අනුව බොහෝ මාදිලි පුහුණු කිරීම සඳහා අවශ්‍ය අවම ගණනය කිරීම් ප්‍රමාණය ඇස්තමේන්තු කරන ලදී. ML ට එම දත්ත ජාලය හරහා බොහෝ වාරයක් ගමන් කිරීමට අවශ්‍ය වන්නේ කෙසේද, පරාමිති ගණන වැඩි වන විට එක් එක් සමත් සඳහා ගණනය කිරීම් ඉහළ යන ආකාරය සහ පරාමිති ගණන වර්ධනය වන විට කොපමණ දත්ත අවශ්‍ය වේද යන්න මෙම සමීකරණ ගිණුම් කරයි.

විවෘත AI ඇස්තමේන්තු වලට අනුව, සංවර්ධකයින්ට උපරිම කාර්යක්ෂමතාවයක් ලබා ගත හැකි යැයි උපකල්පනය කළහොත්, GPT-4 (GPT-100 (3 ට්‍රිලියන පරාමිති) ට වඩා 17.5 ගුණයක් විශාල) ගොඩනැගීම සඳහා අවම වශයෙන් වසරක්වත් ක්‍රියාත්මක වන ග්‍රැෆික් සැකසුම් ඒකක (GPU) 7,600 ක් අවශ්‍ය වන අතර දළ වශයෙන් පිරිවැයක් දැරීමට සිදුවේ. ඩොලර් මිලියන 200ක්. ට්‍රිලියන 100ක පරාමිති ආකෘතියකට එය වසරක් සඳහා බලගැන්වීම සඳහා GPU 83,000ක් අවශ්‍ය වන අතර එහි පිරිවැය USD $2 බිලියනයකට වඩා වැඩිය.

එසේ වුවද, ML විසඳුම් සඳහා ඇති ඉල්ලුම වර්ධනය වන විට තාක්‍ෂණ සමාගම් සහයෝගීව සහ ඔවුන්ගේ දිනෙන් දින ප්‍රසාරණය වන සුපිරි AI මාදිලි සඳහා ආයෝජන ගලා එයි. උදාහරණයක් ලෙස, චීනය පදනම් කරගත් Baidu සහ Peng Cheng Lab බිලියන 280 පරාමිති සමඟ PCL-BAIDU Wenxin නිකුත් කරන ලදී. PCL-BAIDU දැනටමත් Baidu හි ප්‍රවෘත්ති සංග්‍රහ, සෙවුම් යන්ත්‍රය සහ ඩිජිටල් සහායක විසින් භාවිතා කරනු ලැබේ. 

2021 දෙසැම්බර් මාසයේදී DeepMind විසින් නිර්මාණය කරන ලද නවතම Go-playing වැඩසටහන් අනුවාදයේ පරාමිතීන් බිලියන 280ක් ඇත. Google Switch-Transformer-GLaM මාදිලිවල පිළිවෙළින් ට්‍රිලියන 1 සහ ට්‍රිලියන 1.2 පරාමිති විශාලය. AI හි බීජිං ඇකඩමියේ Wu Dao 2.0 ඊටත් වඩා දැවැන්ත වන අතර පරාමිති ට්‍රිලියන 1.75 ක් ඇති බව වාර්තා වේ. ස්මාර්ට් නගර සහ ස්වයංක්‍රීයකරණය අඛණ්ඩව බාධා කිරීම් සිදු කරන බැවින්, AI ගණනය කිරීම එවැනි අනාගතයකට සහාය වන්නේ කෙසේදැයි ප්‍රවීණයන් නොදනිති. 

සුපිරි AI මාදිලිවල ඇඟවුම්

අධිප්‍රමාණය කළ AI මාදිලිවල පුළුල් ඇඟවුම් ඇතුළත් විය හැකිය: 

• අඩු ශක්තියක් පරිභෝජනය කරන AI පරිගණක චිප් සංවර්ධනය කිරීමේ වැඩි ආයෝජන සහ අවස්ථා. 
• AI ප්‍රගතිය පරිගණන ශක්තියේ ඌනතාවය නිසා මන්දගාමී වූ අතර බලශක්ති සංරක්ෂණ තාක්ෂණයන් සහ විසඳුම් සඳහා වැඩි අරමුදල් සම්පාදනය කිරීමට හේතු විය.
• ML සංවර්ධකයින් ට්‍රාන්ස්ෆෝමර් හැර විකල්ප ආකෘති නිර්මාණය කරයි, එමඟින් වඩාත් කාර්යක්ෂම ඇල්ගොරිතම සඳහා සොයාගැනීම් සහ නවෝත්පාදනයන් ඇති කළ හැකිය.
• AI විසඳුම් යෙදුම්-කේන්ද්‍රීය ගැටළු කෙරෙහි අවධානය යොමු කිරීම, ඒ අනුව ගණනය කිරීම හෝ අධිප්‍රමාණය කිරීම වෙනුවට අවශ්‍ය පරිදි වෙනස් කිරීම.
• කාලගුණ අනාවැකි, අභ්‍යවකාශ සොයාගැනීම්, වෛද්‍ය රෝග විනිශ්චය සහ ජාත්‍යන්තර වෙළඳාම ඇතුළුව වඩා හොඳ අනාවැකි ඉටු කිරීමට AI වැඩසටහන් වලට ඉඩ සලසන වඩාත් සංකීර්ණ දත්ත කට්ටල.

අදහස් දැක්වීමට ප්රශ්න

• ඔබ AI අංශයේ වැඩ කරන්නේ නම්, වඩා හොඳ ML ආකෘති සංවර්ධනය කිරීමේ සමහර ප්‍රගතිය මොනවාද?
• ඉගෙන ගැනීමට විස්තීර්ණ පුහුණු දත්ත සහිත ආකෘතිවල වෙනත් විභව ප්‍රතිලාභ මොනවාද?