Supersized AI ماڊل: وشال ڪمپيوٽنگ سسٽم ٽپنگ پوائنٽ تائين پهچي رهيا آهن

تصويري ڪريڊٽ:
تصوير جي ڪريڊٽ
ايٽڪ

Supersized AI ماڊل: وشال ڪمپيوٽنگ سسٽم ٽپنگ پوائنٽ تائين پهچي رهيا آهن

Supersized AI ماڊل: وشال ڪمپيوٽنگ سسٽم ٽپنگ پوائنٽ تائين پهچي رهيا آهن

ذيلي عنوان متن
مشين لرننگ رياضياتي ماڊل هر سال وڏا ۽ وڌيڪ نفيس ٿي رهيا آهن، پر ماهرن جو خيال آهي ته اهي وسيع الگورتھم چوٽي تي آهن.
    • الاهي:
    • ليکڪ جو نالو
      Quantumrun اڳڪٿي
    • جون 2، 2023

    2012 کان وٺي، مصنوعي ذهانت (AI) ۾ اهم پيش رفت باقاعدگي سان ٿينديون رهيون آهن، خاص طور تي ڪمپيوٽنگ پاور کي وڌائڻ سان (مختصر لاءِ ”ڪمپيوٽ“). ھڪڙو وڏو ماڊل، جيڪو 2020 ۾ شروع ڪيو ويو، 600,000 کان پھرين ماڊل جي ڀيٽ ۾ 2012 ڀيرا وڌيڪ ڳڻپيوڪر استعمال ڪيو ويو. OpenAI جي محققن 2018 ۾ ھن رجحان کي نوٽ ڪيو ۽ خبردار ڪيو ته اھو ترقي جي شرح گھڻو وقت تائين پائيدار نه رھندي.

    سپرسائز ٿيل AI ماڊلز جي حوالي سان

    ڪيترائي مشين لرننگ (ML) ڊولپرز استعمال ڪن ٿا ٽرانسفارمر ماڊل ڊيپ لرننگ لاءِ (DL) ڇاڪاڻ ته انهن جي بظاهر لامحدود صلاحيت جي ڪري. انهن ماڊلن جي مثالن ۾ شامل آهن جنريٽو پري ٽرين ٿيل ٽرانسفارمر 2 (GPT-2)، GPT-3، ٽرانسفارمرز (BERT) کان بائي ڊائريڪشنل انڪوڊر ريپريزنٽيشنز (BERT)، ۽ Turing Natural Language Generation (NLG). اهي الگورتھم اڪثر ڪري حقيقي دنيا جون ايپليڪيشنون آهن جهڙوڪ مشين ترجمو يا ٽائيم سيريز اڳڪٿيون. 

    مصنوعي ذھني طريقن کي وڌائڻو پوندو وڌيڪ تربيتي ڊيٽا کي گڏ ڪرڻ ۽ اڳڪٿين تي بھتر ٿيڻ لاءِ. اها گهرج بلين پيرا ميٽرز سان گڏ سپر ماڊل ماڊلز جي اڀار جو سبب بڻيل آهي (متغير جيڪي اڳڪٿيون ڪرڻ لاءِ الگورتھم استعمال ڪندا آهن). اهي ماڊل OpenAI جي GPT-3 (۽ ڊسمبر 2022 ۾ شروع ڪيل ان جو ChatGPT تعامل)، چين جي بنياد تي PanGu-alpha، Nvidia جي Megatron-Turing NLG، ۽ DeepMind جي گوفر جي نمائندگي ڪن ٿا. 2020 ۾، GPT-3 جي تربيت لاءِ هڪ سپر ڪمپيوٽر جي ضرورت هئي جيڪا دنيا جي پنجن وڏين ڪمپيوٽرن مان هئي. 

    جڏهن ته، انهن ماڊل کي وڏي مقدار ۾ توانائي جي شدت واري تربيتي ڊيٽا جي ضرورت هوندي آهي. گہرے سکيا تي انحصار ڪيو ويو آهي ان جي قابليت تي وڏي ڪمپيوٽي طاقت استعمال ڪرڻ، پر اهو جلد ئي تبديل ٿي ويندو. ٽريننگ مهانگي آهي، اتي AI چپس جون حدون آهن، ۽ ٽريننگ وڏن ماڊلز پروسيسرز کي بند ڪري ٿي، انهن سڀني کي منظم ڪرڻ ڏکيو بڻائي ٿي. وڏي پئماني تي، انهن ماڊلن کي تربيت ڏيڻ جي قيمت وڌيڪ آهي. ماهر متفق آهن ته اتي هڪ نقطو اچي ويندو جتي سپرسائز ٿيل AI ماڊل تمام مهانگو ٿي سگهن ٿا ۽ ٽريننگ لاءِ توانائي وارا. 

    خراب ڪندڙ اثر

    2020 ۾، OpenAI ڪيترن ئي ماڊلز کي تربيت ڏيڻ لاءِ گهربل گھٽ ۾ گھٽ مقدار جو اندازو لڳايو، پيٽرول جي تعداد ۽ ڊيٽا سيٽ جي سائيز ۾ فيڪٽرنگ. اهي مساواتون حساب ڪن ٿيون ته ڪيئن ML ان ڊيٽا کي نيٽ ورڪ ذريعي ڪيترائي ڀيرا گذرڻ جي ضرورت آهي، ڪئين هر پاس لاءِ ڳڻپ وڌندو آهي جيئن پيرا ميٽرن جو تعداد وڌندو آهي، ۽ ڪيتري ڊيٽا جي ضرورت هوندي آهي جيئن پيرا ميٽرن جو تعداد وڌندو آهي.

    اوپن AI جي تخميني مطابق، فرض ڪيو ته ڊولپرز وڌ ۾ وڌ ڪارڪردگي حاصل ڪري سگھن ٿا، GPT-4 (GPT-100 کان 3 ڀيرا وڏو (17.5 ٽريلين پيرا ميٽرز)) جي تعمير لاءِ 7,600 گرافڪس پروسيسنگ يونٽ (GPUs) جي ضرورت پوندي جيڪا گھٽ ۾ گھٽ ھڪ سال تائين ھلندي ۽ قيمت لڳ ڀڳ 200 ملين آمريڪي ڊالر. هڪ 100-ٽريلين پيٽرولر ماڊل کي 83,000 GPUs جي ضرورت پوندي ان کي هڪ سال لاءِ طاقت ڏيڻ لاءِ، قيمت USD $2 بلين کان وڌيڪ.

    حالانڪه، ٽيڪني ڪمپنيون تعاون ڪري رهيون آهن ۽ سيڙپڪاري ڪري رهيون آهن انهن جي هميشه وڌائڻ واري سپرسائزڊ اي ماڊلز ۾ جيئن ته ايم ايل حلن جي طلب وڌندي آهي. مثال طور، چين جي بنياد تي Baidu ۽ Peng Cheng Lab PCL-BAIDU Wenxin جاري ڪئي، 280 بلين پيٽرولر سان. PCL-BAIDU اڳ ۾ ئي استعمال ڪيو پيو وڃي Baidu جي نيوز فيڊز، سرچ انجڻ، ۽ ڊجيٽل اسسٽنٽ. 

    جديد Go-Playing پروگرام ورزن، جيڪو ڊيپ مائنڊ ڊسمبر 2021 ۾ ٺاهيو، 280 بلين پيٽرولر آهن. Google Switch-Transformer-GLaM ماڊلز ۾ بالترتيب 1 ٽريلين ۽ 1.2 ٽريلين پيٽرولر آھن. AI جي بيجنگ اڪيڊمي مان وو ڊاؤ 2.0 اڃا به وڌيڪ وسيع آهي ۽ ٻڌايو ويو آهي ته 1.75 ٽريلين پيٽرولر آهن. جيئن سمارٽ شهرن ۽ آٽوميشن ۾ رڪاوٽن کي زور ڏيڻ جاري آهي، ماهرن کي يقين نه آهي ته اي آئي ڪمپيوٽ اهڙي مستقبل جي مدد ڪندو. 

    وڏي پيماني تي AI ماڊل جا اثر

    وڏي پيماني تي AI ماڊل جا وسيع اثر شامل ٿي سگھن ٿا: 

    • AI ڪمپيوٽر چپس کي ترقي ڪرڻ ۾ سيڙپڪاري ۽ موقعا وڌايو جيڪي گھٽ توانائي استعمال ڪن ٿا. 
    • ڪمپيوٽنگ پاور جي گھٽتائي جي ڪري AI جي ترقي سست ٿي وئي، توانائي جي بچاء واري ٽيڪنالاجيز ۽ حلن لاء وڌيڪ فنڊ جي ڪري.
    • ايم ايل ڊولپرز متبادل ماڊل ٺاهي رهيا آهن ٽرانسفارمرز کان سواء، جيڪي وڌيڪ موثر الگورتھم لاء دريافتن ۽ جدت جي اڳواڻي ڪري سگهن ٿيون.
    • AI حل، ايپليڪيشن سينٽرڪ مسئلن تي ڌيان ڏيڻ، ڪمپيوٽ کي ترتيب ڏيڻ يا ضرورت مطابق تبديل ڪرڻ بدران صرف سپرسائيزنگ.
    • وڌيڪ پيچيده ڊيٽا سيٽون جيڪي AI پروگرامن کي بهتر اڳڪٿيون ڪرڻ جي اجازت ڏين ٿيون، بشمول موسم جي اڳڪٿي، خلائي دريافت، طبي تشخيص، ۽ بين الاقوامي واپار.

    تبصرو ڪرڻ لاء سوال

    • جيڪڏهن توهان AI شعبي ۾ ڪم ڪريو ٿا، بهتر ايم ايل ماڊل ٺاهڻ ۾ ڪجهه ترقي ڇا آهن؟
    • ماڊل جا ٻيا امڪاني فائدا ڪهڙا آهن جن مان سکڻ لاءِ وسيع ٽريننگ ڊيٽا سان گڏ؟

    بصيرت جا حوالا

    هيٺ ڏنل مشهور ۽ ادارتي لنڪ هن بصيرت لاء حوالو ڏنو ويو آهي: