سپرسائزڈ AI ماڈلز: جائنٹ کمپیوٹنگ سسٹم ٹپنگ پوائنٹ پر پہنچ رہے ہیں۔

• مصنف:
• مصنف کا نام

  Quantumrun دور اندیشی
• جون 2، 2023

2012 کے بعد سے، مصنوعی ذہانت (AI) میں نمایاں پیشرفت باقاعدگی سے ہوئی ہے، بنیادی طور پر کمپیوٹنگ کی طاقت میں اضافہ ("مختصر کے لیے "کمپیوٹ") کے ذریعے کارفرما ہے۔ 2020 میں لانچ ہونے والے سب سے بڑے ماڈلز میں سے ایک نے 600,000 کے پہلے ماڈل کے مقابلے میں 2012 گنا زیادہ کمپیوٹ کا استعمال کیا۔ OpenAI کے محققین نے 2018 میں اس رجحان کو نوٹ کیا اور خبردار کیا کہ یہ شرح نمو زیادہ دیر تک پائیدار نہیں رہے گی۔

سپرسائزڈ AI ماڈلز کا سیاق و سباق

بہت سے مشین لرننگ (ML) ڈویلپرز اپنی بظاہر لامحدود صلاحیت کی وجہ سے ڈیپ لرننگ (DL) کے لیے ٹرانسفارمر ماڈل استعمال کرتے ہیں۔ ان ماڈلز کی مثالوں میں جنریٹو پری ٹرینڈ ٹرانسفارمر 2 (GPT-2)، GPT-3، ٹرانسفارمرز (BERT) سے دو طرفہ انکوڈر کی نمائندگی، اور ٹیورنگ نیچرل لینگویج جنریشن (NLG) شامل ہیں۔ ان الگورتھم میں اکثر حقیقی دنیا کی ایپلی کیشنز ہوتی ہیں جیسے مشین ترجمہ یا ٹائم سیریز کی پیشن گوئی۔ 

مصنوعی ذہانت کے طریقوں کو مزید تربیتی ڈیٹا کو ایڈجسٹ کرنے اور پیشین گوئیوں میں بہتر بننے کے لیے بڑھانا ہوگا۔ اس ضرورت کی وجہ سے اربوں پیرامیٹرز والے سپرسائزڈ ماڈلز (متغیرات جو پیشن گوئی کرنے کے لیے الگورتھم کے ذریعے استعمال ہوتے ہیں) میں اضافہ ہوا ہے۔ ان ماڈلز کی نمائندگی OpenAI کے GPT-3 (اور دسمبر 2022 میں اس کا ChatGPT تعامل شروع کیا گیا)، چین میں قائم PanGu-alpha، Nvidia کے Megatron-Turing NLG، اور DeepMind کے Gopher کے ذریعے کیا گیا ہے۔ 2020 میں، GPT-3 کی تربیت کے لیے ایک ایسے سپر کمپیوٹر کی ضرورت تھی جو دنیا کے پانچ بڑے کمپیوٹرز میں سے تھا۔ 

تاہم، ان ماڈلز کو توانائی سے بھرپور تربیتی ڈیٹا کی بڑی مقدار کی ضرورت ہوتی ہے۔ گہرائی سے سیکھنے کا انحصار اس کی بہت زیادہ کمپیوٹ طاقت استعمال کرنے کی صلاحیت پر ہے، لیکن یہ جلد ہی بدل جائے گا۔ تربیت مہنگی ہے، AI چپس کی حدود ہیں، اور بڑے ماڈلز کی تربیت پروسیسرز کو بند کر دیتی ہے، جس سے ان سب کا انتظام کرنا مشکل ہو جاتا ہے۔ پیرامیٹر جتنا بڑا ہوگا، ان ماڈلز کو تربیت دینا اتنا ہی مہنگا ہوگا۔ ماہرین اس بات پر متفق ہیں کہ ایک وقت ایسا آئے گا جہاں سپرسائزڈ AI ماڈلز بہت مہنگے اور تربیت کے لیے توانائی کے حامل ہو سکتے ہیں۔ 

خلل ڈالنے والا اثر

2020 میں، OpenAI نے متعدد ماڈلز کی تربیت کے لیے درکار کمپیوٹ کی کم از کم مقدار کا تخمینہ لگایا، پیرامیٹرز کی تعداد اور ڈیٹا سیٹ کے سائز میں فیکٹرنگ۔ یہ مساواتیں اس بات کو مدنظر رکھتی ہیں کہ ایم ایل کو اس ڈیٹا کو نیٹ ورک سے کئی بار گزرنے کے لیے کس طرح ضرورت ہوتی ہے، پیرامیٹر کی تعداد بڑھنے کے ساتھ ہی ہر پاس کے لیے حساب کیسے بڑھتا ہے، اور پیرامیٹر کی تعداد بڑھنے پر کتنے ڈیٹا کی ضرورت ہوتی ہے۔

اوپن اے آئی کے تخمینے کے مطابق، یہ فرض کرتے ہوئے کہ ڈویلپر زیادہ سے زیادہ کارکردگی حاصل کر سکتے ہیں، GPT-4 (GPT-100 (3 ٹریلین پیرامیٹرز) سے 17.5 گنا بڑا) بنانے کے لیے 7,600 گرافکس پروسیسنگ یونٹس (GPUs) کی ضرورت ہوگی جو کم از کم ایک سال تک چل رہے ہوں اور اس کی لاگت تقریباً USD $200 ملین۔ ایک 100-ٹریلین پیرامیٹر ماڈل کو ایک سال تک اسے طاقت دینے کے لیے 83,000 GPUs کی ضرورت ہوگی، جس کی لاگت USD $2 بلین سے زیادہ ہوگی۔

بہر حال، ٹیک فرمیں ایم ایل سلوشنز کی مانگ بڑھنے کے ساتھ ساتھ اپنے بڑھتے ہوئے سپرسائزڈ AI ماڈلز میں تعاون کر رہی ہیں اور سرمایہ کاری کر رہی ہیں۔ مثال کے طور پر، چین میں قائم Baidu اور Peng Cheng Lab نے PCL-BAIDU Wenxin کو 280 بلین پیرامیٹرز کے ساتھ جاری کیا۔ PCL-BAIDU پہلے سے ہی Baidu کی نیوز فیڈز، سرچ انجن، اور ڈیجیٹل اسسٹنٹ استعمال کر رہا ہے۔ 

تازہ ترین Go-playing پروگرام ورژن، جسے DeepMind نے دسمبر 2021 میں بنایا تھا، اس کے 280 بلین پیرامیٹرز ہیں۔ Google Switch-Transformer-GLaM ماڈلز میں بالترتیب 1 ٹریلین اور 1.2 ٹریلین پیرامیٹرز ہیں۔ بیجنگ اکیڈمی آف AI کا وو ڈاؤ 2.0 اس سے بھی زیادہ بڑا ہے اور اس کے 1.75 ٹریلین پیرامیٹرز بتائے گئے ہیں۔ چونکہ سمارٹ سٹیز اور آٹومیشن رکاوٹوں کو آگے بڑھاتے رہتے ہیں، ماہرین اس بات پر یقین نہیں رکھتے کہ AI کمپیوٹ ایسے مستقبل کو کس طرح سپورٹ کرے گا۔ 

سپرسائزڈ AI ماڈلز کے مضمرات

سپرسائزڈ AI ماڈلز کے وسیع مضمرات میں شامل ہو سکتے ہیں: 

• کم توانائی استعمال کرنے والے AI کمپیوٹر چپس تیار کرنے میں سرمایہ کاری اور مواقع میں اضافہ۔ 
• کمپیوٹنگ پاور کی کمی کی وجہ سے AI کی پیشرفت سست پڑ گئی، جس کی وجہ سے توانائی کی بچت کرنے والی ٹیکنالوجیز اور حل کے لیے مزید فنڈنگ ​​ہوئی۔
• ایم ایل ڈویلپرز ٹرانسفارمرز کو چھوڑ کر متبادل ماڈل بناتے ہیں، جو زیادہ موثر الگورتھم کے لیے دریافتوں اور جدت کا باعث بن سکتے ہیں۔
• AI حل جو ایپلیکیشن پر مرکوز مسائل پر توجہ مرکوز کرتے ہیں، اس کے مطابق کمپیوٹ کو ایڈجسٹ کرتے ہیں یا صرف سپرسائز کرنے کی بجائے ضرورت کے مطابق ترمیم کرتے ہیں۔
• مزید پیچیدہ ڈیٹا سیٹس جو AI پروگراموں کو بہتر پیشین گوئیاں کرنے کی اجازت دیتے ہیں، بشمول موسم کی پیشن گوئی، خلائی دریافت، طبی تشخیص، اور بین الاقوامی تجارت۔

تبصرہ کرنے کے لیے سوالات

• اگر آپ AI سیکٹر میں کام کرتے ہیں، تو بہتر ML ماڈل تیار کرنے میں کچھ پیش رفت کیا ہے؟
• وسیع تربیتی ڈیٹا والے ماڈلز کے دیگر ممکنہ فوائد کیا ہیں جن سے سیکھنا ہے؟