نماذج الذكاء الاصطناعي فائقة الحجم: أنظمة الحوسبة العملاقة تصل إلى نقطة التحول

• كاتب:
• اسم المؤلف

  البصيرة الكمومية
• 2 حزيران، 2023

منذ عام 2012 ، حدثت تطورات كبيرة في الذكاء الاصطناعي (AI) بشكل منتظم ، مدفوعة بشكل أساسي بزيادة قوة الحوسبة (اختصار "الحوسبة"). أحد أكبر النماذج ، الذي تم إطلاقه في عام 2020 ، استخدم 600,000 مرة حوسبة أكثر من النموذج الأول من عام 2012. لاحظ الباحثون في OpenAI هذا الاتجاه في عام 2018 وحذروا من أن معدل النمو هذا لن يكون مستدامًا لفترة طويلة.

سياق نماذج الذكاء الاصطناعي الكبيرة

يستخدم العديد من مطوري التعلم الآلي (ML) نماذج محولات للتعلم العميق (DL) بسبب إمكاناتهم التي تبدو غير محدودة. تتضمن أمثلة هذه النماذج المحولات التوليدية المدربة مسبقًا 2 (GPT-2) ، و GPT-3 ، وتمثيلات التشفير ثنائية الاتجاه من المحولات (BERT) ، و Turing Natural Language Generation (NLG). غالبًا ما تحتوي هذه الخوارزميات على تطبيقات واقعية مثل الترجمة الآلية أو تنبؤ السلاسل الزمنية. 

يجب أن تتوسع أوضاع الذكاء الاصطناعي لاستيعاب المزيد من بيانات التدريب لتصبح أفضل في التنبؤات. أدى هذا المطلب إلى ظهور نماذج ضخمة بمليارات من المعلمات (المتغيرات التي تستخدمها الخوارزميات لعمل تنبؤات). يتم تمثيل هذه النماذج بواسطة OpenAI's GPT-3 (وتفاعل ChatGPT الذي تم إطلاقه في ديسمبر 2022) ، و PanGu-alpha ومقرها الصين ، و Megatron-Turing NLG من Nvidia ، و DeepMind's Gopher. في عام 2020 ، تطلب تدريب GPT-3 كمبيوترًا عملاقًا كان من بين أكبر خمسة أجهزة كمبيوتر في العالم. 

ومع ذلك ، تميل هذه النماذج إلى طلب كميات هائلة من بيانات التدريب كثيفة الاستهلاك للطاقة. اعتمد التعلم العميق على قدرته على استخدام قوة حسابية هائلة ، لكن هذا سيتغير قريبًا. التدريب مكلف ، وهناك حدود لرقائق الذكاء الاصطناعي ، وتدريب النماذج الكبيرة يعيق المعالجات ، مما يجعل من الصعب إدارتها جميعًا. كلما كانت المعلمة أكبر ، زادت تكلفة تدريب هذه النماذج. يتفق الخبراء على أنه ستأتي نقطة قد تصبح فيها نماذج الذكاء الاصطناعي الضخمة باهظة الثمن وتستهلك الكثير من الطاقة. 

التأثير التخريبي

في عام 2020 ، قدرت OpenAI الحد الأدنى من الحوسبة المطلوبة لتدريب العديد من النماذج ، مع الأخذ في الاعتبار عدد المعلمات وحجم مجموعة البيانات. توضح هذه المعادلات كيف تتطلب ML تلك البيانات لتمريرها عبر الشبكة عدة مرات ، وكيف يرتفع الحساب لكل مسار مع زيادة عدد المعلمات ، ومقدار البيانات المطلوبة مع نمو عدد المعلمات.

وفقًا لتقديرات Open AI ، بافتراض أن المطورين يمكنهم تحقيق أقصى قدر من الكفاءة ، فإن بناء GPT-4 (أكبر 100 مرة من GPT-3 (17.5 تريليون معلمة)) سيتطلب 7,600 وحدة معالجة رسومات (GPU) تعمل لمدة عام واحد على الأقل وبتكلفة تقريبية 200 مليون دولار أمريكي. سيحتاج نموذج 100 تريليون معلمة إلى 83,000 وحدة معالجة رسومات لتشغيله لمدة عام ، بتكلفة تزيد عن 2 مليار دولار أمريكي.

ومع ذلك ، تتعاون شركات التكنولوجيا وتضخ استثمارات في نماذج الذكاء الاصطناعي الضخمة التي تتوسع باستمرار مع نمو الطلب على حلول التعلم الآلي. على سبيل المثال ، أصدرت Baidu ومقرها الصين ومختبر Peng Cheng PCL-BAIDU Wenxin ، مع 280 مليار معلمة. يتم استخدام PCL-BAIDU بالفعل بواسطة موجز أخبار Baidu ومحرك البحث والمساعد الرقمي. 

يحتوي أحدث إصدار من برنامج Go-play ، والذي أنشأته DeepMind في ديسمبر 2021 ، على 280 مليار معلمة. تحتوي نماذج Google Switch-Transformer-GLaM على 1 تريليون و 1.2 تريليون معلمة على التوالي. يعد Wu Dao 2.0 من أكاديمية بكين للذكاء الاصطناعي أكثر ضخامة وقد ورد أنه يحتوي على 1.75 تريليون معلمة. مع استمرار المدن الذكية والأتمتة في دفع الاضطرابات ، فإن الخبراء غير متأكدين من الكيفية التي ستدعم بها حوسبة الذكاء الاصطناعي مثل هذا المستقبل. 

الآثار المترتبة على نماذج الذكاء الاصطناعي الضخمة

قد تشمل الآثار الأوسع لنماذج الذكاء الاصطناعي الضخمة ما يلي: 

• زيادة الاستثمارات والفرص في تطوير رقائق الكمبيوتر بالذكاء الاصطناعي التي تستهلك طاقة أقل. 
• تباطأ تقدم الذكاء الاصطناعي بسبب نقص قوة الحوسبة ، مما أدى إلى مزيد من التمويل لتقنيات وحلول الحفاظ على الطاقة.
• يقوم مطورو ML بإنشاء نماذج بديلة بخلاف المحولات ، والتي يمكن أن تؤدي إلى الاكتشافات والابتكار لخوارزميات أكثر كفاءة.
• تركز حلول الذكاء الاصطناعي على المشكلات التي تتمحور حول التطبيق ، وتعديل الحساب وفقًا لذلك أو التعديل حسب الحاجة بدلاً من مجرد تكبير.
• تسمح مجموعات البيانات الأكثر تعقيدًا لبرامج الذكاء الاصطناعي بأداء تنبؤات أفضل ، بما في ذلك توقعات الطقس ، واكتشاف الفضاء ، والتشخيصات الطبية ، والتجارة الدولية.

أسئلة للتعليق عليها

• إذا كنت تعمل في قطاع الذكاء الاصطناعي ، فما هو بعض التقدم في تطوير نماذج تعلم أفضل؟
• ما هي الفوائد المحتملة الأخرى للنماذج التي تحتوي على بيانات تدريب مكثفة للتعلم منها؟