Böyük ölçülü AI modelləri: Nəhəng hesablama sistemləri uçma nöqtəsinə çatır

• Author:
• Author adı

  Quantumrun Uzaqgörməsi
• İyun 2, 2023

2012-ci ildən bəri süni intellektdə (AI) əhəmiyyətli irəliləyişlər mütəmadi olaraq baş verir, əsasən hesablama gücünün artırılması (“qısaca hesablama”). 2020-ci ildə bazara çıxarılan ən böyük modellərdən biri 600,000-ci ildəki ilk modeldən 2012 dəfə çox hesablamadan istifadə edib. OpenAI tədqiqatçıları 2018-ci ildə bu tendensiyanı qeyd ediblər və bu artım tempinin uzun müddət davam etməyəcəyi barədə xəbərdarlıq ediblər.

Böyük ölçülü AI modelləri konteksti

Bir çox maşın öyrənməsi (ML) tərtibatçıları, zahirən sonsuz potensiallarına görə dərin öyrənmə (DL) üçün transformator modellərindən istifadə edirlər. Bu modellərə misal olaraq Generativ Əvvəlcədən Təlim edilmiş Transformator 2 (GPT-2), GPT-3, Transformatorlardan Bidirectional Encoder Representations (BERT) və Turing Natural Language Generation (NLG) daxildir. Bu alqoritmlər tez-tez maşın tərcüməsi və ya zaman sıralarının proqnozlaşdırılması kimi real dünya tətbiqlərinə malikdir. 

Süni intellekt rejimləri daha çox təlim məlumatlarını yerləşdirmək və proqnozlarda daha yaxşı olmaq üçün genişlənməlidir. Bu tələb milyardlarla parametrli (proqnozlar vermək üçün alqoritmlər tərəfindən istifadə olunan dəyişənlər) böyük ölçülü modellərin artmasına səbəb olmuşdur. Bu modellər OpenAI-nin GPT-3 (və onun ChatGPT qarşılıqlı əlaqəsi 2022-ci ilin dekabrında başlamışdır), Çində əsaslanan PanGu-alpha, Nvidia-nın Megatron-Turing NLG və DeepMind-in Gopher ilə təmsil olunur. 2020-ci ildə GPT-3 təlimi üçün dünyanın beş ən böyük kompüterindən biri olan superkompüter tələb olunurdu. 

Bununla belə, bu modellər böyük miqdarda enerji tutumlu təlim məlumatlarını tələb edir. Dərin öyrənmə onun böyük hesablama gücündən istifadə etmək qabiliyyətindən asılı idi, lakin bu, tezliklə dəyişəcək. Təlim bahalıdır, süni intellekt çiplərinə məhdudiyyətlər var və böyük modellərin təlimi prosessorları bağlayır və onların hamısını idarə etməyi çətinləşdirir. Parametr nə qədər böyükdürsə, bu modelləri hazırlamaq bir o qədər baha başa gəlir. Mütəxəssislər razılaşırlar ki, böyük ölçülü süni intellekt modelləri məşq etmək üçün çox bahalı və enerji tutumlu ola biləcək bir məqam gələcək. 

Dağıdıcı təsir

2020-ci ildə OpenAI, parametrlərin sayı və verilənlər bazasının ölçüsünü nəzərə alaraq, çoxsaylı modelləri hazırlamaq üçün tələb olunan minimum hesablama miqdarını təxmin etdi. Bu tənliklər ML-nin bu verilənlərin şəbəkədən dəfələrlə keçməsini necə tələb etdiyini, parametrlərin sayı artdıqca hər keçid üçün hesablamanın necə artdığını və parametrlərin sayı artdıqca nə qədər məlumat tələb olunduğunu nəzərə alır.

Open AI hesablamalarına görə, tərtibatçıların maksimum səmərəliliyə nail ola biləcəyini fərz etsək, GPT-4 (GPT-100-dən 3 dəfə böyük (17.5 trilyon parametr)) qurmaq üçün ən azı bir il işləyən 7,600 qrafik emal vahidi (GPU) tələb olunacaq və təxminən başa gələcək. 200 milyon ABŞ dolları. 100 trilyon parametrli bir modelin bir il ərzində işləməsi üçün 83,000 GPU lazımdır ki, bu da 2 milyard ABŞ dollarından çox başa gəlir.

Buna baxmayaraq, texnoloji firmalar əməkdaşlıq edir və ML həllərinə tələbat artdıqca daim genişlənən supersiz AI modellərinə sərmayələr yatırırlar. Məsələn, Çində yerləşən Baidu və Peng Cheng Laboratoriyası 280 milyard parametrlə PCL-BAIDU Wenxin-i buraxdı. PCL-BAIDU artıq Baidu-nun xəbər lentləri, axtarış sistemi və rəqəmsal köməkçisi tərəfindən istifadə olunur. 

DeepMind-in 2021-ci ilin dekabrında yaratdığı ən son Go-playing proqramının versiyası 280 milyard parametrə malikdir. Google Switch-Transformer-GLaM modelləri müvafiq olaraq heyrətamiz 1 trilyon və 1.2 trilyon parametrə malikdir. Pekin Süni İntellekt Akademiyasından Wu Dao 2.0 daha böyükdür və 1.75 trilyon parametrə malik olduğu bildirilir. Ağıllı şəhərlər və avtomatlaşdırma fasilələri artırmağa davam etdikcə, ekspertlər süni intellekt hesablamalarının belə bir gələcəyi necə dəstəkləyəcəyinə əmin deyillər. 

Böyük ölçülü AI modellərinin nəticələri

Böyük ölçülü AI modellərinin daha geniş təsirləri aşağıdakıları əhatə edə bilər: 

• Daha az enerji istehlak edən süni intellekt kompüter çiplərinin hazırlanmasında artan investisiyalar və imkanlar. 
• Süni intellektin inkişafı hesablama gücünün olmaması səbəbindən yavaşladı və enerjiyə qənaət edən texnologiyalar və həllər üçün daha çox maliyyələşdirməyə səbəb oldu.
• ML tərtibatçıları transformatorlardan başqa, daha səmərəli alqoritmlər üçün kəşflərə və yeniliklərə səbəb ola biləcək alternativ modellər yaradırlar.
• Tətbiq mərkəzli problemlərə diqqət yetirən, hesablamanı müvafiq olaraq tənzimləyən və ya sadəcə böyükləşdirmək əvəzinə lazım olduqda dəyişdirən AI həlləri.
• Süni intellekt proqramlarına hava proqnozları, kosmik kəşflər, tibbi diaqnozlar və beynəlxalq ticarət daxil olmaqla daha yaxşı proqnozlar verməyə imkan verən daha mürəkkəb verilənlər bazası.

Şərh etmək üçün suallar

• Əgər AI sektorunda işləyirsinizsə, daha yaxşı ML modellərinin hazırlanmasında hansı irəliləyişlər var?
• Öyrənmək üçün geniş təlim məlumatlarına malik modellərin digər potensial faydaları hansılardır?