סופּערסייזד אַי מאָדעלס: ריז קאַמפּיוטינג סיסטעמען דערגרייכן די שפּיץ פונט

• וועגן דעם מחבר
• מחבר נאָמען

  קוואַנטומרון פאָרסייט
• יוני קסנומקס, קסנומקס

זינט 2012, באַטייטיק אַדוואַנסיז אין קינסטלעך סייכל (AI) האָבן פארגעקומען קעסיידער, דער הויפּט געטריבן דורך ינקריסינג קאַמפּיוטינג מאַכט ("קאַמפּיוט" פֿאַר קורץ). איינער פון די ביגאַסט מאָדעלס, לאָנטשט אין 2020, יוטאַלייזד 600,000 מאל מער קאָמפּיוטער ווי דער ערשטער מאָדעל פון 2012. רעסעאַרטשערס אין OpenAI באמערקט דעם גאַנג אין 2018 און געווארנט אַז דער וווּקס קורס וואָלט נישט זיין סאַסטיינאַבאַל פֿאַר לאַנג.

סופּערסייזד אַי מאָדעלס קאָנטעקסט

פילע מאַשין לערנען (ML) דעוועלאָפּערס נוצן טראַנספאָרמער מאָדעלס פֿאַר טיף לערנען (DL) ווייַל פון זייער פּאָנעם לימאַטלאַס פּאָטענציעל. ביישפילן פון די מאָדעלס אַרייַננעמען גענעראַטיווע פאַר-טריינד טראַנספאָרמער 2 (GPT-2), GPT-3, ביידירעקטיאָנאַל ענקאָדער רעפּרעסענטאַטיאָנס פון טראַנספאָרמערס (BERT), און Turing Natural Language Generation (NLG). די אַלגערידאַמז אָפט האָבן פאַקטיש-וועלט אַפּלאַקיישאַנז אַזאַ ווי מאַשין איבערזעצונג אָדער צייט סעריע פאָרויסזאָגן. 

קינסטלעך סייכל מאָדעס האָבן צו יקספּאַנד צו אַקאַמאַדייט מער טריינינג דאַטן און ווערן בעסער אין פֿאָרויסזאָגן. די פאָדערונג האט געפֿירט צו די העכערונג פון סופּערסייזד מאָדעלס מיט ביליאַנז פון פּאַראַמעטערס (וועריאַבאַלז געניצט דורך אַלגערידאַמז צו מאַכן פֿאָרויסזאָגן). די מאָדעלס זענען רעפּריזענטיד דורך OpenAI's GPT-3 (און זיין ChatGPT ינטעראַקשאַן לאָנטשט אין דעצעמבער 2022), טשיינאַ-באזירט PanGu-alpha, Nvidia's Megatron-Turing NLG און DeepMind's Gopher. אין 2020, טריינינג GPT-3 פארלאנגט אַ סופּערקאַמפּיוטער וואָס איז געווען צווישן די פינף גרעסטער אין דער וועלט. 

אָבער, די מאָדעלס טענד צו דאַרפן מאַסיוו אַמאַונץ פון ענערגיע-אינטענסיווע טריינינג דאַטן. טיף לערנען איז אָפענגען אויף זיין פיייקייט צו נוצן ריזיק קאַמפּיוטינג מאַכט, אָבער דאָס וועט באַלד טוישן. טראַינינג איז טייַער, עס זענען לימאַץ צו אַי טשיפּס, און טריינינג גרויס מאָדעלס קלאָגז פּראַסעסערז, וואָס מאכט עס שווער צו פירן זיי אַלע. די גרעסערע די פּאַראַמעטער, די טייַער עס איז צו באַן די מאָדעלס. עקספּערץ שטימען אַז עס וועט קומען אַ פונט ווו סופּערסייזד אַי מאָדעלס קען ווערן צו טייַער און ענערגיע-אינטענסיווע צו באַן. 

דיסראַפּטיוו פּראַל

אין 2020, OpenAI עסטימאַטעד די מינימום סומע פון ​​​​קאַמפּיוט וואָס איז פארלאנגט צו באַן פילע מאָדעלס, באזירט אויף די נומער פון פּאַראַמעטערס און די גרייס פון דאַטן. די יקווייזשאַנז רעכענען ווי ML ריקווייערז אַז דאַטן צו פאָרן דורך די נעץ פילע מאָל, ווי די קאַמפּיוטינג פֿאַר יעדער פאָרן ריסעס ווי די נומער פון פּאַראַמעטערס ינקריסיז, און ווי פיל דאַטן איז דארף ווי די נומער פון פּאַראַמעטערס וואקסט.

לויט צו עפֿענען אַי עסטאַמאַץ, אַסומינג אַז דעוועלאָפּערס קענען דערגרייכן מאַקסימום עפעקטיווקייַט, בנין GPT-4 (100 מאל ביגער ווי GPT-3 (17.5 טריליאַן פּאַראַמעטערס)) וואָלט דאַרפן 7,600 גראַפיקס פּראַסעסינג וניץ (גפּוס) פליסנדיק פֿאַר בייַ מינדסטער איין יאָר און קאָסטן בעערעך $ 200 מיליאָן. א 100-טריליאַן פּאַראַמעטער מאָדעל וואָלט דאַרפֿן 83,000 גפּוס צו מאַכט עס פֿאַר אַ יאָר, קאָסטינג מער ווי $ 2 ביליאָן.

פונדעסטוועגן, טעק פירמס האָבן קאַלאַבערייטיד און גיסן ינוועסטמאַנץ אין זייער טאָמיד-יקספּאַנדינג סופּערסיזעד אַי מאָדעלס ווי די פאָדערונג פֿאַר ML סאַלושאַנז וואקסט. פֿאַר בייַשפּיל, טשיינאַ-באזירט באַידו און די פּענג טשענג לאַב באפרייט PCL-BAIDU Wenxin, מיט 280 ביליאָן פּאַראַמעטערס. PCL-BAIDU איז שוין געניצט דורך Baidu ס נייַעס פידז, זוכן מאָטאָר און דיגיטאַל אַסיסטאַנט. 

די לעצטע ווערסיע פון ​​​​גאָ-פּלייינג פּראָגראַם, וואָס DeepMind באשאפן אין דעצעמבער 2021, האט 280 ביליאָן פּאַראַמעטערס. די Google Switch-Transformer-GLaM מאָדעלס האָבן ריספּעקטיוולי ריספּעקטיוולי 1 טריליאַן און 1.2 טריליאַן פּאַראַמעטערס. Wu Dao 2.0 פון די בעידזשינג אַקאַדעמי פון אַי איז אפילו מער מאַסיוו און איז רעפּאָרטעד צו האָבן 1.75 טריליאַן פּאַראַמעטערס. ווי קלוג שטעט און אָטאַמיישאַן פאָרזעצן צו שטופּן דיסראַפּשאַנז, עקספּערץ זענען נישט זיכער ווי אַי קאַמפּיוט וועט שטיצן אַזאַ אַ צוקונפֿט. 

ימפּלאַקיישאַנז פון סופּערסיזעד אַי מאָדעלס

ברייטער ימפּלאַקיישאַנז פון סופּערסיזעד אַי מאָדעלס קען אַרייַננעמען: 

• געוואקסן ינוועסטמאַנץ און אַפּערטונאַטיז אין דעוועלאָפּינג אַי קאָמפּיוטער טשיפּס וואָס פאַרנוצן ווייניקער ענערגיע. 
• אַי פּראָגרעס סלאָוד אַראָפּ דורך די פעלן פון קאַמפּיוטינג מאַכט, לידינג צו מער פאַנדינג פֿאַר ענערגיע-קאַנסערווייטינג טעקנאַלאַדזשיז און סאַלושאַנז.
• ML דעוועלאָפּערס קריייטינג אָלטערנאַטיוו מאָדעלס באַזונדער פון טראַנספאָרמערס, וואָס קענען פירן צו דיסקאַוועריז און כידעש פֿאַר מער עפעקטיוו אַלגערידאַמז.
• אַי סאַלושאַנז פאָוקיסינג אויף אַפּלאַקיישאַן-סענטריק פּראָבלעמס, אַדזשאַסטינג קאַמפּיוט אַקאָרדינגלי אָדער מאָדיפיצירן ווי דארף אַנשטאָט פון נאָר סופּערסיזינג.
• מער קאָמפּליצירט דאַטאַסעץ אַלאַוינג אַי מגילה צו דורכפירן בעסער פֿאָרויסזאָגן, אַרייַנגערעכנט וועטער פאָרקאַסץ, פּלאַץ ופדעקונג, מעדיציניש דיאַגנאָסיז און אינטערנאַציאָנאַלע טריידינג.

פראגעס צו באַמערקן אויף

• אויב איר אַרבעט אין די אַי סעקטאָר, וואָס זענען עטלעכע פּראָגרעס אין דעוועלאָפּינג בעסער ML מאָדעלס?
• וואָס זענען די אנדערע פּאָטענציעל בענעפיץ פון מאָדעלס מיט ברייט טריינינג דאַטן צו לערנען פון?