సూపర్‌సైజ్ చేయబడిన AI మోడల్‌లు: జెయింట్ కంప్యూటింగ్ సిస్టమ్‌లు టిపింగ్ పాయింట్‌కి చేరుకుంటున్నాయి

• రచయిత గురించి:
• రచయిత పేరు

  క్వాంటమ్రన్ దూరదృష్టి
• జూన్ 2, 2023

2012 నుండి, ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ (AI)లో గణనీయమైన పురోగతులు క్రమం తప్పకుండా జరుగుతూనే ఉన్నాయి, ప్రధానంగా కంప్యూటింగ్ శక్తిని పెంచడం (సంక్షిప్తంగా "కంప్యూట్") ద్వారా నడపబడుతున్నాయి. 2020లో ప్రారంభించబడిన అతిపెద్ద మోడల్‌లలో ఒకటి, 600,000 నుండి మొదటి మోడల్ కంటే 2012 రెట్లు ఎక్కువ గణనను ఉపయోగించింది. OpenAI పరిశోధకులు 2018లో ఈ ధోరణిని గుర్తించారు మరియు ఈ వృద్ధి రేటు ఎక్కువ కాలం నిలకడగా ఉండదని హెచ్చరించారు.

సూపర్సైజ్ చేయబడిన AI మోడల్స్ సందర్భం

చాలా మంది మెషీన్ లెర్నింగ్ (ML) డెవలపర్‌లు వారి అపరిమితమైన సంభావ్యత కారణంగా డీప్ లెర్నింగ్ (DL) కోసం ట్రాన్స్‌ఫార్మర్ మోడల్‌లను ఉపయోగిస్తున్నారు. ఈ మోడళ్లకు ఉదాహరణలలో జెనరేటివ్ ప్రీ-ట్రైన్డ్ ట్రాన్స్‌ఫార్మర్ 2 (GPT-2), GPT-3, ట్రాన్స్‌ఫార్మర్స్ (BERT) నుండి ద్వి దిశాత్మక ఎన్‌కోడర్ రిప్రజెంటేషన్స్ మరియు ట్యూరింగ్ నేచురల్ లాంగ్వేజ్ జనరేషన్ (NLG) ఉన్నాయి. ఈ అల్గారిథమ్‌లు తరచుగా మెషిన్ ట్రాన్స్‌లేషన్ లేదా టైమ్ సిరీస్ ప్రిడిక్షన్ వంటి వాస్తవ-ప్రపంచ అనువర్తనాలను కలిగి ఉంటాయి. 

కృత్రిమ మేధస్సు మోడ్‌లు మరింత శిక్షణ డేటాను అందించడానికి మరియు అంచనాల వద్ద మెరుగ్గా మారడానికి విస్తరించాలి. ఈ ఆవశ్యకత బిలియన్ల కొద్దీ పారామితులతో (అంచనా వేయడానికి అల్గారిథమ్‌లు ఉపయోగించే వేరియబుల్స్) సూపర్‌సైజ్డ్ మోడల్‌ల పెరుగుదలకు దారితీసింది. ఈ మోడల్‌లను OpenAI యొక్క GPT-3 (మరియు దాని ChatGPT ఇంటరాక్షన్ డిసెంబర్ 2022లో ప్రారంభించబడింది), చైనా ఆధారిత PanGu-alpha, Nvidia's Megatron-Turing NLG మరియు DeepMind's Gopher ద్వారా ప్రాతినిధ్యం వహిస్తుంది. 2020లో, శిక్షణ GPT-3కి ప్రపంచంలోని ఐదు అతిపెద్ద కంప్యూటర్‌లలో ఒక సూపర్‌కంప్యూటర్ అవసరం. 

అయినప్పటికీ, ఈ మోడళ్లకు భారీ మొత్తంలో శక్తి-ఇంటెన్సివ్ శిక్షణ డేటా అవసరమవుతుంది. లోతైన అభ్యాసం అపారమైన గణన శక్తిని ఉపయోగించగల సామర్థ్యంపై ఆధారపడి ఉంటుంది, అయితే ఇది త్వరలో మారుతుంది. శిక్షణ ఖరీదైనది, AI చిప్‌లకు పరిమితులు ఉన్నాయి మరియు పెద్ద మోడళ్లకు శిక్షణ ఇవ్వడం ప్రాసెసర్‌లను అడ్డుకుంటుంది, వాటన్నింటిని నిర్వహించడం కష్టమవుతుంది. పెద్ద పరామితి, ఈ మోడళ్లకు శిక్షణ ఇవ్వడం ఖర్చుతో కూడుకున్నది. సూపర్‌సైజ్ చేయబడిన AI మోడల్‌లు చాలా ఖరీదైనవి మరియు శిక్షణ ఇవ్వడానికి శక్తి-ఇంటెన్సివ్‌గా మారే అవకాశం ఉందని నిపుణులు అంగీకరిస్తున్నారు. 

విఘాతం కలిగించే ప్రభావం

2020లో, OpenAI అనేక మోడళ్లకు శిక్షణ ఇవ్వడానికి అవసరమైన కనీస మొత్తం గణనను అంచనా వేసింది, పారామీటర్ల సంఖ్య మరియు డేటాసెట్ పరిమాణంలో కారకం. ఈ సమీకరణాలు MLకి ఆ డేటా నెట్‌వర్క్ గుండా అనేక సార్లు ఎలా పాస్ కావాలి, పారామీటర్‌ల సంఖ్య పెరిగేకొద్దీ ప్రతి పాస్‌కి గణన ఎలా పెరుగుతుంది మరియు పారామీటర్‌ల సంఖ్య పెరిగే కొద్దీ ఎంత డేటా అవసరమవుతుంది.

ఓపెన్ AI అంచనాల ప్రకారం, డెవలపర్‌లు గరిష్ట సామర్థ్యాన్ని సాధించగలరని ఊహిస్తే, GPT-4 (GPT-100 (3 ట్రిలియన్ పారామితులు) కంటే 17.5 రెట్లు పెద్దది) నిర్మించాలంటే కనీసం ఒక సంవత్సరం పాటు రన్నింగ్‌లో 7,600 గ్రాఫిక్స్ ప్రాసెసింగ్ యూనిట్లు (GPUలు) అవసరం మరియు సుమారుగా ఖర్చు అవుతుంది. USD $200 మిలియన్. 100-ట్రిలియన్ పారామీటర్ మోడల్‌కు ఒక సంవత్సరం పాటు శక్తిని అందించడానికి 83,000 GPUలు అవసరం, దీని ధర USD $2 బిలియన్ల కంటే ఎక్కువ.

ఏది ఏమైనప్పటికీ, ML సొల్యూషన్‌ల కోసం డిమాండ్ పెరుగుతున్నందున టెక్ సంస్థలు తమ ఎప్పటికప్పుడు విస్తరిస్తున్న సూపర్‌సైజ్డ్ AI మోడల్‌లలో సహకరించడం మరియు పెట్టుబడులు పెట్టడం ప్రారంభించాయి. ఉదాహరణకు, చైనా-ఆధారిత బైడు మరియు పెంగ్ చెంగ్ ల్యాబ్ 280 బిలియన్ పారామితులతో PCL-BAIDU వెన్క్సిన్‌ను విడుదల చేశాయి. PCL-BAIDU ఇప్పటికే Baidu యొక్క వార్తల ఫీడ్‌లు, శోధన ఇంజిన్ మరియు డిజిటల్ అసిస్టెంట్ ద్వారా ఉపయోగించబడుతోంది. 

DeepMind డిసెంబర్ 2021లో రూపొందించిన తాజా గో-ప్లేయింగ్ ప్రోగ్రామ్ వెర్షన్ 280 బిలియన్ పారామీటర్‌లను కలిగి ఉంది. Google Switch-Transformer-GLaM మోడల్‌లు వరుసగా 1 ట్రిలియన్ మరియు 1.2 ట్రిలియన్ పారామితులను కలిగి ఉన్నాయి. బీజింగ్ అకాడమీ ఆఫ్ AI నుండి వూ దావో 2.0 మరింత భారీగా ఉంది మరియు 1.75 ట్రిలియన్ పారామితులను కలిగి ఉన్నట్లు నివేదించబడింది. స్మార్ట్ నగరాలు మరియు ఆటోమేషన్ అంతరాయాలను పెంచుతూనే ఉన్నందున, AI కంప్యూట్ అటువంటి భవిష్యత్తుకు ఎలా మద్దతు ఇస్తుందో నిపుణులకు తెలియదు. 

సూపర్సైజ్ చేయబడిన AI మోడల్స్ యొక్క చిక్కులు

సూపర్సైజ్ చేయబడిన AI మోడల్స్ యొక్క విస్తృత చిక్కులు వీటిని కలిగి ఉండవచ్చు: 

• తక్కువ శక్తిని వినియోగించే AI కంప్యూటర్ చిప్‌లను అభివృద్ధి చేయడంలో పెరిగిన పెట్టుబడులు మరియు అవకాశాలు. 
• కంప్యూటింగ్ శక్తి లేకపోవడం వల్ల AI పురోగతి మందగించింది, ఇది ఇంధన-పొదుపు సాంకేతికతలు మరియు పరిష్కారాల కోసం మరిన్ని నిధులకు దారితీసింది.
• ML డెవలపర్లు ట్రాన్స్‌ఫార్మర్‌లను పక్కనబెట్టి ప్రత్యామ్నాయ నమూనాలను సృష్టిస్తున్నారు, ఇది మరింత సమర్థవంతమైన అల్గారిథమ్‌ల కోసం ఆవిష్కరణలు మరియు ఆవిష్కరణలకు దారి తీస్తుంది.
• అప్లికేషన్-సెంట్రిక్ సమస్యలపై దృష్టి సారించే AI పరిష్కారాలు, తదనుగుణంగా గణనను సర్దుబాటు చేయడం లేదా సూపర్‌సైజ్ చేయడానికి బదులుగా అవసరమైన విధంగా సవరించడం.
• వాతావరణ సూచనలు, అంతరిక్ష ఆవిష్కరణలు, వైద్య నిర్ధారణలు మరియు అంతర్జాతీయ వాణిజ్యంతో సహా మెరుగైన అంచనాలను నిర్వహించడానికి AI ప్రోగ్రామ్‌లను అనుమతించే మరింత సంక్లిష్టమైన డేటాసెట్‌లు.

వ్యాఖ్యానించడానికి ప్రశ్నలు

• మీరు AI విభాగంలో పనిచేస్తుంటే, మెరుగైన ML మోడల్‌లను అభివృద్ధి చేయడంలో కొన్ని పురోగతి ఏమిటి?
• విస్తృతమైన శిక్షణ డేటాను కలిగి ఉన్న మోడల్‌ల యొక్క ఇతర సంభావ్య ప్రయోజనాలు ఏమిటి?