Supersized AI exempla: Giant systemata computandi attingunt punctum tipping

• Ad Author:
• auctor nominis

  Quantumrun Praevidentia
• June 2, 2023

Cum 2012, progressus significantes in intelligentia artificiali (AI) regulariter evenerunt, maxime acti sunt augendo vim computandi ("computandi" pro brevi). Unum e maximis exemplaribus anno 2020 deductis adhibitum 600,000 vicibus plus computant quam primum exemplar ab MMXII. Investigatores in OpenAI hanc inclinationem anno 2012 notaverunt et monuerunt incrementum ratem diu sustineri non posse.

Supersized AI exempla contextu

Multae apparatus discendi (ML) tincidunt transformatorii exempla utuntur ad altam eruditionem (DL) propter potentiam infinitam in speciem. Exempla horum exemplorum includunt Generativum Praestructum Transformatorem 2 (GPT-2), GPT-3, Repraesentationes Bidirectionales Encoder Transformers (BERT), et Generationem Linguae Naturalis Turing (NLG). Hae algorithmi saepe applicationes reales mundi habent, ut machina translationis vel temporis seriei praedictionis. 

Modos artificiales intelligentiae habent dilatare ad notitias disciplinas plures accommodandas et meliores fiunt ad praedictiones. Haec postulatio induxit ut exemplorum supersizatorum cum billions parametri (variabilia ab algorithmis ad praedictiones adhibita) perduxisset. Exempla haec repraesentantur per OpenAI's GPT-3 (et eius commercium ChatGPT mense Decembri 2022) deductis, Sinarum PanGu-alpha fundatum, Megatron-Turing Nvidia NLG, et Gopher DeepMind. Anno 2020, institutio GPT-3 requirebat supercomputatorem qui inter quinque maximas in mundo erat. 

Sed exempla haec tendunt ad ingentes notitias energiae intensivae disciplinae requirere. Alta doctrina penderet ab eius facultate utendi permagna computandi potestate, sed hoc mox mutabitur. Disciplina cara est, limites ad AI chippis sunt, et magna exempla processus impedit et exercent, difficilem ad omnes administrandum. Quo maior modulus, eo pretiosior est exempla haec instituendi. Periti consentiunt locum futurum esse ubi AI exempla supersedentur, ut nimis sumptuosus et intensivus instituendi fiere possit. 

Disruptive impulsum

Anno 2020, OpenAI aestimavit minimum computationis quantitatem quam plurima exempla instituendi, factorem in numero parametri et magnitudine datarum. Hae aequationes rationi quomodo ML requirit notitias ut per retiaculum transeat toties, quomodo computatio singulis transeuntibus oritur quantum numerus parametri augetur, et quantum opus est notitia quantum numerus parametri crescit.

Secundum Open AI aestimat, si tincidunt maximam efficaciam consequi posse, aedificationem GPT-4 (100 temporibus maior quam GPT-3 (17.5 trillion parametri)) requireret 7,600 graphice unitates (GPUs) currentes pro uno saltem anno et circiter constant USD $CC decies centena millia. Exemplar 200-trillion parametri egeret 100 GPUs ut eam per annum valeret, plus quam USD $83,000 miliardis mercatus esset.

Nihilominus, firmae technicae collocationes collaborantes ac fundentes in exemplaribus suis AI supersedentibus semper expandentes, sicut postulatum ML solutionum adolescit. Exempli gratia, Sinarum fundatum Baidu et Peng Cheng Lab PCL-BAIDU Wenxin dimisit cum 280 miliardis parametris. PCL-BAIDU iam apud Baidu nuntium nutrit, inquisitionis machinam et adiutorem digitalem adhibet. 

Novissima programmatis versionis Go-ludens, quae DeepMind mense Decembri 2021 creavit, 280 miliarda parametri habet. Exempla Google Switch-Transformer-GLaM errantes 1 trillion et 1.2 trillion parametri habent, respectively. Wu Dao 2.0 in Beijing Academia AI plus etiam ponderis est et relatum est 1.75 trillion parametros habere. Ut dolor urbes et automation disruptionibus dis pergunt, periti incerta sunt quomodo AI computant talem futurum sustentaturum. 

Effectus supersized AI exempla

Latius effectus exempla AI supersedentibus includere potest: 

• Fenus et opportunitates auctae sunt in explicando AI computatrum chippis quae minus industriam consumunt. 
• AI progressus defectus computandi potentiae retardavit, ducens ad plus sumptu pro energiae technologiae et solutionis conservandae.
• ML tincidunt creandi exempla opposita ab transformatoribus, quae ad inventa et innovationem algorithmorum efficaciora ducere possunt.
• AI solutiones problematum applicationis-centricarum positos, accommodans computandum vel modificando prout opus fuerit pro modo supersinendo.
• Plures notulae implicatae permiserunt AI programmata ad meliora praesagia praestare, inclusa praenuntia tempestatum, inventionis spatium, diagnoses medicas, negotiationes internationales.

Quaestiones commentari

• Si laboras in regione AI AI, quid aliqui progressus in ML explicandis exemplaribus melioribus sunt?
• Quaenam sunt aliae potential utilitates exemplorum cum ampla disciplina notitias ad discendum?