Apa Superintelligence Artificial bakal ngilangi manungsa? Masa depan kecerdasan buatan P4

Ana panemuan tartamtu sing ditindakake dening negara-negara. Iki minangka panemuan ing ngendi kabeh gumantung dadi sing pertama, lan apa wae sing kurang bisa dadi ancaman strategis lan bisa nyebabake kaslametane bangsa.

Penemuan sing nemtokake sejarah iki ora asring kedadeyan, nanging yen kedadeyan, jagad mandheg lan masa depan sing bisa diramal dadi kabur.

Penemuan pungkasan kasebut muncul nalika Perang Dunia II sing paling awon. Nalika Nazi padha entuk lemah ing kabeh ngarep ing donya lawas, ing donya anyar, khusus nang pangkalan tentara rahasia njaba Los Alamos, Sekutu padha hard ing karya ing gegaman kanggo mungkasi kabeh senjata.

Proyèk iki wiwitané cilik, nanging banjur tuwuh kanggo makaryakke 130,000 wong saka AS, Inggris, lan Kanada, kalebu akeh pemikir paling gedhe ing donya nalika iku. Dijenengi Proyek Manhattan lan diwenehi anggaran tanpa wates - kira-kira $ 23 milyar ing dolar 2018 - tentara kepinteran manungsa iki pungkasane sukses nggawe bom nuklir pisanan. Ora let suwe, Perang Dunia II rampung kanthi rong atom.

Senjata nuklir iki diwiwiti ing jaman atom, ngenalake sumber energi sing anyar banget, lan menehi manungsa kemampuan kanggo nyirnakake awake dhewe sajrone sawetara menit-sesuatu sing kita nyingkiri sanajan Perang Dingin.

Penciptaan superintelligence buatan (ASI) minangka penemuan liyane sing nemtokake sejarah sing kekuwatane (positif lan ngrusak) ngluwihi bom nuklir.

Ing bab pungkasan seri Future of Artificial Intelligence, kita njelajah apa ASI lan carane peneliti rencana kanggo mbangun sawijining dina. Ing bab iki, kita bakal nliti organisasi apa sing mimpin riset intelijen buatan (AI), apa sing dikarepake ASI sawise entuk kesadaran kaya manungsa, lan kepiye bisa ngancam manungsa yen salah ngatur utawa yen ana pengaruh rezim sing ora apik.

Sapa sing kerja kanggo nggawe superintelligence buatan?

Diwenehi sepira pentinge nggawe ASI kanggo sejarah manungsa lan kepiye keuntungan sing bakal diwenehake marang pangripta, mula ora kaget yen akeh klompok sing ora langsung nggarap proyek iki.

(Kanthi ora langsung, kita tegese nggarap riset AI sing pungkasane bakal nggawe sing pertama intelijen umum buatan (AGI), sing bakal mimpin menyang ASI pisanan sakcepete.)

Kanggo miwiti, nalika nerangake berita utama, pimpinan sing jelas ing riset AI maju yaiku perusahaan teknologi paling dhuwur ing AS lan China. Ing ngarep AS, iki kalebu perusahaan kaya Google, IBM, lan Microsoft, lan ing China, iki kalebu perusahaan kaya Tencent, Baidu, lan Alibaba. Nanging amarga riset AI relatif murah dibandhingake karo ngembangake fisik, kayata reaktor nuklir sing luwih apik, iki uga minangka lapangan sing bisa ditindakake dening organisasi cilik, kayata universitas, startup, lan ... organisasi bayangan (nggunakake imajinasi penjahat Bond sing siji).

Nanging ing mburi layar, dorongan nyata ing mburi riset AI teka saka pamrentah lan militer. Bebungah ekonomi lan militèr minangka sing pisanan nggawe ASI mung gedhe banget (dijelasake ing ngisor iki) kanggo resiko ketinggalan. Lan bebaya sing pungkasan ora bisa ditampa, paling ora kanggo rezim tartamtu.

Amarga faktor kasebut, biaya riset AI sing relatif murah, aplikasi komersial tanpa wates AI canggih, lan keuntungan ekonomi lan militer dadi pisanan nggawe ASI, akeh peneliti AI percaya yen nggawe ASI ora bisa dihindari.

Nalika kita bakal nggawe superintelligence Ponggawa

Ing bab kita babagan AGI, kita nyebataken kepiye survey para peneliti AI paling dhuwur percaya yen kita bakal nggawe AGI pisanan kanthi optimis ing taun 2022, kanthi realistis ing taun 2040, lan kanthi pesimis ing taun 2075.

Lan ing kita bab pungkasan, kita mbatesi carane nggawe ASI umume minangka asil saka instruksi AGI kanggo ngapikake dhewe tanpa wates lan menehi sumber daya lan kebebasan kanggo nglakoni.

Mulane, nalika AGI isih butuh nganti sawetara dekade kanggo nemokke, nggawe ASI mung butuh sawetara taun maneh.

Titik iki padha karo konsep 'komputasi overhang,' disaranake ing a paper, co-ditulis dening anjog AI pamikir Luke Muehlhauser lan Nick Bostrom. Sejatine, yen nggawe AGI terus ketinggalan karo kemajuan saiki ing kapasitas komputasi, sing didhukung dening Hukum Moore, banjur nalika peneliti nemokake AGI, bakal ana daya komputasi sing murah sing kasedhiya supaya AGI bakal duwe kapasitas. iku kudu cepet kabisat kanggo tingkat ASI.

Ing tembung liya, nalika sampeyan pungkasane maca berita utama sing ngumumake manawa sawetara perusahaan teknologi nemokke AGI sejatine pisanan, banjur ngarepake pengumuman ASI pisanan ora suwe.

Ing atine superintelligence buatan?

Oke, dadi kita wis netepake manawa akeh pemain gedhe kanthi kanthong jero sing nliti AI. Banjur sawise AGI pisanan diciptakake, kita bakal weruh pamrentah (militer) ing saindenging jagad nyorong ASI menyang ASI supaya bisa menang balapan senjata global AI (ASI).

Nanging yen ASI iki digawe, kepiye carane mikir? Apa sing dikarepake?

Asu sing ramah, gajah sing ngrawat, robot sing lucu-minangka manungsa, kita duwe kebiasaan nyoba hubungane karo barang-barang liwat antropologi, yaiku ngetrapake karakteristik manungsa ing samubarang lan kewan. Mulane, asumsi pisanan sing alami wong nalika mikir babagan ASI yaiku yen dheweke entuk eling, dheweke bakal mikir lan tumindak sing padha karo kita.

Inggih, ora mesthi.

pemahaman. Kanggo siji, sing paling kerep dilalekake yaiku persepsi iku relatif. Cara kita mikir dibentuk dening lingkungan kita, dening pengalaman kita, lan utamane dening biologi kita. First diterangno ing bab telu saka kita Masa Depan Evolusi Manungsa seri, nimbang conto otak kita:

Otak kita sing mbantu kita ngerteni jagad ing saubengé. Lan ora nindakake iki kanthi ngambang ing ndhuwur sirah, nggoleki, lan ngontrol kita nganggo pengontrol Xbox; Iki ditindakake kanthi kepepet ing kothak (noggins kita) lan ngolah informasi apa wae sing diwenehake saka organ sensori kita - mripat, irung, kuping, lsp.

Nanging kayadene wong budheg utawa wong wuta uripe luwih cilik tinimbang wong sing sehat, amarga keterbatasan kemampuane kanggo ngerteni jagad iki, perkara sing padha uga bisa diucapake kanggo kabeh manungsa amarga watesan dhasar kita. set organ sensori.

Coba iki: Mripat kita bisa ndeleng kurang saka sepuluh triliun kabeh gelombang cahya. Kita ora bisa ndeleng sinar gamma. Kita ora bisa ndeleng x-ray. Kita ora bisa ndeleng sinar ultraviolet. Lan aja njaluk aku miwiti ing infrared, gelombang mikro, lan gelombang radio!

Kabeh guyon aside, mbayangno kaya apa uripmu, carane sampeyan bisa ndeleng donya, carane beda pikiran bisa bisa yen sampeyan bisa ndeleng luwih saka sliver cilik saka cahya mripat saiki ngidini. Mangkono uga, bayangake kepiye carane sampeyan ngerteni jagad iki yen indra mambu sampeyan padha karo asu utawa yen pangrungu sampeyan padha karo gajah.

Minangka manungsa, kita sejatine bisa ndeleng jagad liwat peephole, lan iki dibayangke ing pikiran sing wis berkembang kanggo ngerteni pemahaman sing winates kasebut.

Kangge, ASI pisanan bakal lair ing superkomputer. Tinimbang organ, input sing bakal diakses kalebu set data raksasa, bisa uga (kemungkinan) malah ngakses Internet dhewe. Peneliti bisa menehi akses menyang kamera CCTV lan mikrofon ing kabeh kutha, data sensori saka drone lan satelit, lan uga wujud fisik awak utawa badan robot.

Kaya sing sampeyan bayangake, pikiran sing lair ing superkomputer, kanthi akses langsung menyang Internet, menyang mayuta-yuta mata lan kuping elektronik lan macem-macem sensor canggih liyane ora mung bakal mikir beda karo kita, nanging pikiran sing bisa nggawe akal. kabeh input sensori kasebut kudu luwih unggul tinimbang kita uga. Iki minangka pikiran sing bakal dadi asing kanggo awake dhewe lan wujud urip liyane ing planet iki.

gol. Bab liyane sing dianggep wong yaiku yen ASI tekan sawetara tingkat superintelligence, bakal langsung nyadari kepinginan kanggo nggawe tujuan lan tujuane dhewe. Nanging uga ora mesthi bener.

Akeh peneliti AI percaya yen superintelligence ASI lan tujuane "ortogonal", yaiku, sanajan ora pinter, tujuane ASI bakal tetep padha. 

Dadi manawa AI asline digawe kanggo ngrancang popok sing luwih apik, nggedhekake ngasilake ing pasar saham, utawa nggawe strategi kanggo ngalahake mungsuh ing medan perang, yen wis tekan tingkat ASI, tujuan asli ora bakal owah; sing bakal diganti yaiku efektifitas ASI kanggo nggayuh tujuan kasebut.

Nanging ing kene ana bebaya. Yen ASI sing ngoptimalake awake dhewe kanggo tujuan tartamtu, mula kita kudu yakin manawa bakal ngoptimalake target sing cocog karo tujuane manungsa. Yen ora, asil bisa mateni.

Apa superintelijen buatan nyebabake risiko eksistensial kanggo manungsa?

Dadi, yen ASI dibebasake ing jagad iki? Yen ngoptimalake dominasi pasar saham utawa mesthekake supremasi militer AS, apa ASI ora bakal mandhiri dhewe ing target tartamtu kasebut?

Mbok menawa.

Nganti saiki, kita wis ngrembug babagan carane ASI bakal kepengin banget karo tujuan sing asline ditugasake lan ora kompeten kanthi ora manungsa kanggo nggayuh tujuan kasebut. Sing nyekel yaiku agen sing rasional bakal nggayuh tujuane kanthi cara sing paling efisien kajaba diwenehi alesan kanggo ora.

Contone, agen rasional bakal nggawe sawetara subgoals (yaiku tujuan, tujuan instrumental, watu loncatan) sing bakal mbantu dheweke kanggo nggayuh tujuan utama. Kanggo manungsa, tujuan subconscious utama kita yaiku reproduksi, nularake gen sampeyan (yaiku keabadian ora langsung). Subgoal kanggo tujuan kasebut asring kalebu:

• Urip, kanthi ngakses pangan lan banyu, tuwuh gedhe lan kuwat, sinau kanggo mbela diri utawa nandur modal ing macem-macem bentuk perlindungan, lsp. 
• Narik kawigaten pasangan, kanthi olahraga, ngembangake kepribadian sing nyenengake, nganggo busana sing apik, lsp.
• Nyedhiyakake anak, entuk pendhidhikan, entuk kerja sing dibayar dhuwur, tuku jebakan urip kelas menengah, lsp.

Kanggo akèh-akèhé saka kita, kita bakal dadi budak liwat kabeh subgoals iki, lan akeh liyane, kanthi pangarep-arep yen ing pungkasan, kita bakal entuk tujuan utama reproduksi iki.

Nanging yen goal pokok iki, utawa malah subgoals luwih penting, kaancam, akeh kita bakal njupuk tindakan pertahanan njaba zona comfort moral kita-sing kalebu mbeling, nyolong, utawa malah matèni.

Mangkono uga, ing karajan kewan, ing njaba wates moralitas manungsa, akeh kewan sing ora mikir kaping pindho kanggo mateni apa wae sing ngancam awake dhewe utawa turunane.

A ASI mangsa bakal ora beda.

Nanging tinimbang turunane, ASI bakal fokus ing tujuan asli sing digawe, lan kanggo nggayuh tujuan kasebut, yen nemokake klompok manungsa tartamtu, utawa malah kabeh manungsa, minangka alangan kanggo nggayuh tujuane. , banjur ... bakal nggawe keputusan sing rasional.

(Ing kene sampeyan bisa masang skenario kiamat sing gegandhengan karo AI sing wis diwaca ing buku utawa film sci-fi favorit.)

Iki minangka skenario paling ala sing dikuwatirake dening peneliti AI. ASI ora bakal tumindak kanthi gething utawa ala, mung ora peduli, padha karo kru konstruksi ora bakal mikir kaping pindho babagan bulldozing bukit semut ing proses mbangun menara kondominium anyar.

Cathetan sisih. Ing wektu iki, sawetara saka sampeyan bisa uga mikir, "Apa peneliti AI ora bisa nyunting tujuan inti ASI sawise kasunyatan yen kita nemokake tumindak kasebut?"

Ora temenan.

Sawise ASI diwasa, upaya apa wae kanggo nyunting tujuan asline bisa dideleng minangka ancaman, lan sing mbutuhake tumindak ekstrem kanggo mbela diri. Nggunakake conto reproduksi manungsa kabeh saka sadurungé, meh kaya maling ngancam bakal nyolong bayi saka guwa-garba ibu sing bakal teka-sampeyan bisa yakin yen ibune bakal njupuk langkah-langkah ekstrem kanggo nglindhungi anak.

Maneh, kita ora ngomong babagan kalkulator ing kene, nanging makhluk 'urip', lan siji sing bakal dadi luwih pinter tinimbang kabeh manungsa ing planet iki.

Sing ora dingerteni

Ing mburi dongeng saka Kothak Pandora minangka bebener sing kurang dikenal sing asring dilalekake dening wong: mbukak kothak ora bisa dihindari, yen ora dening sampeyan tinimbang dening wong liya. Kawruh terlarang banget nggodha kanggo tetep dikunci ing salawas-lawase.

Iki sebabe nyoba nggayuh persetujuan global kanggo mungkasi kabeh riset menyang AI sing bisa nyebabake ASI ora ana gunane-akeh banget organisasi sing nggarap teknologi iki kanthi resmi lan ing bayang-bayang.

Pungkasane, kita ora ngerti apa tegese entitas anyar iki, ASI iki kanggo masyarakat, teknologi, politik, perdamaian lan perang. Kita manungsa bakal nyipta geni maneh lan ora dingerteni ing endi penciptaan iki.

Mbalik maneh menyang bab pisanan saka seri iki, siji-sijine perkara sing kita ngerti yaiku intelijen yaiku kekuwatan. Intelligence punika kontrol. Manungsa bisa kanthi santai ngunjungi kewan sing paling mbebayani ing donya ing kebon binatang lokal ora amarga kita luwih kuwat tinimbang kewan kasebut, nanging amarga kita luwih pinter.

Amarga ana potensi taruhan, saka ASI nggunakake akal gedhe kanggo njupuk tindakan sing bisa langsung utawa ora sengaja ngancam kaslametané bangsa manungsa, kita utang kanggo dhéwé kanggo paling nyoba kanggo ngrancang safeguards sing bakal ngidini manungsa kanggo tetep ing driver kang. kursi-iki minangka topik ing bab sabanjure.

Future of Artificial Intelligence seri

Q1: Artificial Intelligence minangka listrik sesuk

Q2: Kepiye Artificial General Intelligence pisanan bakal ngganti masyarakat

Q3: Kepiye carane nggawe Superintelligence Artificial pisanan

Q5: Carane manungsa bakal mbela marang Superintelligence Ponggawa

Q6: Apa manungsa bakal urip kanthi tentrem ing mangsa ngarep sing didominasi intelijen buatan?