Dupi hiji Superintelligence jieunan ngabasmi umat manusa? Masa depan kecerdasan jieunan P4

Aya sababaraha panemuan bangsa-bangsa anu nuju sadayana. Ieu mangrupikeun panemuan dimana sadayana gumantung kana anu munggaran, sareng naon waé anu kirang tiasa hartosna ancaman strategis sareng fana pikeun kasalametan bangsa.

Penemuan-penemuan anu ngahartikeun sajarah ieu henteu sering muncul, tapi nalika éta, dunya lirén sareng masa depan anu tiasa diprediksi janten kasaput halimun.

Penemuan anu terakhir muncul nalika WWII anu paling parah. Samentara Nazi meunang taneuh dina sagala fronts di dunya heubeul, di dunya anyar, husus di jero pangkalan tentara rusiah di luar Los Alamos, Sekutu éta teuas dina karya dina pakarang pikeun ngeureunkeun sagala pakarang.

Proyék ieu mimitina leutik, tapi teras janten padamelan 130,000 urang ti AS, Inggris, sareng Kanada, kalebet seueur pamikir anu paling hébat dina waktos éta. Kodena Proyék Manhattan sareng dibéré anggaran anu teu terbatas-kira-kira $ 23 milyar dina dolar 2018-tentara kapinteran manusa ieu pamustunganana suksés nyiptakeun bom nuklir anu munggaran. Teu lila ti harita, WWII dipungkas ku dua poni atom.

Pakarang nuklir ieu nuju dina jaman atom, ngenalkeun sumber énergi anu énggal, sareng masihan manusa kamampuan pikeun ngabasmi diri dina sababaraha menit-hal anu urang dihindari sanaos Perang Tiis.

Nyiptakeun superintelligence jieunan (ASI) mangrupikeun penemuan sajarah anu sanés anu kakuatanana (boh positip sareng ngaruksak) jauh ngaleuwihan bom nuklir.

Dina bab terakhir tina séri Future of Artificial Intelligence, urang ngajalajah naon éta ASI sareng kumaha panaliti ngarencanakeun pikeun ngawangun hiji dinten. Dina bab ieu, urang bakal ningali organisasi naon anu mingpin panalungtikan intelijen buatan (AI), naon anu dipikahoyong ku ASI saatos kasadaran sapertos manusa, sareng kumaha éta tiasa ngancem umat manusa upami diurus atanapi upami aya dina pangaruh rezim teu-kitu-nice.

Saha anu damel pikeun ngawangun superintelligence jieunan?

Dibikeun kumaha pentingna kreasi ASI pikeun sajarah manusa sareng sabaraha ageung kauntungan anu bakal masihan panyiptana, éta henteu heran ngadangu yén seueur kelompok anu henteu langsung ngerjakeun proyék ieu.

(Sacara henteu langsung, kami hartosna damel dina panalungtikan AI anu antukna bakal nyiptakeun anu munggaran intelijen umum buatan (AGI), éta sorangan bakal ngakibatkeun ASI munggaran saatosna.)

Pikeun ngamimitian, dina headline, pamimpin anu jelas dina panalungtikan AI canggih nyaéta firma téknologi luhur di AS sareng Cina. Di payuneun AS, ieu kalebet perusahaan sapertos Google, IBM, sareng Microsoft, sareng di Cina, ieu kalebet perusahaan sapertos Tencent, Baidu, sareng Alibaba. Tapi saprak nalungtik AI relatif murah dibandingkeun ngamekarkeun hal fisik, kawas reaktor nuklir hadé, ieu ogé widang nu organisasi leutik bisa bersaing di ogé, kawas universitas, startups, jeung ... organisasi shadowy (make imajinasi penjahat Bond Anjeun pikeun Anu éta).

Tapi di balik layar, dorongan nyata pikeun panalungtikan AI asalna ti pamaréntah sareng militérna. Hadiah ékonomi sareng militér janten anu pangheulana nyiptakeun ASI ageung teuing (digariskeun di handap) pikeun résiko mundur. Sareng bahaya anu terakhir henteu katampi, sahenteuna pikeun rezim anu tangtu.

Dibikeun faktor-faktor ieu, biaya anu kawilang rendah pikeun nalungtik AI, aplikasi komérsial anu teu terbatas tina AI canggih, sareng kauntungan ékonomi sareng militér janten pangheulana nyiptakeun ASI, seueur peneliti AI yakin yén nyiptakeun ASI henteu tiasa dihindari.

Iraha urang bakal nyiptakeun superintelligence jieunan

Dina bab kami ngeunaan AGI, kami nyarioskeun kumaha survey panaliti AI top yakin yén kami bakal nyiptakeun AGI munggaran sacara optimis ku 2022, sacara réalistis ku 2040, sareng sacara pesimis ku 2075.

Jeung di urang bab panungtungan, urang outlined kumaha nyieun hiji ASI umumna hasil tina instructing hiji AGI pikeun timer ngaronjatkeun diri infinitely jeung mere eta sumberdaya sarta kabebasan pikeun ngalakukeunana.

Ku sabab kitu, bari hiji AGI can butuh nepi ka sababaraha dasawarsa pikeun invent, nyieun hiji ASI bisa nyandak ngan sakeupeul taun leuwih.

Titik ieu sami sareng konsép 'komputasi overhang,' disarankeun dina hiji keretas, Co-ditulis ku ngarah pamikir AI Lukas Muehlhauser jeung Nick Bostrom. Dasarna, upami kreasi AGI teras-terasan katinggaleun kamajuan ayeuna dina kapasitas komputasi, dikuatkeun ku Hukum Moore, maka ku waktos panaliti nyiptakeun AGI, bakal aya kakuatan komputasi anu murah pisan anu AGI bakal ngagaduhan kapasitas. perlu gancang luncat ka tingkat ASI.

Dina basa sejen, mun anjeun tungtungna maca headline announcing yén sababaraha parusahaan tech nimukeun AGI leres munggaran, lajeng nyangka pengumuman tina ASI munggaran teu lila sanggeus.

Jero pikiran hiji superintelligence jieunan?

Oke, janten kami parantos netepkeun yén seueur pamaén ageung kalayan kantong jero anu nalungtik AI. Teras saatos AGI munggaran diciptakeun, urang bakal ningali pamaréntahan dunya (militer) ngahéjokeun dorongan ka arah ASI pas saatos éta janten anu munggaran meunang balapan senjata global AI (ASI).

Tapi sakali ASI ieu didamel, kumaha saurna? Naon anu dipikahoyong?

Anjing ramah, gajah miara, robot lucu-salaku manusa, urang boga kabiasaan nyoba pakaitna jeung hal ngaliwatan antropologizing aranjeunna, nyaéta nerapkeun ciri manusa kana mahluk jeung sato. Éta pisan sababna naha asumsi alamiah anu mimiti jalma-jalma nalika mikir ngeunaan ASI nyaéta yén sakali deui sadar, éta bakal mikir sareng kalakuanana sami sareng urang.

Muhun, teu merta.

panenjo. Pikeun hiji, anu paling sering hilap nyaéta yén persépsi relatif. Cara urang mikir dibentuk ku lingkungan urang, ku pangalaman urang, sareng khususna ku biologi urang. Dijelaskeun heula di bab tilu tina kami Masa Depan Évolusi Manusa runtuyan, mertimbangkeun conto otak urang:

Éta otak urang anu ngabantosan urang ngartos dunya di sabudeureun urang. Sareng ngalakukeun ieu sanés ku ngambang di luhur sirah urang, ningali sabudeureun, sareng ngadalikeun urang nganggo controller Xbox; Hal ieu dilakukeun ku cara kajebak di jero kotak (noggins kami) sareng ngolah inpormasi naon waé anu dipasihkeun tina organ indrawi urang — panon, irung, ceuli, jsb.

Tapi sapertos anu pireu atanapi buta hirupna langkung alit dibandingkeun sareng jalma anu sanggup, kusabab katerbatasan cacadna dina kumaha aranjeunna tiasa ningali dunya, hal anu sami tiasa diucapkeun pikeun sadayana manusa kusabab keterbatasan dasar urang. susunan organ indrawi.

Pertimbangkeun ieu: Panon urang ningali kirang ti sapuluh triliun sadaya gelombang cahaya. Urang teu bisa ningali sinar gamma. Urang teu bisa ningali x-ray. Kami henteu tiasa ningali sinar ultraviolét. Sareng ulah ngamimitian kuring dina infra red, gelombang mikro, sareng gelombang radio!

Sadayana bercanda, bayangkeun kumaha kahirupan anjeun, kumaha anjeun tiasa ningali dunya, kumaha bédana pikiran anjeun tiasa dianggo upami anjeun tiasa ningali langkung seueur tibatan lampu leutik panon anjeun ayeuna. Kitu ogé, bayangkeun kumaha anjeun bakal ngarasa dunya lamun indra bau anjeun sarua jeung anjing atawa lamun dédéngéan anjeun sarua jeung gajah.

Salaku manusa, urang dina dasarna ningali dunya ngaliwatan peephole a, sarta éta reflected dina pikiran urang geus mekar pikeun ngarti yén persepsi kawates.

Samentara éta, ASI munggaran bakal dilahirkeun di jero superkomputer. Gantina organ, input anu bakal diaksés kalebet set data raksasa, sigana (kamungkinan) bahkan aksés kana Internét éta sorangan. Panaliti tiasa masihan aksés kana kaméra CCTV sareng mikropon di sakumna kota, data indrawi tina drone sareng satelit, bahkan bentuk fisik awak atanapi awak robot.

Sakumaha anjeun tiasa bayangkeun, pikiran anu dilahirkeun di jero superkomputer, kalayan aksés langsung kana Internét, ka jutaan panon sareng ceuli éléktronik sareng sajumlah sénsor canggih sanés ngan ukur bakal mikir béda ti urang, tapi pikiran anu tiasa asup akal. sadaya input indrawi ieu kedah langkung unggul ti urang ogé. Ieu mangrupikeun pikiran anu sapinuhna asing pikeun urang sorangan sareng ka bentuk kahirupan anu sanés di pangeusina.

gol. Hal séjén jalma nganggap yén sakali hiji ASI ngahontal sababaraha tingkat superintelligence, éta bakal langsung ngawujudkeun kahayang pikeun datang nepi ka tujuan jeung tujuan sorangan. Tapi éta henteu merta leres ogé.

Seueur peneliti AI yakin yén superintelligence ASI sareng tujuanana "ortogonal", nyaéta, henteu paduli kumaha pinterna, tujuan ASI bakal tetep sami. 

Janten naha AI mimitina diciptakeun pikeun ngarancang popok anu langkung saé, maksimalkeun hasil dina pasar saham, atanapi ngarencanakeun strategi pikeun ngelehkeun musuh di medan perang, saatos ngahontal tingkat ASI, tujuan aslina moal robih; Anu bakal robih nyaéta efektivitas ASI pikeun ngahontal tujuan éta.

Tapi di dieu perenahna bahaya. Upami ASI anu ngaoptimalkeun diri kana tujuan anu khusus, maka urang langkung saé yakin yén éta ngaoptimalkeun kana tujuan anu saluyu sareng tujuan umat manusa. Upami teu kitu, hasilna bisa ngahurungkeun deadly.

Naha superintelligence jieunan nyababkeun résiko eksistensi pikeun umat manusa?

Janten kumaha upami ASI dileupaskeun di dunya? Upami éta ngaoptimalkeun pikeun ngadominasi pasar saham atanapi ngajamin kaunggulan militér AS, naha ASI henteu bakal nahan diri dina éta tujuan khusus?

Jigana.

Sajauh ieu kami parantos ngabahas kumaha hiji ASI bakal obsess sareng tujuan anu asalna ditugaskeun sareng kompeten sacara teu manusiawi dina ngudag tujuan éta. Nu nyekel éta agén rasional bakal ngudag tujuan na dina cara paling éfisién mungkin iwal dibere alesan pikeun henteu.

Contona, agén rasional bakal datang nepi ka sauntuyan subgoals (ie tujuan, tujuan instrumental, stepping stones) anu bakal mantuan eta dina jalan na achieving tujuan pamungkas na. Pikeun manusa, tujuan subconscious konci urang téh baranahan, ngalirkeun gén anjeun (ie kalanggengan teu langsung). The subgoals ka tungtung éta mindeng bisa ngawengku:

• Salamet, ku ngaksés tuangeun sareng cai, tumbuh ageung sareng kuat, diajar ngabela diri atanapi investasi dina sagala rupa bentuk panyalindungan, jsb. 
• Mikat jodoh, ku cara ngerjakeun, ngamekarkeun kapribadian anu pikaresepeun, pakéan anu bergaya, jsb.
• Ngahasilkeun turunan, ku cara meunangkeun atikan, badarat padamelan anu bayaran luhur, ngagaleuh jebakan kahirupan kelas menengah, jsb.

Kanggo sabagéan ageung urang, urang bakal ngajauhan sadaya subtujuan ieu, sareng seueur anu sanésna, kalayan harepan yén dina tungtungna, urang bakal ngahontal tujuan akhir réproduksi ieu.

Tapi lamun tujuan pamungkas ieu, atawa malah salah sahiji subgoals leuwih penting, anu kaancam, loba urang bakal ngalakukeun tindakan pertahanan di luar zona kanyamanan moral urang-anu ngawengku curang, maok, atawa malah pembunuhan.

Kitu ogé, di karajaan sato, di luar wates moralitas manusa, loba sato moal mikir dua kali pikeun maéhan sagala hal anu ngancam diri atawa turunan maranéhanana.

A ASI kahareup moal béda.

Tapi tinimbang turunan, ASI bakal fokus kana tujuan aslina eta dijieun pikeun, sarta dina ngungudag tujuan ieu, lamun manggihan grup tangtu manusa, atawa malah sakabéh umat manusa, mangrupakeun halangan dina ngudag tujuanana. , satuluyna ... eta bakal nyieun kaputusan rasional.

(Di dieu anjeun tiasa nyolok kana naon waé anu aya hubunganana sareng AI, skenario kiamat anu anjeun kantos baca dina buku atanapi pilem sci-fi karesep anjeun.)

Ieu mangrupikeun skenario anu paling awon anu peneliti AI anu hariwang pisan. ASI moal kalakuan kaluar tina hatred atawa jahat, ngan indifference, sarua jeung kumaha hiji awak konstruksi moal mikir dua kali ngeunaan bulldozing hiji bukit sireum dina prosés ngawangun munara condo anyar.

catetan samping. Dina titik ieu, sababaraha anjeun bisa wondering, "Naha peneliti AI teu bisa ngan ngédit tujuan inti ASI urang sanggeus kanyataan lamun urang manggihan yén éta akting kaluar?"

Henteu ogé.

Sakali hiji ASI dewasa, sagala usaha pikeun ngédit tujuan aslina bisa ditempo salaku anceman, sarta hiji anu merlukeun lampah ekstrim pikeun membela diri. Ngagunakeun sakabeh conto réproduksi manusa ti baheula, éta ampir saolah-olah maling ngancam maok orok tina rahim hiji ibu hamil-anjeun bisa damn yakin yén indung bakal nyandak ukuran ekstrim ngajaga anakna.

Deui, urang nuju teu ngawangkong ngeunaan hiji kalkulator di dieu, tapi mahluk 'hirup', sarta hiji nu hiji poé bakal jadi jauh smarter ti sakabeh manusa di pangeusina digabungkeun.

Nu kanyahoan

Tukangeun fabel ngeunaan Kotak Pandora mangrupakeun bebeneran Lesser dipikawanoh yen jalma mindeng poho: muka kotak téh dilawan, lamun teu ku anjeun ti ku batur. Pangaweruh terlarang teuing pikabitaeun pikeun tetep dikonci salamina.

Ieu sababna nyobian ngahontal kasapukan global pikeun ngeureunkeun sadaya panilitian kana AI anu tiasa ngakibatkeun ASI henteu aya gunana-aya seueur teuing organisasi anu damel dina téknologi ieu sacara resmi sareng dina kalangkang.

Pamustunganana, urang teu boga clue naon éntitas anyar ieu, ASI ieu bakal hartosna pikeun masarakat, téhnologi, pulitik, perdamaian jeung perang. Urang manusa rék invent seuneu sakuliah deui jeung dimana ciptaan ieu ngabalukarkeun urang sagemblengna kanyahoan.

Balik deui ka bab kahiji séri ieu, hiji hal anu urang terang pasti nyaéta intelijen nyaéta kakuatan. Kacerdasan nyaéta kontrol. Manusa tiasa nganjang ka sato anu paling bahaya di dunya di kebon binatang lokal sanés kusabab urang sacara fisik langkung kuat tibatan sato ieu, tapi kusabab urang langkung pinter.

Dibikeun patok poténsi anu aub, tina hiji ASI ngagunakeun akalna anu ageung pikeun ngalakukeun tindakan anu tiasa langsung atanapi henteu ngahaja ngancem kasalametan umat manusa, urang ngahutang ka diri urang sorangan pikeun sahenteuna nyobian ngarancang perlindungan anu bakal ngamungkinkeun manusa tetep aya dina supir. korsi-ieu mangrupa topik tina bab salajengna.

Masa depan séri Kecerdasan Buatan

P1: Artificial Intelligence mangrupikeun listrik isukan

P2: Kumaha Artificial General Intelligence munggaran bakal ngarobih masarakat

P3: Kumaha urang bakal nyiptakeun Artificial Superintelligence munggaran

P5: Kumaha manusa bakal membela ngalawan hiji Superintelligence jieunan

P6: Naha manusa bakal hirup tengtrem dina masa depan anu didominasi ku intelijen buatan?