超級人工智能會消滅人類嗎？ 人工智能的未來 P4

某些國家的發明全力以赴。 在這些發明中，一切都取決於第一，任何不重要的事情都可能意味著對國家生存的戰略和致命威脅。

這些定義歷史的發明並不經常出現，但當它們出現時，世界就停止了，可預見的未來變得朦朧。

最後一個這樣的發明出現在二戰最糟糕的時期。 當納粹在舊世界的所有戰線上取得進展時，在新世界，特別是在洛斯阿拉莫斯以外的一個秘密軍隊基地內，盟軍正在努力研製一種武器來終結所有武器。

該項目起初規模很小，但後來發展為僱傭了來自美國、英國和加拿大的 130,000 名員工，其中包括當時世界上許多最偉大的思想家。 代號為曼哈頓計劃並給予無限預算（23 年約為 2018 億美元），這支人類聰明才智的軍隊最終成功製造了第一顆核彈。 不久之後，二戰以兩次原子彈爆炸結束。

這些核武器開創了原子時代，引入了一種全新的能源，並賦予了人類在幾分鐘內自滅的能力——儘管冷戰時期我們還是避免了這種情況。

人工超級智能 (ASI) 的創建是另一個定義其威力（積極和破壞性）遠遠超過核彈的發明的歷史。

在“人工智能的未來”系列的最後一章中，我們探討了 ASI 是什麼以及研究人員計劃有一天如何構建 ASI。 在本章中，我們將了解哪些組織正在領導人工智能 (AI) 研究，一旦 ASI 獲得類似人類的意識，它會想要什麼，以及如果管理不善或受到人工智能的影響，它將如何威脅人類。不太好的製度。

誰在努力建立人工超級智能？

鑑於 ASI 的創建對人類歷史的重要性以及它將為其創建者帶來的巨大優勢，聽到許多團體間接致力於該項目也就不足為奇了。

（間接地，我們的意思是從事人工智能研究，最終將創造第一個 人工智能 （AGI），這本身很快就會導致第一個 ASI。）

首先，當談到頭條新聞時，高級人工智能研究的明顯領導者是美國和中國的頂級科技公司。 在美國，這包括谷歌、IBM 和微軟等公司，在中國，這包括騰訊、百度和阿里巴巴等公司。 但由於研究人工智能與開發物理的東西相比相對便宜，比如更好的核反應堆，這也是一個小型組織也可以競爭的領域，比如大學、初創公司和......那個）。

但在幕後，人工智能研究背後的真正推動力來自政府及其軍隊。 作為第一個創建 ASI 的經濟和軍事獎勵太高了（如下所述），不能冒落後的風險。 最後的危險是不可接受的，至少對某些政權來說是這樣。

鑑於這些因素，人工智能研究成本相對較低，先進人工智能的無限商業應用，以及率先創建 ASI 的經濟和軍事優勢，許多人工智能研究人員認為創建 ASI 是不可避免的。

我們什麼時候會創造出人工超級智能

在我們關於 AGI 的章節中，我們提到了一項針對頂級 AI 研究人員的調查如何相信我們將在 2022 年樂觀地創建第一個 AGI，到 2040 年現實地在 2075 年悲觀地創造第一個 AGI。

而在我們 最後一章，我們概述了創建 ASI 通常是如何指示 AGI 無限自我改進並為其提供資源和自由這樣做的結果。

出於這個原因，雖然 AGI 可能需要幾十年才能發明出來，但創建 ASI 可能只需要幾年時間。

這一點類似於“計算懸垂”的概念，在 一篇論文，由領先的 AI 思想家 Luke Muehlhauser 和 Nick Bostrom 合著。 基本上，如果 AGI 的創建繼續落後於由摩爾定律驅動的當前計算能力的進步，那麼當研究人員確實發明 AGI 時，將有如此多的廉價計算能力可用，以至於 AGI 將有能力它需要快速跨越到ASI的水平。

換句話說，當你終於讀到頭條新聞宣布某家科技公司發明了第一個真正的 AGI 時，期待不久之後第一個 ASI 的宣布。

在人工超級智能的頭腦中？

好的，所以我們已經確定，很多財大氣粗的大公司都在研究人工智能。 然後在發明第一個 AGI 之後，我們將看到世界各國政府（軍隊）在不久之後為 ASI 的推進開綠燈，以率先贏得全球 AI (ASI) 軍備競賽。

但是一旦創建了這個 ASI，它會怎麼想？ 它會想要什麼？

友善的狗、有愛心的大象、可愛的機器人——作為人類，我們有一個習慣，就是通過人類學來嘗試與事物建立聯繫，即將人類特徵應用於事物和動物。 這就是為什麼人們在考慮 ASI 時的第一個自然假設是，一旦它以某種方式獲得意識，它的思維和行為就會與我們相似。

嗯，不一定。

知覺. 一方面，大多數人往往忘記的是感知是相對的。 我們的思維方式是由我們的環境、我們的經驗，尤其是我們的生物學所塑造的。 首先解釋在 第三章 我們 人類進化的未來 系列，考慮我們大腦的例子：

是我們的大腦幫助我們理解周圍的世界。 它不是通過漂浮在我們的頭頂、環顧四周並用 Xbox 控制器控制我們來做到這一點的； 它通過被困在一個盒子（我們的腦袋）中並處理它從我們的感覺器官（我們的眼睛、鼻子、耳朵等）提供的任何信息來做到這一點。

但是就像聾人或盲人的壽命比健全的人要小得多，由於他們的殘疾對他們如何感知世界的限制，同樣的事情可以說對所有人類來說，由於我們基本的限制一組感覺器官。

考慮一下：我們的眼睛感知不到所有光波的萬億分之一。 我們看不到伽馬射線。 我們看不到 X 射線。 我們看不到紫外線。 不要讓我開始研究紅外線、微波和無線電波！

除了開玩笑，想像一下你的生活會是什麼樣子，你會如何看待這個世界，如果你能看到比你眼睛目前允許的微小光線更多的東西，你的思維會有多麼不同。 同樣，想像一下，如果你的嗅覺與狗的嗅覺相當，或者如果你的聽覺與大象的嗅覺相當，你會如何看待這個世界。

作為人類，我們本質上是通過窺視孔看世界的，這反映在我們為了理解這種有限感知而進化的頭腦中。

同時，第一個 ASI 將在超級計算機內部誕生。 它將訪問的輸入不是器官，而是包括巨大的數據集，甚至可能（可能）訪問互聯網本身。 研究人員可以讓它訪問整個城市的閉路電視攝像機和麥克風、無人機和衛星的感官數據，甚至是機器人身體的物理形式。

正如你可能想像的那樣，一個出生在超級計算機內部的頭腦，可以直接訪問互聯網，擁有數百萬個電子眼睛和耳朵以及一系列其他先進傳感器，不僅會與我們的思維方式不同，而且思維會變得有意義在所有這些感官輸入中，也必須無限優於我們。 這是一種與我們自己以及地球上任何其他生命形式完全陌生的思想。

目標. 人們假設的另一件事是，一旦 ASI 達到某種程度的超級智能，它就會立即實現提出自己的目標和目的的願望。 但這也不一定是真的。

許多人工智能研究人員認為，ASI 的超級智能及其目標是“正交的”，也就是說，無論它變得多麼聰明，ASI 的目標都將保持不變。 

因此，無論最初創建AI是為了設計更好的尿布，最大化股市回報，還是在戰場上製定策略擊敗敵人，一旦達到ASI的水平，最初的目標就不會改變； 將改變的是 ASI 實現這些目標的有效性。

但危險就在這裡。 如果一個 ASI 將自身優化到一個特定的目標，那麼我們最好確保它優化到一個符合人類目標的目標。 否則，結果可能會變得致命。

人工超級智能是否會對人類構成生存風險？

那麼，如果 ASI 被釋放到世界上怎麼辦？ 如果它優化以主導股票市場或確保美國的軍事霸權，ASI 不會在這些特定目標內自給自足嗎？

有可能。

到目前為止，我們已經討論了 ASI 將如何痴迷於它最初分配的目標，並且在追求這些目標時不人道。 問題是，除非有理由不這樣做，否則理性的代理人將以最有效的方式追求其目標。

例如，理性主體會提出一系列子目標（即目標、工具目標、墊腳石），以幫助其實現最終目標。 對於人類來說，我們的關鍵潛意識目標是繁殖，傳遞你的基因（即間接永生）。 為此目的的子目標通常包括：

• 通過獲取食物和水、變得強壯、學習保護自己或投資於各種形式的保護等來生存。 
• 通過鍛煉、培養迷人的個性、穿著時尚等方式吸引伴侶。
• 通過接受教育、獲得高薪工作、購買中產階級生活的服飾等來養育後代。

對於我們絕大多數人來說，我們將努力完成所有這些子目標，以及許多其他目標，希望最終我們能夠實現繁殖的最終目標。

但如果這個最終目標，甚至任何更重要的子目標受到威脅，我們中的許多人都會在我們的道德舒適區之外採取防禦行動——包括作弊、偷竊，甚至殺戮。

同樣，在動物王國中，在人類道德範圍之外，許多動物不會三思而後行地殺死任何威脅自己或後代的東西。

未來的 ASI 也不例外。

但是，ASI 不會專注於後代，而是專注於最初的目標，而在追求這一目標的過程中，如果發現某個特定的人類群體，甚至全人類，是其追求目標的障礙， 然後 ...它將做出理性的決定.

（在這裡，您可以插入您在最喜歡的科幻書籍或電影中讀到的任何與 AI 相關的世界末日場景。）

這是人工智能研究人員真正擔心的最壞情況。 ASI不會出於仇恨或邪惡而行動，只是冷漠，就像施工人員在建造新公寓塔的過程中不會三思而後行推土機一樣。

邊注。 在這一點上，你們中的一些人可能會想，“如果我們發現 ASI 正在發揮作用，AI 研究人員就不能在事後編輯 ASI 的核心目標嗎？”

不是真的。

一旦 ASI 成熟，任何編輯其原始目標的嘗試都可能被視為一種威脅，並且需要採取極端行動來保護自己。 使用前面的整個人類生殖的例子，這幾乎就像一個小偷威脅要從一個準媽媽的子宮裡偷走一個嬰兒——你可以肯定母親會採取極端措施來保護她的孩子。

再說一次，我們在這裡談論的不是計算器，而是一種“活的”生物，它有朝一日會變得比地球上所有人類的總和還要聰明得多。

未知

傳說的背後 潘多拉魔盒 這是一個鮮為人知的事實，人們經常忘記：打開盒子是不可避免的，如果不是由你打開，也不是由別人打開。 被禁的知識太誘人了，不能永遠被鎖起來。

這就是為什麼試圖達成一項全球協議以停止所有可能導致 ASI 的人工智能研究毫無意義——有太多的組織在正式和暗中從事這項技術工作。

最終，我們不知道這個新實體，這個 ASI 對社會、技術、政治、和平與戰爭意味著什麼。 我們人類即將再次發明火，而這種創造將我們引向何方則完全未知。

回到本系列的第一章，我們確實知道的一件事是智慧就是力量。 智能就是控制。 人類可以在當地動物園隨意參觀世界上最危險的動物，不是因為我們的身體比這些動物更強壯，而是因為我們明顯更聰明。

鑑於所涉及的潛在風險，ASI 利用其巨大的智慧採取可能直接或無意地威脅人類生存的行動，我們有責任至少嘗試設計安全措施，讓人類留在駕駛員的座位-Free Introduction 是下一章的主題。

人工智能係列的未來

P1： 人工智能是明天的電力

P2： 第一個通用人工智能將如何改變社會

P3： 我們將如何創建第一個人工超級智能

P5： 人類將如何防禦人工超級智能

P6： 在人工智能主導的未來，人類會和平生活嗎？