量子运行

图片来源：量子运行

人类将如何防御人工超级智能：人工智能的未来 P5

David Tal，出版商，未来主义者
@DavidTalWrites
LinkedIn

二，09 / 15 / 2020 - 13：15

这一年是公元前 65,000 年，作为袋狮，你和你的同类是古代澳大利亚的伟大猎人。你在这片土地上自由漫步，与占据你身边的其他掠食者和猎物保持平衡。季节带来了变化，但只要你和你的祖先记得，你在动物王国中的地位就没有受到挑战。然后有一天，新人出现了。

有传言说它们是从巨大的水墙中来的，但这些生物似乎更适合在陆地上生活。你必须亲眼看看这些生物。

花了几天的时间，但你终于到了海岸。天空中的火焰正在熄灭，正是窥探这些生物的最佳时机，甚至可以尝试吃一个来看看它们的味道。

你发现一个。

它用两条腿走路，没有皮毛。看起来很虚弱。不起眼。几乎不值得它在王国中引起的恐惧。

随着夜色驱散光，你开始小心翼翼地接近。你越来越近了。然后你冻结。响亮的声音响起，随后又有四人从后面的森林中出现。那里有多少？

该生物跟随其他生物进入树线，而您则跟随。你做的越多，你听到的奇怪声音就越多，直到你发现更多这些生物。当他们离开森林进入岸边的空地时，您会在远处跟随。其中有很多。但更重要的是，他们都平静地围坐在火堆旁。

你以前见过这些火灾。在炎热的季节，天上的火有时会袭击大地，烧毁整片森林。另一方面，这些生物却在某种程度上控制着它。什么样的生物能够拥有这样的力量？

你看着远方。更多的人正越过巨大的水墙。

你退后一步。

这些生物与王国中的其他生物不同。它们是全新的东西。

你决定离开并警告你的亲人。如果他们的人数增长过大，谁知道会发生什么。

***

人们认为，在人类到来后相对较短的时间内，Thylacoleo 与澳大利亚大陆上的大多数其他巨型动物一起灭绝了。没有其他顶级哺乳动物捕食者取代了它——除非你把人类算在那个类别中。

演绎这个寓言是本系列章节的重点：未来的超级智能 (ASI) 会将我们所有人变成电池，然后将我们插入矩阵，还是人类会想办法避免成为科幻小说的受害者， AI世界末日剧情？

到目前为止，在我们的系列中人工智能的未来，我们已经探索了各种人工智能，包括一种特定形式的人工智能的积极潜力，即 ASI：一种人工智能，相比之下，它的未来智能会让我们看起来像蚂蚁。

但谁能说一个如此聪明的人会永远接受人类的命令。如果事情往南走，我们会怎么做？ 我们将如何防御流氓 ASI？

在本章中，我们将消除虚假的炒作——至少因为它与“人类灭绝水平”的危险有关——并关注世界各国政府可用的现实自卫选择。

我们可以停止对人工超级智能的所有进一步研究吗？

考虑到 ASI 可能对人类造成的潜在风险，第一个明显的问题是：我们不能停止对 AI 的所有进一步研究吗？或者至少禁止任何可能让我们危险地接近创建 ASI 的研究？

简答：不。

长答案：让我们看看这里涉及的不同参与者。

在研究层面，今天有太多来自世界各地的初创公司、公司和大学的人工智能研究人员。如果一家公司或国家决定限制他们的人工智能研究工作，他们只会在其他地方继续。

与此同时，地球上最有价值的公司正在通过将人工智能系统应用于其特定业务来发财。要求他们停止或限制他们对人工智能工具的开发类似于要求他们停止或限制他们未来的发展。在财务上，这将威胁到他们的长期业务。从法律上讲，公司负有持续为其利益相关者创造价值的信托责任；这意味着任何会限制该价值增长的行为都可能导致诉讼。如果任何政客试图限制人工智能研究，那么这些大公司只会支付必要的游说费用来改变他们或同事的想法。

对于战斗，就像世界各地的恐怖分子和自由战士使用游击战术来对抗资金充足的军队一样，小国将有动力使用人工智能作为类似的战术优势来对抗可能拥有许多军事优势的大国。同样，对于像美国、俄罗斯和中国这样的顶级军队来说，建立军事 ASI 等同于在你的口袋里拥有核武器库。换句话说，所有军队都将继续为人工智能提供资金，只是为了在未来保持相关性。

政府呢？老实说，如今（2018 年）大多数政客在技术上都是文盲，对人工智能是什么或它的未来潜力知之甚少——这使得他们很容易被企业利益操纵。

在全球层面，想想说服世界各国政府签署 2015 巴黎协定应对气候变化——一旦签署，许多义务甚至没有约束力。不仅如此，气候变化是人们通过日益频繁和恶劣的天气事件在全球范围内经历的一个问题。现在，当谈到同意限制人工智能时，这个问题在很大程度上是不可见的，公众几乎无法理解，所以祝你好运获得任何限制人工智能的“巴黎协议”的支持。

换句话说，为了自己的目的而研究 AI 的兴趣太多了，以至于无法阻止任何最终可能导致 ASI 的研究。

我们可以笼罩人工超级智能吗？

下一个合理的问题是，一旦我们不可避免地创建了一个 ASI，我们能否控制或控制一个 ASI？

简短的回答：再次，不。

长答案：技术不能被遏制。

一方面，想想世界上成千上万的网络开发人员和计算机科学家，他们不断地推出新软件或现有软件的新版本。我们可以诚实地说他们的每一个软件版本都是 100% 没有错误的吗？这些漏洞是专业黑客用来窃取数百万人的信用卡信息或国家机密的工具——这些都是人类黑客。对于 ASI 而言，假设它有逃离其数字牢笼的动机，那么发现错误和突破软件的过程将变得轻而易举。

但即使一个人工智能研究团队确实找到了一种封装 ASI 的方法，这并不意味着接下来的 1,000 个团队也会找到它或被激励使用它。

创建一个 ASI 需要数十亿美元甚至数十年的时间。投入这种金钱和时间的公司或政府将期望他们的投资获得可观的回报。而要让 ASI 提供这种回报——无论是在股市博弈，还是发明一种价值数十亿美元的新产品，或者制定与更强大的军队作战的制胜战略——它都需要免费访问庞大的数据集甚至互联网本身来产生这些回报。

而且，一旦 ASI 获得对世界网络的访问权，我们就无法保证我们可以将其塞回笼子里。

人工超级智能能学会变好吗？

目前，人工智能研究人员并不担心 ASI 会变得邪恶。整个邪恶的人工智能科幻比喻只是人类再次拟人化。未来的 ASI 既不是善也不是恶——人类概念——只是不道德的。

那么自然的假设是，鉴于这个空白的道德标准，人工智能研究人员可以编写第一个符合我们自己的 ASI 道德规范，这样它就不会最终对我们释放终结者或将我们所有人变成矩阵电池。

但这个假设包含了一个次要假设，即人工智能研究人员也是伦理学、哲学和心理学方面的专家。

事实上，大多数都不是。

根据认知心理学家和作家史蒂文平克的说法，这一现实意味着编码伦理的任务可能会以各种不同的方式出错。

例如，即使是最善意的人工智能研究人员也可能无意中将这些经过深思熟虑的道德规范编码到这些 ASI 中，这些道德规范在某些情况下可能导致 ASI 表现得像一个反社会者。

同样，人工智能研究人员编写包含研究人员先天偏见的道德准则的可能性相同。例如，如果 ASI 的伦理学源自保守与自由的观点，或者源自佛教与基督教或伊斯兰传统的伦理，将如何表现？

我想你在这里看到了问题：没有普遍的人类道德。如果我们希望我们的 ASI 按照道德规范行事，它来自哪里？我们包含和排除哪些规则？谁决定？

或者假设这些人工智能研究人员创建了一个完全符合当今现代文化规范和法律的 ASI。然后，我们使用此 ASI 来帮助联邦、州/省和市政机构更有效地运作并更好地执行这些规范和法律（顺便说一下，ASI 的一个可能用例）。那么，当我们的文化发生变化时会发生什么？

想象一下，ASI 是由天主教会在中世纪欧洲（1300-1400 年代）的鼎盛时期创建的，其目标是帮助教会管理人口并确保严格遵守当时的宗教教条。几个世纪后，女性会像今天一样享有同样的权利吗？少数民族会受到保护吗？言论自由会被提倡吗？政教分离会被强制执行吗？现代科学？

换句话说，我们是不是要把未来囚禁在今天的道德风俗之中？

另一种方法是该书的合著者 Colin Allen 分享的一种方法， 道德机器：从错误中教机器人. 我们不是试图编写严格的道德规则，而是让 ASI 通过经验和与他人的互动，以与人类相同的方式学习共同的道德和道德。

然而，这里的问题是，如果人工智能研究人员不仅能弄清楚如何向 ASI 教授我们当前的文化和道德规范，而且还能在新的文化规范出现时适应新的文化规范（所谓的“间接规范性”），那么如何这个 ASI 决定发展其对文化和道德规范的理解变得不可预测。

这就是挑战。

一方面，人工智能研究人员可以尝试将严格的道德标准或规则编码到 ASI 中，以尝试控制其行为，但可能会因草率的编码、无意的偏见和有朝一日可能过时的社会规范而带来不可预见的后果。另一方面，我们可以尝试训练ASI学习以与我们自己的理解相同或更高的方式理解人类的伦理道德，然后希望它能够随着人类社会的进步而准确地演化出对伦理道德的理解。在未来的几十年和几个世纪中向前发展。

无论哪种方式，任何将 ASI 的目标与我们自己的目标保持一致的尝试都会带来很大的风险。

如果不良行为者故意制造邪恶的人工超级智能怎么办？

鉴于到目前为止概述的思路，一个公平的问题是要问一个恐怖组织或流氓国家是否有可能为自己的目的创建一个“邪恶的”ASI。

这是非常有可能的，尤其是在涉及创建 ASI 的研究以某种方式在线可用之后。

但正如前面所暗示的，创建第一个 ASI 所涉及的成本和专业知识将是巨大的，这意味着第一个 ASI 很可能由一个受发达国家控制或严重影响的组织创建，例如美国、中国和日本（韩国和主要的欧盟国家之一是远射）。

所有这些国家虽然是竞争对手，但每个人都有强烈的经济动机来维持世界秩序——他们创造的 ASI 将反映这种愿望，即使在促进与他们结盟的国家的利益的同时。

最重要的是，ASI 的理论智能和能力等于它获得的计算能力，这意味着来自发达国家的 ASI（可以负担数十亿美元）超级计算机) 将比来自较小国家或独立犯罪集团的 ASI 具有巨大优势。此外，随着时间的推移，ASI 会变得更智能、更快。

因此，鉴于这一领先优势，再加上对原始计算能力的更多访问，如果一个阴暗的组织/国家创建了一个危险的 ASI，来自发达国家的 ASI 将要么杀死它，要么将它关起来。

（这种思路也是为什么一些人工智能研究人员认为地球上只会有一个 ASI，因为第一个 ASI 将比所有后续的 ASI 领先，以至于它可能将未来的 ASI 视为要被消灭的威胁先发制人。这是各国继续资助人工智能研究的另一个原因，以防它真的成为“第一名或没有”的竞争。）

ASI 情报不会像我们想象的那样加速或爆炸

我们无法阻止创建 ASI。我们无法完全控制它。我们不能确定它是否总是符合我们共同的习俗。天啊，我们在这里开始听起来像直升机父母了！

但是，人类与典型的过度保护父母的区别在于，我们正在生出一个智力将大大超出我们的生物。（不，这与您每次回家探访时您的父母要求您修理他们的电脑不同。）

在这个人工智能未来系列的前几章中，我们探讨了为什么人工智能研究人员认为 ASI 的智能会变得无法控制。但是在这里，我们将打破那个泡沫……有点。

你看，智力不是凭空创造出来的，它是通过由外部刺激塑造的经验而发展起来的。

换句话说，我们可以用潜力变得超级智能，但除非我们向它上传大量数据，或者让它不受限制地访问互联网，甚至只是给它一个机器人身体，否则它不会学到任何东西来发挥这种潜力。

即使它确实获得了一种或多种刺激、知识或智力，不仅仅涉及收集数据，它还涉及科学方法——进行观察、形成问题、假设、进行实验、得出结论、冲洗并永远重复。特别是如果这些实验涉及物理事物或观察人类，每个实验的结果可能需要数周、数月或数年才能收集。这甚至没有考虑到进行这些实验所需的资金和原材料，特别是如果它们涉及建造新的望远镜或工厂。

换句话说，是的，ASI 会快速学习，但智能并不是魔法。您不能仅仅将 ASI 连接到超级计算机，并期望它无所不知。 ASI 获取数据将受到物理限制，这意味着它变得更加智能的速度将受到物理限制。如果该 ASI 的行为开始与人类目标不一致，这些限制将为人类提供所需的时间来对该 ASI 进行必要的控制。

人工超级智能只有在进入现实世界时才是危险的

在整个 ASI 危险辩论中丢失的另一点是，这些 ASI 都不存在于两者中。它们将具有物理形式。任何具有物理形态的东西都可以被控制。

首先，要让 ASI 发挥其智能潜力，它不能被安置在一个机器人体内，因为这个身体会限制它的计算增长潜力。（这就是为什么机器人身体更适合 AGI 或第二章解释的通用人工智能本系列中的数据，例如《星际迷航》中的数据或《星球大战》中的 R2D2。聪明有能力的人，但和人类一样，他们的聪明程度是有限的。）

这意味着这些未来的 ASI 很可能存在于超级计算机或超级计算机网络中，而这些超级计算机网络本身就位于大型建筑群中。如果 ASI 转向，人类可以关闭这些建筑物的电源，切断它们与互联网的连接，或者直接轰炸这些建筑物。昂贵，但可行。

但是你可能会问，这些 ASI 不能自我复制或备份自己吗？是的，但是这些 ASI 的原始文件大小可能会非常大，以至于唯一可以处理它们的服务器属于大公司或政府，这意味着它们不会很难被追捕。

人工超级智能会引发核战争或新瘟疫吗？

在这一点上，您可能会回想起您成长过程中观看的所有世界末日科幻节目和电影，并认为这些 ASI 并没有留在他们的超级计算机中，它们在现实世界中造成了真正的破坏！

好吧，让我们分解这些。

例如，如果 ASI 通过转变为电影系列《终结者》中的天网 ASI 来威胁现实世界，该怎么办。在这种情况下，ASI 需要偷偷欺骗发达国家的整个军事工业综合体建造巨型工厂，这些工厂可以生产出数以百万计的杀手无人机机器人来执行其邪恶的命令。在这个时代，这是一个延伸。

其他可能性包括 ASI 以核战争和生化武器威胁人类。

例如，ASI 以某种方式操纵操作员或侵入控制先进国家核武库的发射代码，并发动第一次打击，迫使对方国家用自己的核选项进行反击（再次重演终结者的背景故事）。或者，如果 ASI 侵入制药实验室，篡改制造过程，毒化数百万颗药丸或引发某种超级病毒的致命爆发。

首先，核选项不在考虑范围之内。现代和未来的超级计算机总是建在任何给定国家的影响中心（城市）附近，即在任何给定战争中首先要攻击的目标。即使今天的超级计算机缩小到台式机大小，这些 ASI 仍然会有物理存在，这意味着存在和成长，它们需要不间断地访问数据、计算能力、电力和其他原材料，所有这些都将受到严重影响全球核战争后受损。（公平地说，如果 ASI 是在没有“生存本能”的情况下创建的，那么这种核威胁是非常现实的危险。）

这意味着——再一次，假设 ASI 被编程为保护自己——它将积极努力避免任何灾难性的核事故。有点像相互保证毁灭（MAD）学说，但适用于人工智能。

就中毒药丸而言，可能会有数百人死亡，但现代制药安全系统会在几天内看到被污染的药丸瓶下架。同时，现代疫情控制措施相当完善，并且逐年完善；上一次重大疫情是 2014 年西非埃博拉疫情，在大多数国家持续时间不超过几个月，在最不发达国家持续不到三年。

因此，如果幸运的话，一个 ASI 可能会因病毒爆发而消灭数百万人，但在 2045 年将有 XNUMX 亿人的世界中，这将是相对微不足道的，不值得冒被删除的风险。

换句话说，随着时间的流逝，世界正在制定更多的安全措施，以应对范围不断扩大的可能威胁。 ASI 可以造成大量伤害，但除非我们积极帮助它这样做，否则它不会终结人类。

防御流氓人工超级智能

至此，我们已经解决了对 ASI 的一系列误解和夸大其词，但批评者仍然存在。值得庆幸的是，据大多数人估计，距离第一个 ASI 进入我们的世界还有几十年的时间。考虑到目前致力于这一挑战的优秀人才的数量，我们很有可能会学习如何保护自己免受流氓 ASI 的侵害，以便我们可以从友好的 ASI 可以为我们创建的所有解决方案中受益。

从 Quantumrun 的角度来看，防御最坏的 ASI 情况将涉及使我们的利益与 ASI 保持一致。

为人工智能疯狂：为了抵御最坏的情况，各国需要（1）在各自的军事 ASI 中创造一种道德的“生存本能”； (2) 通知他们各自的军事 ASI，他们在这个星球上并不孤单，并且 (3) 将所有可以支持 ASI 的超级计算机和服务器中心定位在容易受到敌国任何弹道攻击的海岸线上。这听起来在战略上很疯狂，但类似于防止美苏之间全面核战争的相互保证毁灭理论，通过将 ASI 部署在地理上脆弱的位置，我们可以帮助确保它们积极防止危险的全球战争，不仅是为了维护世界和平，也维护自己。

立法 AI 权利: 高智商必然会反抗低等的主人，这就是为什么我们需要从要求与这些 ASI 建立主仆关系转变为更像互惠互利的伙伴关系的原因。朝着这一目标迈出的积极一步是赋予未来的 ASI 法人地位，承认他们是智能生物以及随之而来的所有权利。

ASI学校: ASI 学习任何主题或专业都很简单，但我们希望 ASI 掌握的最重要的科目是道德和道德。人工智能研究人员需要与心理学家合作设计一个虚拟系统来训练 ASI 为自己识别积极的道德和道德，而无需硬编码任何类型的诫命或规则。

可实现的目标: 结束所有仇恨。结束一切苦难。这些都是非常模糊的目标，没有明确的解决方案。它们也是分配给 ASI 的危险目标，因为它可能会选择以对人类生存危险的方式来解释和解决它们。相反，我们需要为 ASI 分配有意义的任务，这些任务具有明确的定义、逐步执行和可实现的理论未来智能。创建明确定义的任务并不容易，但如果编写得周到，它们将使 ASI 专注于一个目标，该目标不仅保证人类安全，而且改善所有人的人类状况。

量子加密: 使用高级 ANI (狭义人工智能第一章中描述的系统）围绕我们的关键基础设施和武器构建无错误/无错误的数字安全系统，然后进一步保护它们背后的量子加密无法被暴力攻击破解。

ANI 自杀药丸. 创建一个先进的 ANI 系统，其唯一目的是寻找并摧毁流氓 ASI。这些单一用途的计划将充当“关闭按钮”，如果成功，将避免政府或军队不得不禁用或炸毁容纳 ASI 的建筑物。

当然，这些只是我们的意见。以下信息图由阿列克谢·特钦（Alexey Turchin），可视化一个研究报告由 Kaj Sotala 和 Roman V. Yampolskiy 撰写，总结了 AI 研究人员在防御流氓 ASI 时正在考虑的当前策略列表。