作者 | Stuart Russell 编译 | CDA数据分析师

人工智能研究正在朝着人类或超人类智能机器的长期目标迈进。但是，如果它以目前的形式成功，那将很可能给人类带来灾难性的后果。原因是AI的“标准模型”要求机器遵循人类指定的固定目标。我们无法完全正确地指定目标，也无法预测或防止追求错误目标的机器在具有超人能力的全球规模上运行时所造成的危害。我们已经看到了诸如社交媒体算法之类的示例，这些示例学会了通过操纵人类的偏好来优化点击率，从而给民主制度带来灾难性的后果。

尼克·博斯特伦（Nick Bostrom）在2014年出版的《超级情报：道路，危险，策略》 一书中详细介绍了认真对待这一风险的案例。在大多数人认为英国轻描淡写的经典例子中，《经济学人》杂志对博斯特罗姆的书进行了评论，其结尾是：“将第二种智能物种引入地球的意义深远，值得深思。”出于超级智能实体已经考虑过这种可能性 并采取措施阻止这种可能性的简单原因，无法关闭机器 。

当然，在这么多的事情发生的今天，当今的伟大思想家已经在做这个艰难的思考-进行认真的辩论，权衡风险和收益，寻求解决方案，找出解决方案中的漏洞，等等。据我所知，还没有。取而代之的是，人们付出了很大的努力进行各种形式的否认。

一些著名的AI研究人员诉诸了几乎不值得反驳的论点。以下是我在文章中阅读或在会议上听过的数十篇文章中的一部分：

电子计算器在算术上是超人的。计算器并没有接管整个世界。因此，没有理由担心超人AI。从历史上看，有零例机器杀死了数百万人，因此，通过归纳法，它不可能在未来发生。宇宙中没有任何物理量是无限的，其中包括智力，因此对超智能的担忧被夸大了。

也许在AI研究人员中，最常见的回答是说“我们总是可以将其关闭。” Alan Turing自己提出了这种可能性，尽管他对此并不抱太大信心：

如果机器可以思考，它可能会比我们更聪明地思考，那么我们应该在哪里呢？即使我们可以例如通过在关键时刻关闭电源来将机器保持在从动的位置，作为一个物种，我们也应该感到非常谦卑。……这种新的危险……当然可以使我们焦虑。

出于超级智能实体已经考虑过这种可能性并采取措施阻止这种可能性的简单原因，无法关闭机器。这样做不是因为它“想活着”，而是因为它正在追求我们给它的任何目标，并且知道关闭它会失败。我们仅通过将石头放在正确的方块上就可以击败AlphaGo（世界冠军的Go播放程序），这是再也不能“关闭”了。

其他拒绝形式也吸引了更复杂的想法，例如，智力是多方面的。例如，一个人可能比另一个人具有更多的空间智能，而社会智能却较少，因此我们不能按照严格的智力顺序排列所有人。对于机器来说更是如此：将AlphaGo的“智能”与Google搜索引擎的“智能”进行比较是毫无意义的。

《连线》杂志的创始编辑，技术敏锐的评论员凯文·凯利将这一论点再进一步了。他在“ 超人AI的神话”一书中写道：“智能不是一个单一的维度，因此“比人类聪明”是毫无意义的概念。”一口气就消除了对超智能的所有关注。

现在，一个明显的反应是，机器在智能的所有相关方面都可能超出人类的能力。在那种情况下，即使按照凯利的严格标准，这台机器也比人类更智能。但是，这种强有力的假设并不一定要反驳凯利的论点。可以看一看黑猩猩。黑猩猩可能具有比人类更好的短期记忆能力，即使在以人为导向的任务（如回想数字序列）上也是如此。短期记忆是智力的重要方面。按照凯利的说法，人类并不比黑猩猩聪明。实际上，他会宣称“比黑猩猩更聪明”是没有意义的概念。这对黑猩猩和其他幸存下来的物种来说是冷的安慰，它们只是因为我们愿意允许这样做，而对于所有我们已经消灭的物种而言。对于可能担心被机器擦掉的人来说，这也是一种冰冷的安慰。

也可以通过争论无法实现超级智能来消除超级智能的风险。这些说法并不新鲜，但是现在令人惊讶的是，看到AI研究人员自己声称这种AI是不可能的。例如，来自AI100组织的一份主要报告“ 2030年的人工智能与生命 [PDF]”包括以下主张：“与电影不同，没有超人机器人在眼前出现种族竞赛，甚至可能没有。”

据我所知，这是严肃的AI研究人员首次公开信奉人类或超人AI是不可能的观点，而这是在AI研究飞速发展的阶段，当障碍不断违反。好像一群领先的癌症生物学家宣布他们一直在欺骗我们：他们一直都知道永远不会治愈癌症。

是什么原因促成这样的面孔？该报告不提供任何论据或证据。（实际上，有什么证据可以证明，在物理上没有可能存在的原子排列优于人类的大脑？）我怀疑主要原因是部族主义-本能使货车绕过AI的“攻击”。然而，将超级智能AI可能作为对AI的攻击这一说法似乎很奇怪，甚至说AI永远不会成功实现其目标，捍卫AI则显得更为奇怪。我们不能仅仅依靠人类的创造力来确保未来的灾难。

如果不是不是绝对不可能的超人AI，那么担心就太遥远了吗？这是吴安德（Andrew Ng）断言的要旨，即担心“火星上的人口过多 ”。不幸的是，长期风险仍然可能立即引起人们的关注。担心人类潜在的严重问题的合适时间不仅取决于问题何时发生，还取决于准备和实施解决方案需要多长时间。例如，如果我们要在2069年检测到正在与地球碰撞的大型小行星，我们是否要等到2068年才开始研究解决方案？离得很远！将有一个全球紧急项目来开发应对威胁的方法，因为我们无法提前说出需要多少时间。

Ng的论点也吸引了人们的直觉，即我们极不可能首先尝试将数十亿人类移居火星。但是，这个比喻是错误的。我们已经在投入大量的科学和技术资源来创建功能更强大的AI系统，而很少考虑如果成功了会发生什么。因此，更恰当的类比是将人类迁移到火星的计划，而不考虑到达后我们可能会呼吸，喝水或吃些什么。有些人可能将此计划称为不明智的。

避免潜在问题的另一种方法是断言对风险的担忧是由无知引起的。例如，以下是艾伦（Allen）AI学院的首席执行官Oren Etzioni，指责埃隆·马斯克（Elon Musk）和斯蒂芬·霍金（Stephen Hawking）涉嫌Luddism，因为他们呼吁人们认识到AI可能构成的威胁：

在每一项技术创新的兴起中，人们都感到恐惧。从织布工在工业时代开始时在机械织机中扔鞋到今天对杀手机器人的恐惧，我们的反应是不知道新技术将对我们的自我意识和生计产生什么影响。而当我们不知道时，我们恐惧的思想充斥着细节。

即使我们以表面价值来接受这种经典的ad hominem论点，也无法成立。霍金对科学推理并不陌生，马斯克监督并投资了许多人工智能研究项目。认为比尔·盖茨，IJ·古德，马文·明斯基，艾伦·图灵和诺伯特·维纳，都引起了人们的关注，没有资格讨论人工智能，这似乎更没有道理。对Luddism的指控也完全是错误的。当他们指出控制裂变反应的必要性时，就好像是要指责核工程师。该指控的另一种说法是声称提及风险意味着否认人工智能的潜在利益。例如，Oren Etzioni曾提出：

厄运和悲观的预测通常无法考虑AI在预防医疗错误，减少交通事故等方面的潜在优势。

而这里是马克·扎克伯格的Facebook的CEO，在与伊隆·马斯克最近的媒体推波助澜交流：

如果您在反对AI，那么您在争论不会发生事故的更安全的汽车。而且您正在争论不能在人们生病时更好地对其进行诊断。

有人提到风险是“反对AI”的说法似乎很奇怪。（核安全工程师“反对电力”吗？）但更重要的是，整个论点恰恰是倒退的，原因有两个。首先，如果没有潜在的利益，就不会有推动人工智能研究的动力，也不会有实现人类水平的人工智能的危险。我们根本不会进行任何讨论。其次，如果不能成功地减轻风险，将没有任何好处。

由于1979年三英里岛，1986年切尔诺贝利和2011年福岛岛的灾难性事件，核电的潜在利益已大大降低。这些灾难严重限制了核工业的发展。意大利在1990年放弃了核电，比利时，德国，西班牙和瑞士已经宣布了这样做的计划。从1991年到2010年，每年的净新增产能大约是切尔诺贝利之前的那一年的十分之一。

奇怪的是，鉴于这些事件，著名的认知科学家史蒂芬·平克（Steven Pinker）认为 [PDF]不宜引起人们对AI风险的关注，因为“先进社会的安全文化”将确保AI的所有严重风险都将被淘汰。即使我们无视我们先进的安全文化导致切尔诺贝利，福岛和全球变暖失控的事实，平克的论点也完全没有意义。安全文化（在可行时）正好由人们指出可能的故障模式并寻找预防方法来组成。对于AI，标准模型是故障模式。

Pinker还指出，有问题的AI行为是由提出特定类型的目标引起的。如果排除这些，一切都会好起来的：

AI反乌托邦将狭par的阿尔法男性心理投射到智力的概念上。他们认为超人类智能机器人会制定出一些目标，例如抛弃主人或接管世界。

深度学习的先驱，Facebook的AI研究总监Yann LeCun 在淡化AI的风险时经常引用相同的想法：

认可机构没有理由具有自我保护的本能，嫉妒等。……除非我们将这些情感融入其中，否则认可机构将不会具有这些破坏性的“情感”。

不幸的是，无论我们建立在“情感”还是“欲望”中，例如自我保护，资源获取，知识发现，或者在极端情况下占领世界，都没有关系。无论如何，机器都会产生这些情感，就像我们建立的任何目标的子目标一样，而不论其性别如何。正如我们在“只需要关闭电源”的说法中所看到的那样，对于一台机器而言，死亡本身并不坏。尽管如此，还是要避免死亡，因为如果你死了，就很难实现目标。

“避免设定目标”概念的一个常见变体是这样一个概念，即一个足够智能的系统由于其智能必定会自行制定“正确的”目标。18世纪的哲学家戴维·休David（David Hume）在《人性论》中驳斥了这一思想。尼克·博斯特罗姆，在超级智能，提出了休谟的作为位置的正交性论文：

智力和最终目标是正交的：原则上，任何水平的智力或多或少都可以与任何最终目标结合。

例如，可以为自动驾驶汽车指定任何特定地址作为目的地；例如，使汽车成为更好的驾驶者并不意味着它将自发地开始拒绝去被17整除的地址。出于同样的原因，不难想象可以为通用智能系统提供或多或少的追求目标，包括最大化回形针的数量或pi的已知数字的数量。这就是强化学习系统和其他种类的奖励优化器的工作方式：算法完全通用，可以接受任何奖励信号。对于在标准模型内运行的工程师和计算机科学家而言，正交性理论只是一个定论。

对Bostrom正交性论的最明确的批评来自著名的机器人学家Rodney Brooks，他断言，程序“足够聪明以至于无法发明出颠覆人类社会以实现人类为其设定的目标的方法，却不了解它对那些相同的人造成问题的方式。”那些认为风险可以忽略不计的人未能解释为什么超智能AI必然会受到人类控制。

不幸的是，程序不仅可能表现出这样的行为；实际上，考虑到布鲁克斯定义问题的方式，这是不可避免的。Brooks认为，机器“达到人类设定的目标”的最佳计划正在给人类带来麻烦。由此可见，这些问题反映了对人类有价值的事物，而人类为之设定的目标却忽略了这些问题。机器执行的最佳计划很可能会给人类带来麻烦，并且机器可能会意识到这一点。但是，按照定义，机器不会将这些问题视为有问题的。它们与它无关。

总而言之，“怀疑论者”（那些认为来自AI的风险可以忽略不计的人）未能解释为什么超级智能AI系统必定会受到人类控制。他们甚至都没有试图解释为什么永远不会开发超智能AI系统。

AI社区必须继续承担风险并努力减轻风险，而不是继续沦落为部落的名字召唤和不法论据的反复发掘。就我们所了解的风险而言，这些风险既非微不足道，也非不可克服。第一步是认识到必须替换标准模型（优化固定目标的AI系统）。这简直是糟糕的工程。我们需要做大量的工作来重塑和重建AI的基础。

关于作者

计算机科学家Stuart Russell在加利福尼亚大学伯克利分校创立并指导了人类兼容人工智能中心。本月，Viking Press将出版Russell的新书《人类兼容：人工智能与控制问题》，本文以此为依据。他还积极参与反对自动武器的运动，并策动制作了备受瞩目的2017年视频《屠杀机器人》。

来源: CDA数据分析师