作者 Jeff Caruso | 2024年4月29日

物理学家David Deutsch在2012年为Aeon撰写的一篇文章中谈到了人工智能：“我想不出还有什么其他重要的知识领域，不仅在整个社会，而且在专家中，普遍的智慧都被根深蒂固的、重叠的、根本性的错误所困扰。然而，它也是预言它很快就会实现最终突破的最自信的领域之一。”

自那以后，Deutsch所写的自信预言一直在继续，只是它现在伴随着一个警告，即一个无赖的人工智能可能会终结我们所知的地球上的生命，而这项技术应该被归类为生存威胁

自2022年OpenAI的ChatGPT发布以来，人工智能就成为人们关注的焦点，随后又发布了其他几种文本和图像生成模型。这些应用程序已经被纳入企业、医疗机构，甚至军事行动中。当给出提示时，这些系统会根据训练的大量数据，通过统计预测单词或其他形式的输出来做出反应。换句话说，它们无法思考或对抗人类的认知。至少目前，它们只是数学模型

尽管生成性人工智能可以在很多方面造成严重破坏，比如放大现有的偏见或大规模传播错误信息，但它与计算机代码一样，并不是对生存的威胁。它只是一种工具，与许多其他工具一样，可能会导致糟糕的结果。因此，公众和政策制定者必须理解这一区别，以制定适当的法规，解决这些应用程序的真实风险，而不是虚构的风险

如果不是因为一种名为冯·诺依曼体系结构的计算创新，热核炸弹永远不会被发明，计算机可以在内存中存储数据和运行程序。为了成功实现这一创新，洛斯阿拉莫斯国家实验室一台讽刺地命名为MANIAC的计算机上的一次数学运算连续运行了60天。那么，哪一种是大规模杀伤性武器或生存威胁，热核炸弹，还是使其存在的计算创新？显然是前者

即使在致命的自主武器或人工智能控制的无人机群的情况下，这一名称也属于武器，而不是帮助创建或控制它的技术。但当讨论集中在人工智能作为一种生存风险时，支持者并不是在谈论人工智能控制的武器平台。他们所说的是一种超智能——一种认知能力超过人类智力的实体——它可以通过做被要求做的事情来消灭人类。

根据人工智能哲学家尼克·博斯特罗姆和计算机科学家杰弗里·辛顿的说法，超级智能的能力在各个方面都将比人类大数倍。如果生活像电视节目《幸存者》中的游戏一样，通用人工智能（可以与人类智能相匹敌的系统）会在短时间内超越人类、智胜人类、超越人类或彻底杀死人类，因为存在两个理论困境：错位和工具趋同。错位是指当人工智能以对人类或环境有害的方式完成任务或操作时会发生的情况。工具趋同理论认为，当人工智能被赋予一项任务时，它将最大限度地利用所有可用资源来完成任务

人工智能和工具融合错位的一个著名例子是Bostrom在2003年提出的回形针最大化思想实验。“假设我们有一个人工智能，它的唯一目标是制造尽可能多的回形针。人工智能会很快意识到，如果没有人类，情况会好得多，因为人类可能会决定关闭它。因为如果人类这样做，回形针就会更少。此外，人体中含有大量可以制成回形针的原子。人工智能试图实现的未来将是有很多回形针但没有人类。”

另一种理论，正交性理论（Bostrom从数学中提取的一个术语，应用于人工智能）说，具有不同目标的不同人工智能将共享相似的价值观，如自我保护、认知增强（软件）、技术增强（硬件）和资源获取（时间、空间、物质和自由能量）

这些思想实验和理论让人想起了HAL，它是超级智能的对手在标志性电影导演斯坦利·库布里克和作家阿瑟·C·克拉克合作的《2001：太空漫游》中库布里克在1969年的一次采访中，也就是电影上映的第二年，用了一个熟悉的科幻小说比喻——人类不再能够控制他们创造的技术——为HAL提供了一些背景：“我们在电影的这一部分试图传达的一件事是，一个世界的现实，这个世界由与人类一样拥有更多或更多智慧的机器实体组成，他们的个性中也与人类一样具有情感潜力。”

在电影中，宇航员Dave Bowman，主角，要求HAL打开吊舱舱门。对此，超级计算机诡异地回应道：“对不起，戴夫。恐怕我做不到……这项任务对我来说太重要了，不能让你危及它。”

关于失控机器的科幻小说模板也进入了科学领域。1964年，非营利政策智库兰德公司聘请麻省理工学院哲学教授休伯特·德雷福斯审查人工智能研究人员艾伦·纽厄尔和赫伯特·a·西蒙的工作。纽厄尔是人工智能最早的科学家之一，他在1957年预测，数字计算机将在10年内取得三项非凡成就：成为国际象棋世界冠军，发现一个新的数学定理，并创作出受到评论家好评的音乐。这种乐观情绪激发了他在兰德公司的工作，由于他和西蒙的研究可能对国防有影响，该智库正在寻求外部专家的客观审查。1965年，德雷福斯在《炼金术与人工智能》中分享了他的发现，并驳斥了人类和计算机智能以相似方式运作的论点。Newell和Simon都称该报为无稽之谈，并反对其发行。他们最终输掉了这场战斗，德莱弗斯的分析成为兰德公司最受欢迎的论文之一

从那时起，人工智能研究已经取得了长足的进步。今天，全世界都被人工智能的功能所震撼。谷歌DeepMind AlphaGo在2015年击败世界围棋冠军李·索德尔的重大胜利，对埃隆·马斯克和萨姆·奥特曼决定推出OpenAI起到了重要作用，其目的是安全地实现通用人工智能的好处，同时减轻生存风险。ChatGPT在发布两个月后就成为历史上增长最快的应用程序，拥有1亿活跃用户。很快，随着风险投资家向新玩家投入数十亿美元，人工智能初创公司如雨后春笋般涌现，其中包括由前OpenAI员工创办的Anthropic，该公司在第一年就筹集了73亿美元。每个人过去和现在都在喝Kool Aid，人工智能创新竞赛正在进行。

尽管有这么多投资和进步，但没有证据表明人工智能比1965年更接近于实现超级智能，当时德雷福斯写道：“一个炼金术士肯定会认为，坚持认为，自水银诞生以来，他已经产生了许多颜色美丽的解决方案，但没有一点金子；他可能会认为这样的批评极不公平。但如果这位炼金术士停止仔细研究他的反驳和五角星图，并花时间寻找问题的真实结构，事情就会朝着更有希望的方向发展。”

对未来灾难的预测取决于人工智能将其在一个领域学到的知识应用于未经训练的完全不同领域的问题解决的能力。这种广泛的泛化能力是实现人类水平智能的关键因素。这不仅没有发生，而且没有明确的实现途径。

人工智能还必须以目标为导向，采取独立行动，防止任何干扰其目标的实现。没有证据表明这样的事情是可行的

此外，任何关于流氓人工智能表现出恶意的暗示都需要它有意识和自我意识。这是炼金术和其他深奥的魔法传统的东西，而不是科学

挪威物理学家和哲学家Ragnar Fjelland在《为什么一般人工智能不会实现》中指出，德雷福斯的批评至今仍然有效；人类的智慧部分是以未经教导但默认交流的方式传播的；使用算法或代码无法复制的方式

图灵奖得主Yann LeCun，Meta首席人工智能科学家纽约大学Courant数学科学研究所这样解释这个问题：“一个4岁的孩子看到的信息是我们现有的最大LLM（大型语言模型）的50倍。”如果你计算一下，在16000个清醒小时内，通过视神经每秒20兆字节，这还不包括通过其他感官接收的数据量

考虑到缺乏任何实质性证据支持生存风险理论，令人费解的是，为什么计算机科学和哲学领域的许多人似乎认为人工智能是一种生存威胁。事实证明，没有那么多人相信这一理论。人工智能影响组织最近对2000多名在职人工智能工程师和研究人员进行的一项民意调查显示，人工智能导致人类灭绝的风险仅为5%

此外，尽管数千名专家签署了关于人工智能风险的请愿书，但这并不一定意味着他们同意这些说法，正如麻省理工学院的两名学生所发现的那样，他们仔细研究了生命未来研究所2023年关于暂停人工智能的公开信。本科生Isabella Struckman和Sofie Kupiec发现，“很少有人声称签署是因为他们同意这封信的全部甚至大部分内容。”

这些担忧可能会引起关注，因为人工智能安全是科技行业中资金极其充足的一个领域，开发者有兴趣在美国和欧盟的人工智能政策上获得发言权，尤其是在未来监管该行业时。在说服一个信息不足的群体（立法者可能是这样）采纳政策建议方面，散布恐惧往往比客观推理更成功，效果更快。在这种情况下，人工智能安全游说团体希望政府监管人工智能的使用，而不是开发。换句话说，游说团希望把责任推给用户，而不是开发者。如果这听起来很熟悉，那是因为科技行业在过去40年里一直在敲同样的鼓：“如果你监管我们，你就会损害创新。我们只需要让客户接受最终用户许可协议，一切都会好起来的。”

流氓超级智能的幽灵只是科技行业为了避开他们所知道的即将到来的法规而分散注意力

公告将专家声音提升到噪音之上。但作为一个独立的非营利组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：AGI、AI、ChatGPT、人工智能、生存威胁、监管、超级智能、技术
主题：人工智能、颠覆性技术

很明显，有了所有的大脑和意识理论，证据就在布丁里了。我的意思是，任何特定的理论都可以用来创造一个人类成年人级别的意识机器吗。我把赌注押在了已故杰拉尔德·埃德尔曼的神经元群选择扩展理论上。基于这一理论的机器人学领导小组是加州大学欧文分校的神经机器人实验室。Edelman博士区分了初级意识和高级意识，前者在进化中最先出现，人类与其他有意识的动物共享，后者仅在人类获得…阅读更多»

Jeff Caruso是一名安全研究员和作者。他的书《网络战争内幕》目前已是第三版，将于今年秋天由…出版。阅读更多

版权所有©2024原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637 | 773.702.6308

简介