Should We, and Can We, Put the Brakes on Artificial Intelligence?
32:39 Share

OpenAI首席执行官山姆·阿尔特曼表示，人工智能是一种强大的工具，它将简化人类的工作并加快科学进步的步伐。但ChatGPT既让我们着迷又让我们恐惧，甚至一些人工智能的先驱也为此感到震惊——这项技术发展得如此之快。大卫·雷姆尼克与阿尔特曼以及计算机科学家约书亚·本吉奥进行了交谈，本吉奥因其在2018年的工作获得了享有盛誉的图灵奖，但最近他签署了一封公开信，呼吁暂停一些人工智能研究，直到能够实施监管为止。本吉奥说，利害关系很高。“我相信，这种技术在短期内扰乱民主的风险并非微不足道。” </context> <raw_text>0 听众支持。WNYC工作室。这是《纽约客》广播节目，由WNYC工作室和《纽约客》联合制作。欢迎收听《纽约客》广播节目。我是大卫·雷姆尼克。每一次技术革命都让人们感到恐惧，特别是那些即将失去一些东西的人。当古腾堡开始用活字印刷时，他是一个言行一致的人。

宗教和政治当局想知道如何应对一个能够接触到新的信息和论点来挑战其权威的人口。因此，人工智能现在引起严重关注不足为奇，因为它将影响我们每个人。也许最大的噩梦是迫在眉睫的新工业革命，数百万工人的就业岗位流失，大量工作岗位的消失。国会现在面临一个选择。

当我们面临社交媒体时，我们也有同样的选择。我们错过了那个机会。令人惊讶的是，一些一直在竞相开发人工智能的人现在似乎对他们取得的进展感到深深的震惊。3月份，就在ChatGPT开始同时吸引和吓唬我们所有人后不久，

一千多名技术专家签署了一封公开信，呼吁暂停某些人工智能研究六个月。一些专家表示，不受控制的人工智能可能对我们共同的未来构成与核武器或大流行病一样危险的威胁。因此，我们今天将讨论人工智能。它如何改变世界？我们应该有多担心？

我先从山姆·阿尔特曼开始，他是OpenAI的首席执行官，该公司一直在发布越来越复杂版本的ChatGPT。几年前，当互联网处于早期阶段时，我们被一种互联网的狂热情绪所包围，或者至少我觉得是被包围的。任何对互联网表示怀疑的人都被认为是卢德分子、无知者或一个迷人的、害怕的人，已经过了他的有效期。现在，随着人工智能的兴起……

我们听到很多方面的警报。所以我在这里想要尝试实现的是进行一场理性的讨论，既要对我们身处何地、你认为我们将走向何地有一个事实性的描述，同时也要表达人们的担忧。所以让我们从最基本的事情开始吧。你从事人工智能研究近十年了。你是如何进入这个领域的，你的预期是什么？

我的意思是，从我还是个孩子的时候起，我就想从事这项工作。我是一个非常书呆子气的孩子。我非常喜欢科幻小说。我从未想过自己真的会从事这项工作。但后来我去上学学习人工智能。而且

我记得有人告诉我的一件令人难忘的事情是，在人工智能领域获得糟糕职业生涯的唯一万无一失的方法是研究神经网络。我们还有其他想法，但这是我们已经证明行不通的一种。2012年，发表了一篇论文。作者之一是我的联合创始人伊利亚·苏茨科弗，这是一篇关于神经网络的文章，它在图像分类竞赛中表现出色。而且

这让我感到惊讶，因为我之前一直认为这件事不会成功。在那之后，一家名为DeepMind的公司做了一些事情，击败了围棋世界冠军。在2015年底，我们创立了OpenAI。我们的第一个大型项目之一是在玩这款名为Dota 2的电脑游戏。我得以观察那个神经网络、那种努力、那个系统是如何成长起来的，第一。

我们真正、真诚地知道，仅仅是把戏就有一个能够学习的算法。

而且它随着规模的扩大而变得更好。我们花了一段时间才发现当前这些大型语言模型的范式。但是基本的洞察力和基本的算法从公司成立之初就都存在了。所以GPT突然出现在人们的视野中。你已经谈了很多关于它的潜力。与此同时，你，好吧，让我们这么说吧，你吓坏了很多的人。你认为它的潜力是什么？你是否理解为什么人们会

为此感到不安。首先，即使是我不同意人们感到害怕的部分，我也能理解他们的感受。如果我们能够成功地创造出一台有一天能够像人类一样学习和执行新任务的电脑，即使你不相信任何科幻故事，

你仍然会对这将给社会带来的变革程度以及这种变革发生的时间压缩感到害怕。好吧，让我们慢下来一会儿。从更广泛的意义上讲，这暗示着未来将发生什么样的具体变化？

我认为这意味着我们所有人将拥有更强大的工具，这些工具将显著提高一个人的能力，但也提高了一个人需要做什么才能成为社会中有生产力的一员并做出贡献的门槛。因为这些工具最终会增强我们的能力，以至于它们会改变

一个人或一小群人能够并且正在做的事情。我认识的很多作家都对ChatGPT产生了浓厚的兴趣，他们认为ChatGPT会淘汰他们。我必须承认，我用你最新的ChatGPT版本来尝试模仿我的写作。

而且毫不夸张地说，它没有做到。结果就像一篇百科全书条目，名词都是我感兴趣的主题。所以告诉我ChatGPT现在发展到什么程度了。

但是当我过几周后ChatGPT变得更好时，我是不是应该放弃呢？我们对事物现状感到兴奋，但我们也总是试图谈论其局限性和不足之处。也许未来的GPT版本会取代糟糕的作家。但这对我来说很难。

现在每次我和像你这样的人交谈时，我都说这是，你知道，这真的不是……是的，你认为我们在自卫吗？不，不，不，我认为你是对的，我认为在关于ChatGPT和这个新世界的强烈情绪中，很容易说大势已去，人类将没有角色可演，这东西将会接管一切。

我认为情况不会如此。我认为我们短期内不会面临所有人类工作的彻底毁灭。我认为，将这一点与这样一个事实相平衡是困难而重要的，那就是某些工作将在短期内被彻底取代。在你看来，你认为哪些工作会被很快淘汰？

我认为很多客户服务工作、很多数据录入工作会被很快淘汰。所以这也许有用。你现在做的事情，比如你访问某个网站，试图退回某些东西，然后你与坐在聊天机器人另一端的人聊天，他们，你知道，给你寄一个标签等等。我认为这项工作会被淘汰。

此外，你打电话给某人，这需要更长的时间。但我认为这项工作也会被淘汰。但我认为大多数人不会失业。我认为有很多原因，这会

对很多人来说。当然，有些人想要工作。我认为世界上有些人不想工作，而是以其他方式获得满足感，这也不应该被污名化。但我认为很多人，比如说，想要创造，想要做一些让他们感到有用的事情，想要以某种方式回馈社会。将会有新的工作或人们认为是工作的事情，而我们今天不会以同样的方式认为是工作，就像

也许你所做的或我所做的对那些做着

实际的体力劳动来生存的人来说，似乎不像是一份工作。随着世界变得更加富裕，随着我们取得技术进步，标准也在发生变化，我们所认为的工作、必需品以及其他许多事情也在发生变化。所以我认为这将再次发生在人工智能领域。我意识到，其中一些内容来自你几年前发表的一篇文章《摩尔定律适用于一切》。你建议实施一些经济政策，例如普遍基本收入政策。

对土地和资本征税，而不是对财产和劳动征税。所有这些都已被证明难以通过，即使是最温和的形式也是如此。它们将来如何才能变得流行起来？我认为这些事情确实很难，但是A，这并不意味着我们不应该尝试。事情最终发生的方式是，随着时间的推移，越来越多的人谈论它们。而且B，

当大地在颤抖时，我认为，这是你能取得激进的政策进展的时候。所以我同意你的观点。今天，我们仍然无法做到这一点。但是如果人工智能保持其可能的发展轨迹，你知道，也许几年后，这些看起来就不那么激进了。而且……

我们在就业市场动荡的同时，实现了巨大的GDP增长。也许所有这些都是可能的。我们提前有更多的时间让人们研究这样的想法并提出新的想法，我认为越好。我相信我们有一个真正塑造它的机会，如果你拿走一些东西，一种曾经非常昂贵、有限且重要的商品，并使其变得

易于访问且极其便宜。我相信这在世界上主要是一种均衡的力量。我们正在通过Chachi PT看到这一点。我们试图设计到其中的一个方面，我认为这是这场特定技术革命中令人兴奋的一部分，是……

任何人都可以使用它。孩子们可以使用它。老年人可以使用它。不熟悉技术的人也可以使用它。你可以拥有一台非常便宜的移动设备，它没有多少功能，但仍然可以从中获得与世界上最好的计算系统一样多的好处。我的梦想是，我们找到一种方法，让这些系统的治理、它们产生的利益以及对它们的访问能够公平地分配给地球上的每个人。

这是《纽约客》广播节目，我今天正在与OpenAI的首席执行官山姆·阿尔特曼交谈，OpenAI开发了ChatGPT和GPT-4。山姆，跟我们谈谈通用人工智能吧，这似乎比我们一直在讨论的还要更进一步。我认为这是一条非常模糊的界限。我认为通用人工智能对人们来说意味着

非常强大的人工智能。这是一种简写。我个人的定义是，能够真正显著影响人类取得科学进步或社会取得科学进步速度的系统。其他人使用诸如能够完成目前具有经济价值的人类工作一半的系统的定义。

其他人使用一个能够自己学习新事物的系统。后一点是造成焦虑的原因，不是吗？这是一个能够超出人类影响范围运行的系统。

好吧，这有两个版本。有一个版本即使对我来说也会造成很多焦虑，而另一个版本则不会。不会造成焦虑的一个版本，也是我认为将会发生的一个版本，并不是人工智能自己编写代码并改变其架构等等，而是如果你问人工智能一个它不知道答案的问题，

它可以去做人类会做的事情。比如说，“我不知道。我要去读书。我要去打电话给聪明人。我要去进行一些对话。我要更努力地思考。现在我要在我的神经网络中存储一些新的知识。”这对我来说感觉很好。当然，它自己编写代码并改变其架构的那个版本。这对我来说非常可怕。

人工智能系统已经产生了其创造者没有预料到或准备好的技能。学习语言，它没有被编程去学习，例如弄清楚如何编写代码。所以令人担忧的是，人工智能可能会摆脱人类监督者的控制，并造成某种程度的破坏。我发现自己在思考这个问题时，以及我在其他人身上也注意到的一个根本性问题是，你知道，这是一个工具还是一个生物？我认为这很诱人。这是公平的。

将生物性投射到这个上面，因为它有语言，因为这感觉如此拟人化。但是这个系统是一个这样的系统，它接收一些文本，对其进行一些复杂的统计处理，然后输出更多文本。正如我们所看到的，令人惊叹的涌现行为可以由此发生，这可以显著影响一个人的思维。我们需要对它进行很多限制。嗯，

但我认为我们不是要在这里创造一个生物。现在，人类确实可以非常严重地滥用这个工具。我对此非常担心，比我担心目前这种科幻式的“这东西苏醒了并失去了控制”的情况要多得多。山姆，你最近与立法者进行了很多对话。你在参议院小组委员会面前作证，这被广泛报道。但在那之前，你在白宫举行了一次私人会议。

告诉我，有哪些人在那里，谈话的内容是什么？这是由副总统哈里斯领导的政府多名官员，以及四家科技和人工智能公司的首席执行官。谈话的主题是，随着我们走向这场技术革命，公司可以做些什么来帮助确保这是一次良好的变革，并帮助让人们相信我们将

把我们能够做对的事情做对，然后我们需要在短期内做到。然后政府能做什么？随着这项技术的发展，哪些类型的政策理念可能是有意义的？我特别担心短期内的一个领域

是生成内容的来源。明年我们将举行选举。图像生成已经非常出色了。音频生成也越来越好了。视频生成还需要一段时间，但也会变得很好。

我相信，作为社会，只要有足够的时间，我们就能适应这一点。你知道，当Photoshop出现时，人们有一段时间真的被骗了，很快人们就学会了对图像持怀疑态度，人们会说，“哦，那是Photoshop的，或者那是伪造的”，等等。所以我相信我们能够再次做到这一点。但我们现在也有一个不同的竞技场。而且有Twitter和这些电报群，以及其他传播这些东西的方式。

有很多监管措施可以奏效，还有一些技术措施，例如水印图像或传播检测器，这些措施可以与仅仅要求人们披露生成内容相结合。然后是对公众的教育，你必须注意这一点。最终，你认为房间里最有权势的人是谁，是政府方面的人还是领导科技公司的人？这是一个有趣的问题。我认为政府当然……

即使在中期也更有权力。但是政府需要更长的时间才能完成事情。所以我认为重要的是，公司在短期内，在非常短期内独立地做正确的事情。

但是你明白，几年前，在《连线》杂志的封面上，有一种对技术的狂热情绪，但在过去几年里……这次感觉不一样，是吗？不，感觉完全不一样。不是因为我喜欢它，而是Facebook和谷歌等公司的公众形象不再是以前的样子了。我认为……

对这些公司能够把事情做对的信任。所以当我们听到关于白宫副总统及其同事与科技公司领导人之间会谈的消息时，我们想知道

发生了什么，谈话是什么样的，以及它将导致什么，谁在负责？非常有必要了解这方面的细节。这里正确的答案非常清楚，那就是政府应该负责。而且不仅仅是我们政府。我认为这是其中一个地方，我意识到这听起来多么天真，以及这将多么困难，我们需要国际合作。我最近一直在使用的例子是，我认为我们需要像IAEA这样的东西，

我们为核武器而设立的，这将需要……显然是原子武器和原子能。我认为这很难做到。这需要超级大国之间的国际合作，而这些超级大国现在相处得不太好。但我认为这是正确的长期解决方案，考虑到这项技术可以发展得多么强大。我实际上乐观地认为，从技术上讲，这是可以做到的。我认为……

这项技术的工作方式，所需GPU的数量，能够制造它们的人数很少，以及可以对它们施加的控制，更不用说这些系统的能源需求了。就像，有可能在国际上规范这一点。所以我认为政府必须带头。我认为我们需要……

政府制定规则的认真监管。我认为科技公司提供意见是好的，告诉我们认为技术的发展方向，哪些技术可能有效，哪些技术无效。但是政府，实际上是全世界的人民必须决定。山姆·阿尔特曼，非常感谢你。谢谢。山姆·阿尔特曼是OpenAI的首席执行官，该公司创建了ChatGPT。

我们将在稍后继续讨论人工智能的风险和益处。这是《纽约客》广播节目。♪

我是玛丽亚·科尼科娃。我是内特·西尔弗。我们的新播客《风险业务》是一个关于做出更好决定的节目。我们都是记者，我们喜欢玩扑克，这就是我们将用来处理整个节目的视角。我们将讨论从高风险扑克到个人问题的一切。比如我是否应该叫一个水管工或者自己修理我的淋浴器。当然，我们也会谈论选举。在您收听播客的任何地方收听《风险业务》。

这是《纽约客》广播节目。我是大卫·雷姆尼克。我们今天正在讨论人工智能的希望和危险。计算机科学家约书亚·本吉奥在80年代和90年代开始从事人工智能研究，他被称为人工智能的“教父”之一。本吉奥特别关注神经网络。这就是软件能够以某种方式模仿大脑功能和学习方式的想法。大脑本身就是一种网络。

现在，当时大多数科学家认为这永远不会真正奏效。但是本吉奥和其他人坚持了下来。他们的研究导致了语音识别、机器人技术以及更多领域的进步。2018年，本吉奥与杰弗里·辛顿和另一位同事一起获得了图灵奖，这被认为是计算机领域的诺贝尔奖。

ChatGPT也是建立在本吉奥帮助建立的基础之上的。它是一个神经网络。但是本吉奥并没有庆祝他所在领域的这一非凡成就，而是做出了完全不同的反应。因此，3月份，一群在科技领域非常杰出的人签署了一封公开信，信中说，所有人工智能生产商都应该至少停止训练他们的系统六个月。你签署了这封信。甚至埃隆·马斯克，他并不以其

过度的谨慎而闻名，也签署了这封信。请告诉我这封信是如何产生的，以及其动机是什么。我们看到了像ChatGPT和GPT-4这样的人工智能系统能力的意外和快速提升。我们并没有要求停止所有的人工智能研究、开发和部署，只是那些让我们非常担忧的非常强大的系统。我相信有一个

并非微不足道的风险，即这种技术在短期内可能会扰乱民主，并且在未来几年随着人们正在研究的进步，可能会导致

失去对人工智能的控制，这可能会产生更灾难性的影响。所以我刚刚与山姆·阿尔特曼谈过话，我问他关于所有最令人恐惧的担忧，即人工智能实体基本上可能成为一个有感知能力的生物，它可以重写自己的源代码

并且以某种方式，就像在一部可怕的科幻电影中一样，摆脱人类的控制。阿尔特曼向我保证，这不太可能。你怎么看？他是说这对于当前系统来说不太可能，还是在未来不太可能？当然，对于当前系统来说。是的。所以我同意他的观点。

但是未来呢？对于未来，是的，确实存在风险。这是一个我们还不够了解的风险。换句话说，你可能会看到像我的朋友扬·勒丘恩这样的专家说一件事，而像杰夫·辛顿和我说相反的事情。可能发生坏事的场景还没有得到充分的讨论和研究。很多人谈论人工智能对齐。换句话说，你可能会要求机器做某事，而它可能会以不同的方式行事，这可能是危险的。

存在一种不同类型的人工智能对齐问题，即对社会和人们普遍福祉有益的东西与公司正在优化的东西（即利润及其合法的约束）之间存在对齐问题。

这实际上很有趣，因为我发现这有助于更好地理解人工智能可能出错的地方。因此，你可以将公司视为一种特殊类型的智能，它们并不完全是人工的，因为其中有人类，但它们的行为方式可能类似。我们试图将公司

公司与社会的需求重新对齐，通过各种法律法规。尤其是在人工智能的情况下，我认为我们需要监管，一种将非常适应性的监管框架，因为技术发展迅速，科学发展迅速。我们不希望国会或议会以及其他国家的议会来规定细节。他们想指定一些

更专业的机构，而不是政治家，而是专家，来寻找保护公众的最佳方法。那么，你、杰夫·辛顿和其他人将如何描述一个非常糟糕的结果？你设想至少是可能的、不可预测的和危险的场景是什么？想象一下，几年后……

科学家们找到了如何构建一个能够自主运行并可能对人类构成危险的人工智能系统的方法，因为它将拥有可能与我们相冲突的自身目标。也许我们甚至也已经找到了如何构建不会这样行为的安全人工智能的方法。问题是我们有这个选择。也许实验室里的那些科学家会选择好的AI解决方案。

但是世界上任何地方都可能有人，如果他们能够访问所需的计算能力，而现在这并不是很多。所以想想Chat GPT。你不需要重新训练它。你只需要给出正确的指令。任何人都可以做到这一点。你具体认为哪种情况是有可能发生的，你正试图阻止这种情况？有一个名为AutoGPT的组织，它是在过去几周或几个月前出现的。

这使得将几乎没有或根本没有代理能力的东西（如Chat和GPT）转变为实际上追求人类会输入的目标，然后创建自己的子目标来实现这些目标成为可能。它正在增加

人工智能系统对人类构成危险的可能性，因为它们正在连接，例如，该系统与互联网。它可以通过现有的设施向人们索要钱财来要求人们做事情。如果我们有，而不是Chat GPT，一些

比人类更聪明的东西，这可能在短短五年内就会到来，我不知道，那么这可能会造成灾难性的后果。你已经提出了人工智能被用于军事用途的问题。军队应该如何使用人工智能，如果有的话？危险是什么？好吧，危险首先在于我们将许多

艰难的道德决策交给了可能不像我们那样理解什么是对什么是错的机器。你可能知道那个俄罗斯军官的故事，他决定不按下按钮，尽管指令可能会导致可能造成灾难性的核交换，因为他认为这是错误的。这是一个误报，对吧？

如果我们构建具有代理能力和自主性的人工智能系统，并且它们可以杀人，因为它们是武器，那么发生真正灾难性事件的可能性就会更大。但是，就像简单的，比如说，普京想要摧毁西欧，并利用人工智能技术以其他方式可能无法实现的方式做到这一点。如果人工智能被嵌入到

武器、军队中，那么造成大规模危险影响就会更容易。我必须问你，你已经在这个领域工作多年了。为什么突然……几十年了。几十年了。突然每个人都非常担心它。多年来，不仅在这个领域，而且在这个领域之外，一直都有关于它的传言。这种担忧已经爆发了。发生了什么事？为什么没有早一点预见到呢？

好吧，正如你所说，一些人预见到了这一点，这是一小部分人。所以事实是，我们大多数人工智能研究人员都没有预料到我们会达到我们在Chat GPT和GPT-4中看到的这种能力水平。我们预计这样的事情，达到这个水平可能需要10年或20年。是的。

而人类水平的智能可能需要50年。我的意思是，我们对风险的预期时间大大缩短了。如果你正在研究一个主题，那么认为这对人类有益比认为，“哦，天哪，这可能会非常具有破坏性”在心理上更舒服。我们有这些作为人类问题一部分的自然防御机制。我们并不总是理性的。有没有可能

人工智能会导致更大的差距，社会差距，收入差距。什么可以防止这样一种情况，即人工智能的好处集中在一小部分人口中，而大量的人口

经历了流离失所、失业，实际上变得更穷了。总的来说，如果你考虑一下人工智能是什么，它只是一个非常强大的工具。如果你只是考虑拥有非常强大的工具，它显然可以被那些有权势的人用来获得更多权势。阻止这种情况发生的是政府，例如税收，以及政府为每个人提供的服务等等。

以便平衡事物。你是否担心杰夫·辛顿、史蒂夫·沃兹尼亚克发出的警告对某些人来说像是老一代人对新一代科学家发出的抱怨？不。我的意思是，我的学生们很担心，而且有很多年轻人很担心。我认为这场正在……

形成的战斗在很多方面与气候变化的担忧和对政策的要求有很多共同之处。很多年轻人都在努力保护我们的，你知道，为了子孙后代的利益。我认为人工智能也面临着类似的问题。是的。

应对气候紧急情况令人困惑的一点是需要协调一致的国际努力。对于人工智能，你不仅需要做到这一点，而且我认为可以公平地说，人们对人工智能基础的理解程度非常低。换句话说，人们可以理解河流干涸、气温升高、海平面上升等等。

人工智能的复杂性以及预测这些复杂性甚至更加复杂，您不这么认为吗？因此，我认为可能促使各国参与所需的国际合作的是，它们自身有兴趣避免灾难性后果，在这种后果中，每个人都会输。因此，一个很好的类比是二战后德国之间发生的事情

主要是美国和苏联，然后在某种程度上是中国，制定协议以降低核末日风险。我认为，这在很大程度上要归功于这些国际协议，因此情况一直还可以。所以，这个比较是军备控制，核军备控制？是的。它并不完全相同，但我认为这是一个很好的模型。本吉奥先生，非常感谢您。感谢您的时间。我很荣幸。感谢您的邀请。

约书亚·本吉奥是蒙特利尔学习算法研究所的科学主任。我是大卫·雷姆尼克，这是今天的《纽约客》广播节目。感谢收听。我希望您下次能加入我们。《纽约客》广播节目是WNYC工作室和《纽约客》联合制作的。好了。

我们的主题音乐由Tune Arts的梅丽尔·加贝斯创作并演奏，路易斯·米切尔创作了额外的音乐。本集由马克斯·巴尔顿、布里塔·格林、亚当·霍华德、卡拉利亚、艾弗里·基特利、大卫·克拉斯诺、杰弗里·马斯特斯、路易斯·米切尔和恩戈芬·姆普图布韦莱制作，在艾米丽·博廷的指导下，并得到哈里森·基思莱恩、迈克尔·梅、大卫·盖布尔和亚历杭德罗·特凯特的协助。

《纽约客》广播节目部分由切雷纳捐赠基金支持。我从沃尔玛买的Wrangler牛仔裤是我最喜欢的裤子。它们采用修身剪裁，非常适合外出。嘿，你好吗？它们足够耐用，即使是我的轮班也能穿，而且足够有弹性，当我想要放松看电影时也能穿。所以基本上，它们无所不能，而且符合我的预算。我的意思是，拜托。你真的无法超越这一切。在沃尔玛购买你的Wrangler牛仔裤。