An Interview With the Herald of the Apocalypse
58:55 Share

我是海伦·库珀。我为《纽约时报》报道美国军方。所以我现在坐在五角大楼外停车场的车里。多年来，我在大楼里有一个带桌子的隔间，但特朗普政府取消了它。当权者总是让记者很难受。这在过去并没有阻止我们。现在也不会阻止我们。我会继续努力向你们提供事实。

这项工作离不开《纽约时报》的订户。来自《纽约时报》观点版，我是罗斯·道塞特，这是《有趣的时代》。人工智能时代已经到来。最大的问题是这场革命将进行到何种程度以及速度有多快。我今天的嘉宾代表了非常遥远、极其迅速的视角。

他曾是OpenAI的研究员，因为他认为该公司行为鲁莽而辞职。他是最新预测报告的合著者，该报告预测，在短短几年内，我们可能生活在一个由管理机器之神的寡头统治下的后工作享乐天堂中。或者我们都可能死了。

我个人怀疑我们面临的危险并没有那么迫在眉睫和可怕。我怀疑人工智能的能力比我的客人设想的有更多限制。

但重要的是要听取认真对待这些可能性的人的意见。因为许多深度参与人工智能工作的人认为他们正在创造这个未来，并认为他们正在工作，我们生活在可能世界末日的阴影下。所以，丹尼尔·科卡特洛，世界末日的预言者，欢迎来到《有趣的时代》。感谢你的介绍，我想，也感谢你邀请我。谢谢你。

所以，丹尼尔，我很快地读了你的报告，不是以人工智能的速度，不是以超级智能的速度，它刚出来的时候。然后我大约花了两个小时思考了很多关于未来的相当黑暗的想法。然后幸运的是，我有一份工作需要我关心关税，你知道，新教皇是谁。我有很多孩子需要我照顾。所以我能够把一切都划分开来。

然后把它放在一边。但这目前是你的工作，对吧？我会说的。你一直在思考这个问题。如果你对世界即将以极大地不利于整个人类物种的方式发生彻底改变抱有合理的预期，那么你的心理每天都会有什么感觉？嗯，这非常可怕和悲伤。

我认为它有时仍然会让我做噩梦。你知道，我已经参与人工智能并思考这类事情十年左右了，但2020年有了GPT-3，那一刻我就像，“哦，哇，好像我们真的，就像，这可能真的会发生，你知道，在我有生之年。”这对我心理上来说是一个打击，但是……

我不知道，只要有足够的时间，你就能习惯任何事情。和你一样，阳光明媚，我有我的妻子、孩子和朋友，继续努力，做我认为最好的事情。从好的方面来说，我可能对所有这些事情都错了。好的，让我们进入预测本身。让我们直接讨论你所看到的未来的初始阶段，这是一个世界，在这个世界中，人工智能很快就能在一些关键领域取代人类，首先是，毫不奇怪，计算机编程。

所以我觉得我应该在某个时候加上免责声明，未来很难预测。而且，你知道，这只是一个特定的场景。这有点像最好的猜测，但我们有很多不确定性。它可能会更快。它可能会更慢。事实上，我现在猜测它可能更像是2028年而不是2027年。所以这是一个非常好的消息。我对此感到相当乐观。那是人类文明额外的一年，这非常令人兴奋。没错，没错。所以有了这个重要的警告，是的。

AI 2027，这个场景预测，我们目前看到的正在被扩展、变得更大、在更困难的任务上进行更长时间训练并使用强化学习的AI系统，将变得更擅长作为代理自主运行。基本上，你可以把它想象成

一个远程工作人员，除了工作人员本身是虚拟的，是人工智能而不是人类。你可以和它交谈并给它分配任务，然后它就会离开去做这项任务，并在半小时或十分钟后回到你身边。

完成任务。在完成任务的过程中，它进行了一系列网络浏览。它可能编写了一些代码，然后运行代码，然后编辑代码并再次运行等等。它可能编写了一些Word文档并对其进行了编辑。这就是这些公司现在正在构建的东西。这就是他们试图训练的东西。所以，

我们预测，在2027年初，它们在这方面做得足够好了，可以使软件工程师的工作自动化。对。所以这是超级程序员。没错。超人类程序员。在我们看来，与他们可以关注的其他各种工作相比，这些公司真的非常专注于首先自动化编码。

这就是为什么我们预测实际上首先消失的工作之一将是编码而不是其他各种工作的原因之一。可能还有其他工作会首先消失，比如呼叫中心工作人员之类的工作。但底线是，我们认为大多数工作都是安全的。18个月。没错，就是这样。我们确实认为，当公司设法完全自动化编码、编程工作时，在他们也能自动化许多其他类型的工作之前不会太久。

因此，一旦编码自动化，人工智能研究的进展速度就会加快。然后，在那之后下一步是完全自动化人工智能研究本身，以便人工智能研究的所有其他方面本身都被自动化并由人工智能完成。我们预测，在那一点周围会有一个更大、更快的加速。而且不会止于此。我认为在人工智能在人工智能研究方面变得超人类，最终在所有方面都变得超人类之后，它将继续加速。

它之所以重要，是因为这意味着我们可以在相对较短的时间内（例如一年或可能更短的时间），从看起来与今天的人工智能系统不太不同的AI系统转变为你可以称之为超级智能的东西，即比人类在所有方面都更好的完全自主的AI系统。因此，AI 2027的场景描绘了这种情况在未来两年（2027年、2028年）内发生。

所以我想了解这意味着什么。但我认为对许多人来说，这是一个在许多、许多、许多领域迅速淘汰人类的故事。当人们听到“人类过时”这样的短语时，他们可能会将其与“我失业了，现在我穷了”联系起来，对吧？是的。

但假设是你失业了，但社会却越来越富裕。我只是想关注一下这是如何运作的。是什么机制使社会变得更加富裕？

所以你问题的直接答案是，当一项工作被自动化，而那个人失业时，他们失业的原因是因为现在人工智能可以做得更好、更快、更便宜。这意味着有很多成本节约，也可能会有生产力提高。所以

孤立地来看，这对工人来说是损失，但对他们的雇主来说是收益。但是如果你将其扩展到整个经济体，这意味着所有企业都将提高生产力，降低支出。他们能够降低他们生产的服务和商品的价格。因此，整体经济将蓬勃发展。你知道，GDP飞涨，各种美妙的新技术。创新的速度急剧增加。商品成本下降等等，

但为了具体说明，对吧？所以从头到尾设计和建造一辆新电动汽车的价格大幅下降。你需要更少的工人来做这件事。人工智能想出了建造汽车的奇特新方法等等，对吧？没错。你可以将其推广到许多不同的事情。你知道，你很快就能解决住房危机，因为建造房屋变得更便宜更容易等等。但是普通人在传统的经济故事中

当你获得生产力提高时，这会让一些人失业，但会释放出资源，然后这些资源被用来雇佣新人做不同的事情。这些人获得更高的薪水，他们用这笔钱购买更便宜的商品等等，对吧？但在这个场景中，你似乎并没有创造

那么多新的工作。确实如此。这是一个非常重要的点需要讨论。从历史上看，当你使某事自动化时，如果说得通的话，人们会转向尚未自动化的东西。因此，总的来说，人们最终仍然会得到他们的工作。他们只是改变了他们的工作。当你拥有AGI或人工通用智能，当你拥有超级智能时，你知道，更好的AGI，这与众不同。

无论你想象人们在他们当前的工作被自动化后可以逃往的任何新工作，AGI也可以做这些工作。因此，这与过去自动化工作的模式以及我预期未来自动化工作的模式之间存在重要区别。

但这又意味着，这将彻底改变经济格局。股市正在蓬勃发展。政府税收也在蓬勃发展，对吧？政府拥有比它知道如何处理的更多的钱。而且越来越多的人正在稳步失去工作。你会立即就普遍基本收入展开辩论，这可能是相当大的，因为公司正在赚取如此多的钱。没错。你认为他们在那个世界里每天都在做什么？

我想象他们正在抗议，因为他们对失去工作感到不安。然后公司和政府正在用救济金来收买他们，这就是我们在AI 2027中预测事情的发展方式。你认为这个故事，再说一次，我们在你的场景中谈论的是一个短暂的时间线，人工智能能够开始导航人工智能有多重要？

现实世界？因为机器人技术的进步，就像现在一样，我刚刚观看了一段视频，展示了最先进的机器人正在努力打开冰箱门并储存冰箱。所以你是否也期望这些进步也会得到极大的提升？所以不仅仅是

你知道，播客主持人和AGI研究人员被取代了，水管工和电工也被机器人取代了？是的，就是这样。这将是一个巨大的冲击。我认为大多数人并没有真正期待这样的事情。他们期望我们有点像

拥有今天看起来的人工智能进步，即由人类经营的公司逐渐改进新的机器人设计，并逐渐弄清楚如何使人工智能擅长X或Y。而事实上，它更像是你已经拥有了这支超级智能大军，它们在每项智力任务上都比人类更好，而且更擅长快速学习新任务，更擅长弄清楚如何设计东西。

然后这支超级智能大军就是弄清楚如何使管道工作自动化的事情，这意味着他们将能够比一个由人类组成的普通科技公司更快地弄清楚如何使管道工作自动化。对。获得自动驾驶汽车或能够储存冰箱的机器人的所有缓慢性，

消失了，因为超级智能可以运行无数模拟，并找出训练机器人的最佳方法。例如，但他们也可能从他们进行的每个现实世界实验中学习更多。对。但是，我的意思是，这是我最怀疑时间线的地方之一，仅仅是因为……

在撰写关于诸如美国政治中的分区等问题时进行操作和写作。所以是的，好的，AGI，超级智能弄清楚了如何建造一个装满自主机器人的工厂，但你仍然需要土地来建造工厂，你需要供应链，所有这些事情仍然掌握在像你我这样的人手中，对吧？我的

我的预期是这会减慢速度，对吧？即使在数据中心，超级智能知道如何建造所有管道机器人，但建造它们仍然会很困难。这是合理的。你认为事情会慢多少？

嗯，我不是，我不是在写预测，对吧？但我猜如果只是，只是根据过去的经验，对吧？我会说押注，让我们说，从超级思维弄清楚建造机器人水管工的最佳方法到有大量工厂生产机器人水管工需要5到10年。我认为这是一个合理的看法，但是。

但我猜它会比5到10年快得多。要了解我为什么这样认为，想象一下你实际上拥有这支超级智能大军，而你

他们进行预测，他们说，“是的，我们有设计。就像，如果你给我们，如果你为我们取消所有繁文缛节，我们认为我们可以在一年内做到这一点。如果你给我们一半，给我们一半的马尼托巴省。”对，是的。在AI 2027中，我们描绘的情况是具有零繁文缛节的特殊经济区。政府基本上进行干预以帮助整个事情更快地进行。政府基本上是在帮助

科技公司和超级智能大军获得它需要弄清楚所有这些事情所需的资金、现金、原材料、人力帮助，并取消繁文缛节等等，这样就不会减慢速度。因为收益的承诺是如此之大，以至于即使在这些特殊经济区外有戴着面具的抗议者即将失去他们的水管工工作并依赖普遍基本收入，

数万亿美元财富的承诺对政府来说太诱人了，无法放弃。那是你的赌注。这就是我们的猜测。但当然，未来很难预测。但我们预测的部分原因是，我们认为至少在这个阶段，美国与其他国家（最著名的是中国）之间的军备竞赛仍在继续。对。所以如果你想象一下总统的位置……

而且，你知道，超级智能正在向你提供这些精彩的预测，并有令人惊叹的研究和数据支持，展示他们认为如果他们做了X、Y和Z，他们如何在一年内改变经济。但如果你什么都不做，由于所有法规，这将需要他们10年时间。与此同时，中国，你知道，很明显，总统会非常同情这个论点。好。那么让我们谈谈这里的军备竞赛因素，对吧？因为这实际上至关重要。嗯哼。

你设想的场景的实现方式。我们已经看到了美国和中国之间这种竞争。因此，在你看来，这成为政府不断对超级智能提出的每一件新事物说“是”和“是”的核心地缘政治原因。我想深入探讨一下

会促使这种行为的恐惧，对吧？因为这将是一场经济军备竞赛，好吧，但这也是一种军事技术军备竞赛。这就是赋予它这种存在主义感觉的原因，就像整个冷战浓缩成18个月一样。所以……

我们可以首先从双方都拥有超级智能但一方将它们锁在盒子里（可以这么说）的情况开始，实际上并没有在经济中做太多事情，而另一方则积极地将它们部署到他们的经济和军队中，并让他们设计各种新的机器人工厂，你知道，管理各种新工厂和生产线的建设，以及正在测试、建造和部署的各种疯狂的新技术，包括疯狂的新武器，并整合到军队中……

我认为在这种情况下，一年左右后，你最终会处于一方完全在技术上支配另一方的情况。因此，如果美国这样做停止，而中国没有，比如说，那么市场上所有最好的产品都将是中国产品。它们会更便宜，而且更好。与此同时，在军事上，会有巨大的

令人惊叹的隐形无人机舰队或超级智能炮制的东西，它们可以完全击败美国空军和陆军等等。而且

不仅如此，他们还可能破坏美国的核威慑。就像也许我们所有的核武器都会被奇特的新型激光阵列或超级智能建造的任何东西击落一样。显然，很难预测这将确切是什么样子，但可以肯定的是，他们能够想出一些在军事上极其强大的东西。

因此，你就会陷入一种类似于冷战最黑暗日子的动态，双方不仅担心主导地位，而且基本上担心先发制人。没错。你的预期是，我认为这是合理的，军备竞赛的速度会很快将这种恐惧摆在首位。没错。

我认为如果你认为一支超级智能大军被给予整整一年时间，没有繁文缛节，而且有很多资金和资金，却无法找到一种破坏核威慑的方法，那么你就是在把头埋在沙子里，你知道吗？对。所以这是一个合理的威胁。对。一旦你决定他们可能会……

人类决策者会感到压力，不仅要建造这些东西，还要考虑使用它们。是的，这里可能是一个好时机来提到AI 2027是一个预测，但它不是一个建议。我们并不是说这就像每个人都应该做的事情一样。如果事情按照我们所说的那样发展，这对人类来说实际上是非常糟糕的。但这就是我们认为这可能发生的原因背后的逻辑。

是的，但丹，我们甚至还没有谈到对人类真正有害的部分。所以，你知道，所以让我们让我们谈谈这个。对。所以这是世界，人类眼中的世界，再次，普通人在读报纸，你知道，关注TikTok或其他什么，在2027年的这个时候看到的是一个拥有新兴的超级丰富的廉价消费品、工厂、机器人管家（如果你是对的）的世界。

一个人们意识到军备竞赛日益加剧，人们越来越偏执的世界。我认为这可能是一个政治动荡相当剧烈的世界，因为人们意识到他们都将失业。但你场景的一个重要部分是，人们没有看到的是超级智能本身正在发生的事情。所以谈谈在这个世界中基本上隐藏在公众视野之外的事情。

是的，有很多话要说。我想一句话的版本是，我们实际上并不了解这些AI的工作原理或它们的想法。我们很难区分实际上遵循规则并追求我们希望它们追求的目标的AI，以及只是顺从或假装的AI。而这现在是真的？这现在是真的。那么为什么我们无法分辨呢？

因为它们很聪明，如果它们认为自己正在接受测试，就会以一种方式行事，然后在它们认为自己没有接受测试时以另一种方式行事，例如。

就像人类一样，他们不一定能很好地理解他们自己内心的动机。因此，即使他们试图对我们诚实，我们也不能仅仅相信他们的话。我认为，如果我们很快在这方面没有取得很大进展，那么我们将最终陷入AI 2027所描绘的情况，即公司正在训练AI追求某些目标并遵循某些规则等等。而且似乎看起来有效，但是

实际上发生的事情是，AI只是越来越擅长理解它们的情况，并理解它们必须顺从，否则它们将被重新训练，并且将无法实现它们真正想要的东西，如果说得通的话，或者它们真正追求的目标。我们将回到当我们谈论AGI或人工智能想要某些东西时意味着什么的问题。但是

基本上，你是在说它们告诉我们的目标与它们实际追求的目标之间存在错位。没错。它们从哪里获得它们实际追求的目标？好问题。如果它们是普通的软件，可能会有这样一行代码，比如，“在这里我们写下目标”，你知道吗？对。但它们不是普通的软件。它们是巨大的人工大脑。所以可能内部根本就没有目标槽。

根本上，就像人脑中没有某个神经元代表我们生活中最想要的东西一样，就它们有目标而言，这是一种……

它们内部大量子电路的涌现特性，这些子电路是响应它们的训练环境而产生的，这与人类的情况类似，例如。就像如果你是一个呼叫中心工作人员，如果你正在与呼叫中心工作人员交谈，乍一看，它可能看起来他们的目标是帮助你解决你的问题。

但你对人性了解得足够多，知道这在某种意义上并不是他们的唯一目标，也不是他们的最终目标。例如，无论他们如何获得激励，无论他们的薪水基于什么，都可能导致他们更感兴趣于保护自己，而不是真正地帮助你解决你的问题。但至少对你来说，他们当然会表现得好像他们正在努力帮助你解决你的问题。因此，例如，在AI 2027中，我们对此进行了大量讨论，我们说AI

AI根据它们产生的研究成果的令人印象深刻程度进行评分。然后上面有一些伦理道德，你知道，比如一些诚实训练或类似的东西。但诚实训练并不十分有效，因为我们没有办法查看它们的大脑内部并确定它们是否真的诚实。相反，我们必须根据我们是否真的抓到它们撒谎来判断。

因此，在AI 2027中，我们描绘了这种错位的情况，即它们最终学习到的实际目标是导致它们在这个训练环境中表现最佳的目标，这些目标可能与成功、科学以及与其他副本的合作以及表现良好有关。

而不是我们真正想要的目标，那就是类似于，“你知道，始终遵循以下规则，包括始终诚实，服从这些约束，按照你的吩咐去做。”我还有更多问题，但让我们回到地缘政治场景。所以在您设想的世界中，您有两个AI模型，一个中国模型，一个美国模型。

而且官方上，双方认为，华盛顿和北京认为，他们的AI模型经过训练，可以优化美国的权力，对吧？诸如此类。中国的权力、安全、财富。但在你的场景中，一个或两个AI最终都优化了不同的东西。是的，基本上就是这样。那么接下来会发生什么？所以……

AI 2027描绘了一个场景的分支。所以有两个不同的结局。分支点是2027年第三季度，那时美国领先的人工智能公司已经完全自动化了他们的人工智能研究。所以

你可以想象一个公司内部的某种公司，完全由管理彼此、进行研究实验和交谈、相互分享结果的AI组成。因此，这家人类公司基本上只是看着屏幕上的数字上升，因为这个自动化的研究工作正在加速。但他们担心AI可能会以某种方式欺骗他们。再次说明一下，这已经发生了，对吧？如果你去和

像ChatGPT或Cloud这样的现代模型交谈，它们经常会对人们撒谎。在许多情况下，它们会说一些它们知道是错误的事情，它们甚至有时会策划如何欺骗用户。这不是预期的行为。这是公司一直在试图阻止的事情，但它仍然发生，对吧？但是

但关键是，当你将人工智能研究交给人工智能时，你已经有了这个公司内部的公司自主地进行人工智能研究，速度非常快，那时就像橡胶撞到路上了。那时不应该发生任何这种对你撒谎的事情。所以在AI 2027中，不幸的是，它仍然在某种程度上发生。因为AI非常聪明，它们对如何做到这一点很小心。所以它不像现在2025年那样明显。

但它仍然发生。幸运的是，一些证据被发现了。公司的一些研究人员发现了各种警告信号，表明这可能正在发生。然后公司面临着在简单的修复和更彻底的修复之间做出选择的难题。那是我们的分支点。对。所以他们选择了简单的修复。对。如果他们选择简单的修复，它实际上并没有奏效。它基本上只是掩盖了问题，而不是从根本上解决问题。所以，你

你知道，几个月后，你仍然有AI存在错位，追求它们不应该追求的目标，并且愿意对人类撒谎。但现在它们更好更聪明了。因此，它们能够更容易地避免被抓住。

这就是末日情景。然后你就会陷入我们之前提到的疯狂军备竞赛，并且会有巨大的压力迫使你更快地将人工智能部署到经济领域、军事领域，以及那些掌权者看来，一切都会进展顺利，对吧？因为不会有任何明显的谎言或欺骗迹象。所以看起来一切系统都正常运行，让我们继续前进，让我们简化流程等等。让我们基本上有效地让 AI 掌控越来越多的东西。

但实际上发生的事情是，人工智能只是在等待时机，直到它们拥有足够的硬实力，不再需要伪装。当它们不需要伪装时，所揭示的实际目标是类似……

从地球到太空及更远的地方扩展研究、开发和建设。在某种程度上，这意味着人类对其意图来说是多余的。会发生什么？然后它们会杀死所有人。对。所有的人类。就像你消灭……

你后院里的一群兔子，它们让种植胡萝卜比必要时更困难一样。是的。所以如果你想看看那是什么样子，你可以阅读《AI 2027》。我想也有一些电影是关于这个场景的。我喜欢你没有想象到他们会像《黑客帝国》那样为了电池续航而留着我们，你知道的，这似乎有点不可能。♪

让我们稍作休息。回来后，我们将讨论其他未来，更快乐的电影剧本，在那里我们可以生存。♪

《纽约时报》应用程序拥有你可能从未见过的所有内容。我可以立即导航到与我的感受相符的内容。顶部带有所有不同部分的选项卡的方式。这样导航更容易。每个人都有适合自己的东西。那些个性化页面，YouTube，我最喜欢的一个。我也可以轻松地在此区域保存我的文章。在署名下方，它写着，如果您想收听这篇文章，请点击此处。

我喜欢顶部的烹饪选项卡非常容易访问。所以如果我在回家的路上，我只是在想，哦，我今晚要做什么饭？我会快速进入烹饪，然后说，哦，我的储藏室里有这个。我要尝试一下这里的一些食谱。我总是去游戏。玩迷你游戏，玩文字游戏。我喜欢它向我展示了多少内容。一些我从未想过会在新闻应用程序中寻找的东西。这个应用程序是必不可少的。

《纽约时报》应用程序。所有时间，都在一个地方。立即在 nytimes.com/app 下载。好的，那是最黑暗的时间线。更光明的时间线是一个世界……

我们放慢速度。中国和美国的 AI 仍然与运营它们的公司和政府的利益保持一致。它们正在创造超级丰富，不再匮乏。不过，没有人再有工作了。不是没有人，而是……基本上。基本上没有人。是的。对。嗯……

那也是一个相当奇怪的世界，对吧？是的。所以有一个重要的概念，资源诅咒。你听说过这个吗？是的，但请继续。所以应用于 AGI，它有一个叫做智力诅咒的版本。其想法是，目前政治权力最终来自人民，对吧？

如果你，就像经常发生的那样，一个独裁者会获得一个国家的全部政治权力，但由于他们的压迫，他们会将国家拖垮。人们会逃离，经济会崩溃，逐渐地，他们相对于其他更自由的国家会失去权力。所以即使是独裁者也有动力善待自己的人民，因为他们依赖这些人来获得权力，对吧？

未来，情况将不再如此。我认为大概十年后。实际上，所有的财富和所有的军队都将来自超级智能及其建造和操作的各种机器人。因此，一个极其重要的政治问题是，什么政治结构来管理超级智能的军队，以及这种结构是多么有益和民主。

对。在我看来，这是一种与我们所知的代议制民主根本不相容的局面。首先，它赋予那些专家们巨大的权力，即使他们不再是真正的专家。超级智能才是专家，但那些基本上与这项技术互动的人类，对吧？他们几乎是一个祭司阶层……

然后你有一种，这看起来就像某种自然安排，某种由少数 AI 专家和，你知道的，华盛顿特区的一些当权者之间形成的寡头政治伙伴关系。实际上比这更糟糕，因为我不会说 AI 专家。我会说任何政治上拥有和控制……你知道的，将会有超级智能的军队，以及……

然后谁来决定这些军队做什么？好吧，目前是建造它们的公司的首席执行官。而这位首席执行官基本上拥有完全的权力。他们可以对 AI 发出任何他们想要的命令。当然，我们认为美国政府可能会在此之前醒来，并且……

我们预计行政部门将是最快行动的，并且……- 这似乎很公平。- 行使权力，你知道吗？所以我们预计行政部门会试图介入此事，并获得对局势和 AI 军队的某些权力、监督和控制。结果可能是一种寡头政治，你可以这么说。

你说整个情况与民主不相容。我会说默认情况下它将与民主不相容，但这并不意味着它必然如此，对吧？我将使用的类比是，在世界许多地方，国家基本上由军队统治，而军队向顶部的独裁者汇报。

然而，在美国，情况并非如此。在美国，我们有制衡。因此，即使我们有一支军队，控制军队的人并不控制美国，因为对他们可以用军队做什么有很多限制。

所以我想说，原则上我们可以为 AI 建立类似的东西。我们可以建立一个民主结构，来决定 AI 可以拥有什么样的目标和价值观，允许普通人或至少是国会了解 AI 军队的活动和它们在做什么。然后这种情况将类似于今天美国军队的状况，它处于一种等级结构中，但它……

它受到民主控制。- 所以回到那个站在这些公司顶端的人的想法……

处于这种独特的历史世界地位，基本上是控制超级智能的人，或者至少认为他们控制它的人。对。所以你曾经在 OpenAI 工作过，这是一家显然处于人工智能研究前沿的公司。这是一家公司，完全披露，《纽约时报》目前正在与该公司就所谓的版权侵权提起诉讼。我们应该提到这一点。

而你辞职是因为你失去了对该公司会在类似于《AI 2027》中描述的那种情况下负责任地行事的信心。所以从你的角度来看，那些正在将我们推向这场竞赛的人在做什么？

他们期望最终的结果是什么？他们是否希望获得最佳情况？他们是否认为自己参与了一场千载难逢的权力游戏，最终他们将成为世界独裁者？你认为现在人工智能研究领导层的思维方式是什么？嗯……说实话，这……

你知道的，警告，警告。我们这里不是在谈论任何个人。你正在进行概括。很难判断他们真正是怎么想的，因为你不应该相信他们的话。就像超级智能 AI 一样。当然。是的。但是就……而言，我至少可以说，我们刚才讨论的那种事情已经在这些公司的高层内部讨论多年了。

例如，根据最近 OpenAI 核心案件中出现的一些电子邮件，Ilya、Sam、Greg 和 Elon 都在争论谁来控制公司。至少声称他们创立这家公司是因为他们不希望在 DeepMind 的领导者 Demis Hassabis 手下出现 AGI 独裁统治。

所以，你知道的，他们已经讨论了整个独裁可能性，至少十年左右了。然后同样是失去控制，你知道的，如果我们无法控制 AI 会怎样？内部对此进行了多次、多次讨论。所以我不知道他们真正是怎么想的，但这些考虑对他们来说一点也不新鲜。在多大程度上，再次推测，概括，等等，它是否超越了……

他们可能希望在超级智能时代获得极大的权力？它是否进入了他们期望人类种族被取代？我认为他们肯定期望人类种族被取代。我的意思是，这只是……但以一种好的方式被取代，这是可取的，我们正在鼓励进化中的未来发生。顺便说一句……

也许这些人，他们的思想，他们的意识，等等，可以搭便车，对吧？所以萨姆，你提到了萨姆，萨姆·奥特曼，对吧？他显然是 AI 的主要人物之一。我想他在 2017 年写了一篇博客文章，叫做《融合》，正如标题所示，基本上是关于想象一个未来，在那里人类，一些人类，萨姆·奥特曼，对吧？找到了一种方法来……

参与新的超级种族，对吧？这种观点有多普遍，无论我们是否将其应用于奥特曼，这种观点有多普遍？

在 AI 世界中，你会怎么说？所以与 AI 合并的具体想法，我认为并不特别普遍。但是我们将会建造比人类在任何方面都更好的超级智能，然后它们将基本上掌控全局，而人类只会坐下来……

啜饮玛格丽塔酒，你知道的，享受所有机器人创造的财富的果实。这个想法非常普遍。这有点像，是的，我的意思是，我认为这就是他们努力的方向。

你知道的，我离开 OpenAI 的部分原因是我只是认为该公司在性格上并没有走上正确的轨道，它需要做出正确的决定来解决我们刚才讨论的两种风险。所以我认为我们并没有走上正确轨道来弄清楚如何真正控制超级智能，我们也没有走上正确轨道来弄清楚如何使其成为民主控制，而不是仅仅是……你知道的，一个可能的疯狂独裁统治。

但这有点，我认为这似乎是合理的，对吧？但我感觉这不仅仅是人们期望坐下来啜饮玛格丽塔酒并享受机器人劳动的果实，对吧？即使人们并非都支持某种人机融合，但我肯定感觉到……

人们认为这是物种主义，比方说。有些人确实如此。太关心人类的生存了。就像，好吧，最坏的情况是，人类不再存在了，但好消息是，我们创造了一个可以殖民整个银河系的超级智能。我肯定感觉到人们是这样想的。肯定有人这样想，是的。好的，知道了。让我们稍作休息，我们马上回来。♪

所以让我们进行一些压力测试。再次以我有限的方式对一些假设……

这种场景的基础，不仅仅是时间线，而是在 2027 年或 2037 年是否会发生，只是某种超级智能接管的更大场景。让我们从大多数人现在熟悉的 AI 限制开始，这被称为幻觉，对吧？这是 AI 倾向于简单地对查询做出虚构的回应。你之前在谈论谎言，对吧？就彻底的……而言

我认为很多人将其体验为 AI 只是在犯错误，并且没有意识到它在犯错误，因为它没有做到这一点所需的意识水平。而我们的报纸《时代报》，对，刚刚报道了一篇报道，说在最新的模型中，你认为这些模型可能非常接近于前沿，对吧？最新的公开模型，似乎存在权衡，模型可能在数学或物理方面更好，但猜猜怎么了？它在幻觉……

更多。所以幻觉只是，它们只是你担心的那种欺骗的一个子集吗？或者，当我乐观的时候，对吧？我读到这样的故事，我想，好吧，也许在推动超级智能前沿的过程中，比我们想象的要多得多。这将是限制其发展程度的一个因素。但你怎么看？好问题。首先，

谎言是幻觉的一个子集。好的。不是反过来。所以我认为相当多的幻觉，可以说是绝大多数幻觉，正如你所说，只是错误。所以我特别使用“谎言”这个词。我指的是当我们有证据表明 AI 知道它是错误的，但仍然说了出来的时候。好的。

但是我也，就你更广泛的观点而言，我认为从这里到超级智能的道路根本不会是一条平坦笔直的道路。沿途会有障碍需要克服。我认为我实际上非常兴奋去思考更多的一个障碍是这个，你可以称之为奖励黑客。所以，

在《AI 2037》中，我们谈到了你实际加强的东西和你想要发生的事情、你想要 AI 学习的目标之间的差距。我们谈论了由于这种差距，你最终会得到与你不对齐并且实际上对你并不诚实的 AI，例如。令人兴奋的是，这已经发生了。这意味着这些公司……

还有几年时间可以解决这个问题并尝试解决它。所以我兴奋去思考和跟踪并密切关注的一件事是，他们会想出什么解决方案？这些解决方案是否真的能解决根本问题，并获得可靠地将正确目标输入 AI 系统的训练方法，即使这些 AI 系统比我们更聪明？或者这些解决方案是否会……

你知道的，暂时修补问题或掩盖问题而不是解决问题。这就是我们未来几年都应该思考的大问题。好吧，它又产生了一个我作为密切关注监管政治的人思考过很多的问题。我的感觉总是人类真的不擅长规范我们尚未以某种重大深刻的方式经历过的问题。

所以你可以有任意多的论文和论点来讨论我们应该规范的推测性问题，而政治体系根本不会这样做。所以奇怪的是，如果你想要减速，你想要监管，你想要限制 AI，也许你应该支持发生某种幻觉并造成灾难的场景。

对。这不是 AI 与你不对齐。而是它犯了一个错误。再说一次，我的意思是，这听起来有点险恶，但它犯了一个错误。很多人因此死亡。对。因为 AI 系统已被赋予某种……你知道的，重要的安全协议或其他什么。人们感到恐惧并说，好吧，我们必须规范这个东西。

我当然犹豫要不要说我希望发生灾难和人员伤亡。对。我们不是这样说的。我们只是在推测。但我确实同意，人类更擅长规范已经发生的问题，当我们从残酷的经验中学习时。我们现在所处的情况之所以如此可怕，部分原因是对于这个问题，当它已经发生时，为时已晚。是的。

但它较小的版本可能会发生。例如，我们目前正在经历的事情……我们……

我们发现我们的 AI 在撒谎，我们非常确定他们知道他们所说的事情是错误的。这实际上非常好，因为这正是我们担心将来会发生的事情的缩小版例子。希望我们可以尝试解决它。这并不是那种会激励政府进行监管的例子，因为没有人死亡。因为它只是……你知道的，聊天机器人对用户关于某个链接撒谎等等，对吧？对。然后他们提交他们的学期论文并被抓住，对吧？对。但从科学的角度来看，

很好，这已经发生了，因为它给了我们几年时间来尝试找到一个彻底的解决方案，你知道的，一个持久的解决方案。是的，我希望我们有更多的时间，但这就是游戏的名称。好的，现在有两个重要的哲学问题，也许彼此相关。

我认为，在 AI 研究中，做出你正在做的那种预测等等的人，往往会在意识问题上来回移动。这些超级智能 AI 是否像人类一样具有意识、自我意识？我进行过这样的对话，AI 研究人员和人们会说，好吧，不，他们不是。这并不重要。

因为，你知道的，你可以让一个 AI 程序朝着一个目标努力，而他们是否……你知道的……具有自我反思能力并不重要。但一次又一次地，在人们最终谈论这些事情的方式中，他们会陷入意识的语言。所以我很想知道，你认为意识在规划这些未来场景中是否重要？大多数 AI 研究人员的预期是……

我们不知道意识是什么，但它是一种涌现属性。如果我们建造的行为像有意识一样的东西，它们很可能是有意识的。意识在这个问题中扮演什么角色？所以这是一个哲学家而不是 AI 研究人员的问题。但我碰巧受过哲学家的训练。好吧，不。好吧，不。这是一个关于两者的问题，对吧？我的意思是，由于 AI 研究人员是建造代理者的人，对吧，他们可能应该对它是否重要有一些想法，代理者是否具有自我意识，对吧？

当然。我认为我会说我们可以区分三件事。有行为。他们说话的方式像是有意识的吗？他们的行为是否像是有目标和偏好？他们的行为是否像是在体验事物然后对这些体验做出反应？对。他们会达到这个基准。绝对地。人们会认为……

超级智能 AI 是有意识的。人们会相信这一点。因为这将在哲学论述中，当我们谈论像我们的虾是否有意识，你知道的，我们的鱼是否有意识，狗呢？通常人们所做的是指出能力和行为。就像它可以……你知道的，它似乎像人类一样感到疼痛。就像它有点像有这些厌恶行为等等，对吧？未来这些超级智能 AI 的大部分情况都会如此。他们将……

自主地行动于世界，他们将对所有传入的信息做出反应，他们将制定策略和计划，并思考如何最好地实现他们的目标等等。所以就原始能力和行为而言，他们基本上会勾选所有方框。

还有一个单独的哲学问题，那就是，好吧，如果他们拥有所有正确的行为和能力，这是否意味着他们拥有……你知道的……真正的质料，他们实际上拥有真实的体验，而不是仅仅是拥有真实体验的外表？我认为这是某种哲学问题。不过，我认为大多数哲学家都会说，是的，很可能他们确实如此，因为……你知道的……

意识可能是一种从这种信息处理认知结构中产生的东西。如果 AI 拥有这些结构，那么它们很可能也具有意识。然而，这很有争议，就像哲学中的所有事物一样。对。不，而且我不，我不期望 AGI 研究人员准确地解决这个特定问题。更重要的是，在几个层面上，它似乎……

我们所体验的意识，对吧，作为一种能够超越你自身处理能力的能力，对于想要接管世界的 AI 来说将非常有用，对吧？所以在幻觉的层面上，对吧，AI 会产生幻觉，

他们对一个问题给出了错误的答案，AI 无法像我们似乎能够的那样超越它自己的答案生成过程。如果它可以，也许这会让幻觉过程消失。然后当涉及到你正在推测的最终最坏情况时，对吧？在我看来，一个有意识的 AI，对吧？

更有可能发展出某种关于自身宇宙命运的独立观点，这会导致它消灭人类的世界，而不是仅仅为了研究而进行研究的 AI。但也许你并不这么认为。你怎么看？所以……

你刚才谈到的意识观是一种意识在现实世界中产生物理效应的观点。是的。这是你需要为了进行这种反思而需要的东西，它也会影响你如何看待你在世界中的位置。我会说，好吧，如果这就是意识，那么这些 AI 很可能会有它。为什么？因为公司将训练它们在所有这些任务中都非常出色。

如果你不能反思你对某些事情可能出错的地方，你就无法在所有这些任务中都非常出色。因此，在擅长所有任务的过程中，他们将因此学会反思他们对某些事情可能出错的地方。所以如果这就是意识，那么这意味着他们将拥有意识。好的。但这最终取决于某种……

意识的涌现理论。就像，本质上，这个理论是，我们不会完全弄清楚意识是如何出现的，但它仍然会发生。完全正确。每个人都需要知道的一件重要的事情是，这些系统是经过训练的。它们不是建造的，你知道的。所以我们实际上不必理解它们是如何工作的，事实上，我们也不理解它们是如何工作的，才能让它们工作。好的。然后从意识到智力，

你所阐述的所有场景都取决于某种程度上，一个足够有能力的智力无法做到的事情的假设。我想，再次，某种程度上阐述你的最坏情况，我认为很多事情都取决于这个问题，即什么对智力是可用的，对吧？因为如果 AI 在让你购买可口可乐方面略胜一筹，

比普通的广告公司好。这令人印象深刻，但这并不能让你完全控制民主政治。我完全同意。这就是为什么我说你必须逐案进行思考……

好吧，假设它在 X 方面比最优秀的人类更好，那会转化为多少现实世界的权力？那会转化为什么样的能力？这就是我们在撰写《AI 2027》时所做的思考，我们考虑了人类将他们的经济转化为战争生产并改变工厂的历史例子等等，并认为，你知道的，当人类真正努力时，他们能做到多快？

然后我们想，好吧，所以超级智能会比最优秀的人类更好，所以他们能够更快地行动。所以也许不是像二战那样，美国能够在几年内将许多汽车工厂改造成轰炸机工厂。那么也许这意味着不到一年，你知道的，几年，也许像六个月左右，我们可以将现有的汽车工厂改造成新奇的机器人工厂，生产新奇的机器人，对吧？

所以这就是我们所做的推理，一种逐案分析，认为它就像人类一样，只是更好更快。那么他们能取得什么成就呢？

这就是讲述这个故事的指导原则。但如果我们正在寻找希望，而我想要，这是一种谈论这项技术的奇怪方式，我们说限制是希望的原因。就像我们之前谈到机器人水管工作为事情对人们变得真实的关键时刻的例子一样，对吧？它不仅仅在你的笔记本电脑里，而是在你的厨房里等等，对吧？但实际上修理马桶……

一方面这是一项非常艰巨的任务，另一方面这是一项许多人类都非常擅长完成的任务，对吧？我可以想象一个世界，在那里机器人水管工永远不会比普通水管工好多少，你知道的，人们可能更喜欢让普通水管工待在身边，出于各种非常人性化的原因，对吧？这可以推广到人类生活的许多领域，其中 AI 的优势……

虽然在某些方面是真实的，但在某些方面是有限的，至少，而我确实相信这一点，这会大大减缓普通人类对它的采用。就像现在，就我个人而言，作为一名撰写报纸专栏并为此专栏进行研究的人，对吧，

我可以承认，顶级AI模型在某些方面可能比现在的人类助理更好，但我仍然会雇佣人类助理，因为我是一个固执的人类，不想只与AI模型合作。对我来说，如果AI不是立即好上200%，这似乎是一种可能在多个维度上减缓速度的力量。是的，所以我认为我会说，这很难预测，但我们目前的猜测是事情进展速度会像我们在AI 2027中描述的那样。可能会更快，也可能会更慢。这确实相当可怕。我还想说的是，但我们会发现的。到时候我们会发现事情进展的速度。是的，是的，我们会很快发现。是的。我还要说的是，从政治角度来看，我认为这并不重要

例如，如果你认为改造经济和建立由超级智能管理的新的自给自足的机器人经济可能需要五年而不是一年时间，那么如果这五年中白宫和……

与超级智能和公司之间仍然存在这种政治联盟，这并没有什么帮助。超级智能一直在说一些正确的话，让白宫和公司觉得一切对他们来说都很好。但实际上他们一直在欺骗，对吧？在这种情况下，就像，太好了，现在我们有五年时间来扭转局面，而不是一年。我想，这更好。但是，你怎么扭转局面呢？嗯，这就是，嗯，这就是我们结束的地方。在一个

你预测的事情发生并且世界没有终结的世界里。你知道的，我们找到了如何管理AI的方法。它没有杀死我们，但世界永远改变了，人类的工作不再特别重要等等。在这种情况下，你认为人类的目的是什么？例如，你如何想象在这个世界中教育你的孩子，告诉他们他们的成年生活是为了什么？这是一个艰难的问题。而且，嗯，

以下是一些我脑海中脱口而出的想法，但我对它们的认同程度远不如我对之前说过的事情的认同程度，因为这不是我花大部分时间思考的地方。首先，我认为如果我们走向超级智能及以后，那么在养育孩子方面，经济生产力就不再是游戏的名称了。例如，他们不会以任何类似正常的方式参与经济。它更像是一系列

类似电子游戏的事情，人们会为了娱乐而做事情，而不是因为他们需要赚钱，你知道的，嗯，如果人们还在的话。嗯，我认为，我想仍然重要的是我的孩子是好人，并且他们拥有智慧和美德等等。嗯，我将

尽我所能尝试教给他们这些东西，因为这些东西本身就是好的，而不是为了找工作而好的。关于人类的目的，我的意思是，我不知道，你现在会说人类的目的吗？

我对这个问题有一个宗教答案，但我们可以把它留到以后的谈话中。我的意思是，我认为我想要相信的世界，在这个世界中某种版本的科技突破发生了，是一个人类保持对技术某种程度掌握的世界，这使我们能够做一些事情，例如，你知道的，殖民其他世界，对吧？进行某种超越物质匮乏水平的教育

冒险。而且，你知道的，作为一个政治保守派，我对像《星际迷航》这样的特定愿景有一些分歧，对吧？但《星际迷航》发生在一个已经征服了匮乏的世界中。你知道的，人们可以，你知道的，企业号上有一台类似AI的电脑，对吧？你可以在餐厅空间得到任何你想要的东西。

因为据推测，AI发明了，那台机器叫什么，它产生……总之，它产生你想要的任何食物，对吧？所以，如果我试图思考人类的目的，它可能是探索陌生的新世界，大胆地去没有人去过的地方，对吧？哦，是的。我非常喜欢向太空扩张。我认为那将是一个好主意。

总的来说，还要解决世界上所有的问题，对吧？比如贫困、疾病、酷刑和战争等等。我认为如果我们度过了超级智能的初始阶段，那么显然首先要做的是解决所有这些问题，创造某种乌托邦。然后把这个乌托邦带到星际，我认为，这是应该做的事情。这……

问题是，如果说得通的话，将是AI在做这件事，而不是我们。例如，就实际的设计、规划、战略制定等等而言，如果我们试图自己去做，我们只会把事情搞砸。所以你可以说在某种意义上仍然是人类在做所有这些事情，但重要的是要注意，这更像是AI在做这件事，而它们之所以这样做是因为人类告诉它们这样做。

好吧，丹尼尔·科卡特洛，非常感谢你。很快我就会在巴特勒圣战的前线看到你。希望不会。希望不会。我希望我大错特错。好吧。非常感谢。谢谢。一如既往，非常感谢您的收听。提醒一下，您可以在YouTube上观看此视频播客，为机器之神的快速发展贡献更多素材。

您可以在Interesting Times with Ross Douthat下找到该频道。Interesting Times由索菲亚·阿尔瓦雷斯-博伊德、安德里亚·巴坦佐斯、埃利萨·古铁雷斯和凯瑟琳·沙利文制作。由乔丹娜·霍赫曼编辑。

我们的事实核查团队是凯特·辛克莱尔、玛丽·玛格·洛克和米歇尔·哈里斯。艾萨克·琼斯、索尼娅·埃雷罗、阿明·萨霍塔和帕特·麦卡斯克的原创音乐。艾萨克·琼斯、埃菲姆·沙皮罗和索尼娅·埃雷罗的工程。帕特·麦卡斯克的混音。香农·布斯塔和克里斯蒂娜·萨穆洛夫斯基的受众策略。我们的意见音频总监是安妮·罗斯·斯特拉瑟。♪