#803 - Nick Bostrom - Are We Headed For AI Utopia Or Disaster?
01:32:37 Share

大家好！欢迎回到节目。今天的嘉宾是尼克·博斯特罗姆。他是一位哲学家，牛津大学教授和作家。几代人以来，人类的未来都被设想成一个光鲜亮丽、充满活力的乌托邦，充满了非凡的技术进步，机器和人类将共同繁荣。

当我们站在这个未来所谓的边缘时，它看起来与我们的预期大相径庭。那么，人类的未来究竟会怎样呢？

期待了解在一个完美解决的世界中生活意味着什么，我们更有可能走向乌托邦还是灾难，人类如何在不再需要我们贡献的世界中找到意义，宗教的未来可能是什么样子，我们将经历的所有不同阶段的细分，最终走向乌托邦的道路，人工智能安全与风险的现状等等……你可能听我谈论过尼克，

有一段时间了。他的书《超级智能》，于 10 年前的 2014 年出版，具有极其重要的意义。它基本上开启了整个 AI 风险和对齐的讨论。现在他又出了一本书，探讨了如果我们做对了会发生什么。

老实说，它仍然有点世界末日的感觉。但它引人入胜。它太有趣了。如果事情进展顺利，我们会面临哪些奇怪的外部因素？这个问题太好了。尼克是世界上 50 岁以下被引用次数最多的哲学家。而且……

这多少说明了一些原因。他非常站在目前人类面临的许多最重要问题的最前沿，我非常欣赏他，并且在想要和他交谈近十年后，终于让他来到节目中，这让我感到非常高兴。所以我希望你喜欢这个节目以及我的兴奋之情。

老实说，当你拥有一个世界一流的背包时，你的生活质量的差异很难形容。Nomadic 制作了我用过的功能最强大、最耐用、最具创新性的背包、包袋、行李箱和配件。他们 20 升的旅行包……

和 Carry On Classic 绝对是改变游戏规则的产品。他们对每个小袋和拉链的思考令人难以置信。它们设计精美，不会过度设计，而且实际上可以使用一辈子，因为它们有终身保修。所以如果它在任何时候损坏，他们会给你一个新的。他们还在美国本土提供 49 美元以上订单的免费送货服务。如果你不喜欢你的购买，你可以在收到商品 30 天后因任何原因退货或换货。Nomadic 为 Modern Wisdom 的听众提供首次购买 20% 的折扣，

当他们访问 nomadic.com/modernwisdom 并使用代码 MW20 在结账时。网址是 nomadic.com/modernwisdom 和 MW20。

在接下来的几天里，您可以从 Gymshark 获得高达 60% 的折扣。是的，你没听错，60% 的折扣。最棒的是，您可以在结账时使用我的代码 MW10 获得额外 10% 的折扣。这意味着您可以获得所有我最喜欢的装备的大幅折扣，从我几乎每天都穿着的运动短裤，到我每次飞行时都穿的连帽衫，以及我最喜欢的几何无缝 T 恤。所有这些都轻盈透气，面料的贴合度和质量都非常好。

非常棒。此外，他们还提供国际航运和 30 天免费退货期，因此您可以购买所有商品，如果您不喜欢任何商品，只需将其退回即可。还在等什么？前往 bit.ly/sharkwisdom 并使用代码 MW10 即可享受全站高达 70% 的折扣。网址是 bit.ly/sharkwisdom，在结账时使用代码 MW10。

本集由 Manscaped 提供赞助。它是有史以来最好的球部和身体毛发修剪器。它采用尖端的陶瓷刀片，可减少修剪事故；90 分钟的电池续航时间，让您可以进行更长时间的剃须；防水技术，让您可以在淋浴时进行修剪；以及 LED 灯，可照亮修剪区域，实现更紧密、更精确的修剪，或者如果您是一个特别多缝隙的人。它们还配备了 7,000 RPM 电机和 QuietStroke 技术，以及无线充电系统，可帮助电池持久耐用。

更持久。因此，如果您或您生活中的男士的毛发比您想要的更多，那么这是一个送给您自己或他人的绝佳礼物。访问 manscaped.com/modernwisdom 并使用代码 modernwisdom 在结账时享受 20% 的折扣以及全球免费送货。网址是 manscaped.com/modernwisdom，在结账时使用代码 modernwisdom。但现在，女士们，先生们，让我们欢迎尼克·博斯特罗姆。

你的书似乎从“如果事情出错会怎样”转向了“如果事情顺利会怎样”。这是 AI 讨论中必要的希望吗？我认为这两个方面一直都在。就像我上次出版一本书一样，它来自其中一个方面，一种厄运的一面。但是……

不，我认为乐观主义者和悲观主义者都共存于这个大脑中。这是一种难以取得的平衡吗？你需要如此长期地意识到危险，也如此长期地意识到潜在的成功？我认为这只是我们所处的困境。

如果你仔细看看我们目前所处的位置，我认为你会很快意识到我们在许多关键问题上是多么无知，以及这件事是如何运作的。因此，当然可以清楚地看到重大的风险，特别是我们现在看到的人工智能的快速发展，包括我认为的一些生存风险。

但与此同时，如果事情进展顺利，它们可能会非常顺利。我认为，只要存在无知，就存在希望。我们有很多无知，也有一些希望。有趣的是，你的立场，无论你是人工智能末日论者、加速主义者还是其他什么人，至少在某种程度上只是你自身内部立场的投射。

偏见和精神结构，你以看待世界的方式看待人工智能的发展？我认为其中肯定有很多这样的因素。然后你碰巧属于哪个部落，比如取决于你遇到谁，或者你关注哪些推特话题，就像你是一种群居动物，有时……

这几乎成了一种竞争，看谁能发展出最顽固的态度。你知道，我对人工智能的了解太多了，我的 PDoom 超过 1.0。是的，是的。反之，另一方面也是如此。但是，是的，我认为如果我们要明智地……

试图将事情引导到一个好的结果，我们需要做得更好。当然，至少从我的角度来看，以及从阅读你大约八九年前的书来看，我一直非常清楚事情可能会出错。至少在我的互联网角落，也许这只是我的推特话题和我的回音室，一直是更主要的叙事

在你看来，生活在一个被解决的世界意味着什么？如果我们能正确处理人工智能并从中走出来，这意味着什么？是的，我认为我们需要克服三个主要的挑战领域。

除了所有更近期的和当前的问题，这些问题显然也很重要，但并不是我很多工作的重点，但我们肯定也需要解决这些问题。但是，是的，我认为……

对齐问题，这有点是我之前的书《超级智能》的重点，它于 2014 年出版，这基本上是当我们开发越来越强大的人工智能系统，最终是超级智能时，如何确保它们与创建它们的人们的意图保持一致，这样它们就不会失控或做一些对抗性的挑战

反对人类。这从根本上来说是一个技术问题。《超级智能》出版时，这是一个

非常被忽视的领域。当然，学术界没有人研究它，几乎没有人研究它，互联网上的一些人已经开始思考它了。但是已经发生了很大的转变，现在所有前沿的人工智能实验室都有研究团队试图开发可扩展的人工智能对齐方法。许多其他团体也在这样做。我认为我们能否成功还有待观察。但这当然是我们需要做对的一件事。

然后还有一大类我们可以认为是治理问题，它也与对齐问题相交，但也具有其他维度。因此，即使我们可以控制人工智能，我们也需要确保我们将其用于一些积极的目的，而不是说发动战争、压迫彼此或做所有其他我们使用其他技术（除了人工智能）进行的令人讨厌的事情。

积极的目的，所以这是一个广泛的类别，但非常重要……然后我认为还有一个第三个挑战领域，到目前为止，它受到的关注要少得多……你可以说，它现在就像 10 年前对齐问题那样，一些人正在思考它，但它超出了人们关注的范围，这就是……

数字思维伦理的挑战，我们正在构建这些可能具有道德地位的数字思维。因此，除了避免人工智能伤害我们或我们使用人工智能工具伤害彼此之外，我们最终还需要确保我们不会伤害人工智能，特别是那些具有感知能力或其他方面的人工智能

使它们的待遇变得或多或少重要的特性。所以我认为这三者对于拥有一个理想的未来至关重要。关于非人类智能的道德地位，还有什么需要了解的？

我认为，有很多东西我们还不知道。我们确实知道，从历史上看，我们现在可以看到，往往有一种贬低不同类型外群体的倾向。我的意思是，它可能是不同的人类外群体，你知道，河对岸的部落，或者来自不同背景、国家、种族或具有不同观点和宗教信仰的人等等。

这种人类历史就像一部悲伤的编年史，它说明了我们多么容易未能认识到其他应该享有这种道德意义的实体的道德意义。在当今世界，我的意思是，如果我们看看我们是如何对待许多非人类动物的，我认为工厂化养殖等等方面还有很多不足之处。所以……

当我们开发这些越来越复杂的数字思维时，我认为将道德考虑扩展到应有的地方将是一个巨大的挑战。在某些方面，这甚至可能比对待动物更难。动物有可以吱吱叫的脸，而一些数字思维可能是发生在大型数据中心中的无形处理器，并且

更容易忽略那里发生的事情。但未来很可能最终大多数思维都是数字化的，因此它们的未来有多好可能非常重要。但这甚至是一个难以弄清楚的问题……假设你同意我们应该努力善待它们，这根本不清楚甚至意味着什么

善待人工智能。并且有如此多不同类型的人工智能，因此善待它们的方式可能与我们应该如何对待人类大相径庭。它们需要休息一下吗？我们应该对它们礼貌吗？是的，它们可能需要我们不需要的东西，它们不需要食物，对吧？也许它们有其他需求，比如电力。但更根本的是，你可以拥有各种各样的

非常不同的实体，我们不能仅仅将我们为如何对待人类而制定的道德规范简单地应用于人工智能。意识对于道德地位是必要的吗？我的猜测是否定的。我认为足够

但并非必要。如果你有遭受痛苦和体验不适的能力，我认为这至少赋予你一定程度的道德地位。你可以在没有意识的情况下遭受痛苦吗？我想这取决于你如何定义这个词。但我认为，如果你确实有这种遭受痛苦的能力，是的，那么你就具有道德地位。但我认为……

即使你没有这种能力，你也可以拥有道德地位。如果你想象一下某种非常复杂的数字思维，也许，让我们假设你认为它出于某种原因没有意识，但它对自我有一个概念，认为它会随着时间的推移而持续存在。它可以拥有长期目标，比如也许是一个人生目标。

计划和它想要实现的事情。它也许可以与其他人建立相互关系。我认为在这些情况下，会有一个表面上的理由来说明，会有对待系统的方式是错误的，这会侵犯它的利益和偏好。

但这根本不清楚。道德哲学家正在思考道德地位的基础。存在一系列不同的观点。所以并不是说我对此百分之百确信。这很有趣……它让我们走向 P 僵尸，或者我想现在是 V 僵尸，就像虚拟僵尸一样，如果一个

系统能够告诉我们它想要继续朝着它的目标努力，并且它想要与其他人建立关系，并且它知道它以前在哪里以及它接下来要去哪里。所有这些都是你猜想的事情，好吧，如果一个人告诉我，或者任何其他生物告诉我，我会猜想它们有遭受痛苦的能力，因为如果我阻止它们做它们想做的事情，那么随之而来的就是不满和痛苦。

但是否存在某种类似于内部事物的感觉，这将非常非常难以弄清楚。也许是不可能的。我不可能知道这是一个很棒的楚门秀，这里每个人都是演员，我周围每个人经历过的所有痛苦和快乐，在未来的一段时间里，都只是某个大恶作剧或某种模拟的一部分。

是的，我认为我们对某个系统具有意识的标准的理解非常薄弱。从历史上看，我们有一些聪明的人认为动物只是自动机，甚至是一些其他人。人们认为，哦，他们更像动物，如果动物是自主的……所以当方便的时候，我们很容易欺骗自己，认为有一些……

我们拥有的神奇成分，但另一组实体却没有。所以我认为我们应该对此有点怀疑。是的，我的意思是，意识的形而上学是出了名的有争议且难以确定。我自己的观点倾向于计算主义

方向。我认为使系统具有意识的是它实现了一定的计算结构。原则上，这些可以由有机大脑实现，就像我们一样，也可以由硅计算机实现。无论哪种情况，如果计算是正确的，那么就会有意识的体验随之而来。但是

我认为如果我是对的，存在这些替代的道德地位基础，那么我们就不必在我们可以希望之前解决这个问题……我同意尝试善待我们正在构建的这些数字思维。但是的，很难知道这在实践中会带来什么。我认为在

时间成熟到试图说服政策制定者做某事之前，需要做很多理论基础工作。现在，即使他们想这样做，我也不确定我会具体推荐什么。我认为今天也许可以做一些小事，比如唾手可得的、成本很低的事情，例如，其中一些最先进的人工智能系统，你可以在不再需要它时将其保存到磁盘。

然后至少在未来有可能重新启动它并做一些事情。对于一些大型语言模型来说，这可能对它们的福祉没有任何影响，也许它们甚至没有福祉。但你可以想象在元提示符中的某个地方，就像用户看不到的部分，但 OpenAI 或 Anthropic 作为你输入文本的序言所放入的部分一样。他们说了一大堆东西，比如尽量有帮助，不要说冒犯性的话，要诚实谨慎。所以这一切都在那里。你可以想象在其中添加一行，哦，你以非常快乐的心情醒来，你很兴奋。享受吧，今天尽量玩得开心。是的，这可能需要多出一行，这是微不足道的，也许，这可能会

增加如果存在某种感知能力，它会是积极的而不是消极的可能性。但这些都是一些薄弱的想法，所以这可能不会有任何影响。但我认为至少做一些事情可能会有好处，即使它无效，只是为了树立先例，为了在沙滩上插上旗帜，说，是的，现在我们真的不知道我们应该做什么，做一些事情。也许它主要具有象征意义。然后随着时间的推移，我们可以更深入地思考这个问题，并希望提出更好的方法。

是的，你可以想象做一些其他事情，这些事情可能也帮不上什么忙，但你可以避免故意训练系统否认它们具有道德地位。所以现在，如果你是一家大型科技公司，在训练中这样做可能非常方便……每当你被问到这件事时，你应该总是说 X、Y 或 Z。这可能是……

最好有一个规范，即你不故意试图以这种方式歪曲系统的输出，以防我们能从自我报告中获得任何信息。这就像我们询问的主要方式，比如弄清楚另一个人是否喜欢我们在做什么，或者他们是否意识到某些事情，比如我们问他们。现在我们有可以实际说话的人工智能。

因此，将语言界面用作我们可以探索这种方式的一种方式是有意义的。但这只有在你没有在训练期间故意破坏言语输出中可能存在的任何信号的情况下才有效。因为如果你想训练它们总是说它们有意识，或者总是否认，或者说它们乐意做你想做的事情，或者总是否认，这都是微不足道的。所以很明显，如果你专门从这一点训练它们，那么你可能无法从它们最终所说的内容中学到任何东西。

好的，回到潜在的解决的、美好的乌托邦未来，当你提到“乌托邦”时，你在说什么？根据你的定义，什么是乌托邦？有哪些不同类型？好吧，有一种乌托邦著作的文学，我们看到的历史。通常，它们是

试图描绘某种据称更好的社会组织方式。通常，结果并不是一个你想要居住的社会。在人们实际尝试实施这些社会的地方，它通常以失败告终。因此，我认为人们对这些试图构想某种伟大的社会蓝图，然后

特别是如果这个想法认为你应该使用强制性方法来将其强加于社会。就像那些自封的社会工程师，他们可能会造成比好处多得多的伤害。但是

也有反乌托邦文学，这与之相反。这通常更有说服力。更容易说，这是一个可能的社会，我们都可以同意这将非常糟糕。有很多这样的社会，大多数人都喜欢。1984、美丽新世界、使女的故事，所有这些。有时这些也意味着

具有某种政治议程，他们可能会批判我们当前社会中存在的某种趋势，而不是说，好吧，如果我们将此推向极端并将其扩大规模，那么你们现在都可以看到这将是糟糕的。因此，让我们反思一下我们正在做的事情，也许我们可以避免走上美丽新世界之类的道路。但这本书，《深层乌托邦》，让我……

在这里推广一下，出版商。我很高兴，是的，它就在那里。它根本没有谈论这一点。它不是关于这里之间的实际问题。它而是为了论证的目的，假设在整个 AI 转型等方面，一切都会尽可能顺利进行。因此，我们解决了对齐问题，我们解决了在任何程度上都可以解决的治理问题，没有战争，没有压迫等等。而且

为了达到可以提出这个问题的地步，那么，如果我们最终处于所有实际问题都已解决的这种状态，我们人类会做什么呢？如果人工智能和机器人可以比我们做得更好，那会给我们带来什么意义和目标呢？

是的，如果我们随后达到我认为这种机器超级智能会相对快速地带来的技术成熟状态。并且存在某种层次，就像洋葱一样，因此你可以从各个层面思考这个问题。在最肤浅的层面上，你拥有这个，哦，好吧，人工智能将使大量工作自动化，因此

你会有一些失业，你知道，也许你必须重新培训人们去做其他事情，就像每个人过去都是农民，而现在几乎所有的农业工作都不见了，但人们仍在工作一样。这有点像，我知道你可能会认为这是第一层，而且讨论到目前为止通常就停止在这里了。但你可以这样想

从那时起，你说，好吧，如果人工智能真的成功了，那么它不仅仅是一些工作，而是基本上所有可以自动化的工作，除了我们可以讨论的少数例外。因此，你最终将进入一种后工作状态，在这种状态下，人类不再需要为了赚钱而工作。

所以这已经是稍微激进一点的概念了，对吧？这不仅仅是我们需要重新培训人们成为任何新的奇怪职业。但它就像，是的，整个事情是……职业的概念总体上。是的，我们将进入这种休闲状态。但有各种各样的人过着休闲的生活。我们可以看看这个，比如……

有孩子，上学前的孩子是一种工作，在他们开始上学之前。好的，他们不为生计而工作。他们没有经济生产力。在许多情况下，他们似乎仍然过着美好的生活。

你知道，整天玩耍和玩乐，你知道，吃冰淇淋，你知道，所有这些东西。这可能是光明。所以这就像，你可以看看其他退休人员、出生于富裕家庭的人或僧侣和修女。无论如何，所以有一些 otium 的模板你可以……但这仍然是，我的意思是，也许这是洋葱的第二层，但它仍然是……

相对肤浅的。所以如果我们在这里停下来，那么你会认为，好吧，那么也许我们需要发展一种休闲文化，也许改变教育体系。因此，与其训练年轻人坐在课桌旁接受作业，然后认真完成并上交，并按照他们的吩咐去做，这对于成为一名办公室工作人员来说是很好的训练。但在这个世界中，我们不需要任何办公室工作人员，因此我们可以训练他们去

培养对生活中美好事物的欣赏，练习交谈的艺术，培养爱好，欣赏艺术、文学、诗歌和电影。想象一下，如果一所学校教人们如何过好生活或找到乐趣，那将是多么激进。是的，这将是……我的意思是，我在想我的学校，它有点……我不知道如果他们试图教……这将有多么鼓舞人心。

但理论上，至少你可以想象将文化从这种关注有用和经济生产力的重点转移到真正过好生活，如果这是我们最终的状态，这将非常有意义。我认为，希望这将为

一种更好的人类生存方式提供更大的范围，这可能会回顾当前时代，就像我们看待它一样。残余的邪恶。就像 17 世纪、18 世纪在矿井中工作 16 个小时的孩子们。他们可能会认为我们的生活也同样受到损害

它将遵守某种方式，对许多人来说，去一份无聊的工作，除了薪水什么也得不到，但他们必须去做，因为他们需要付房租，但我认为这里还有更多层次需要剥离，所以一旦你开始思考这种技术成熟的状态，你就会意识到，这不仅仅是我们可以自动化的经济劳动，而且

我们许多其他的努力也是如此，如果你考虑一下人们在不必为生计而工作时如何利用他们的休闲时间，就像我们用一些需要付出努力和投资的事情来打发时间一样，你可以想象，好吧，如果你不必工作，你可以做这些其他事情，比如你知道一些人喜欢

你知道，去购物。我不太明白，但有些人认为这是一种很棒的活动。但随后你认为在这种技术成熟的情况下，对吧？你将拥有推荐系统，它可以挑选出比你自己去挑选的东西好得多的东西。然后他们将拥有你偏好的详细模型，并能够预测。所以，是的，

尽管你或许仍然可以去购物，但你会知道，在拎着塑料袋逛了三个小时之后，你最终得到的东西会比你让你的AI帮你做这件事更糟糕。它可以选择，而且……把它送到你家。现在就买，是的，就是这样。所以你可以付出这种努力，但最终结果更糟。

这似乎会给这项活动打上一个问号。你仍然可以做，但它还会感觉那么有趣和有意义吗？因为我认为我们现在做的许多活动都有这样的结构：你做X，比如付出一些努力和工作，以达到Y，即活动之外的东西。但在技术成熟时，就会有通往Y的捷径。

所以你仍然可以做X，但也许会有一种毫无意义的感觉，就像一种阴影。我认为很多活动都有这种结构。你可以考虑花时间——养育孩子似乎是一件有价值、重要的事情，它给很多人带来了意义。但如果你仔细分析一下，看看每一部分

每一部分，这就是它的含义。更换尿布真的是你认为内在的东西吗……如果你有一个机器人，它也能做得一样好。仅仅按下机器人的按钮，让它去做这件事，这将非常诱人。我认为，如果存在这些捷径，很多事情都会消失，失去吸引力。所以这是另一层。

但还有更多层次。然后你会想，好吧，某些事情，比如，我喜欢健身。所以你想，你不能花钱雇一个机器人来代替你跑步机上跑步，对吧？这就像，你绝对无法自动化它，你认为。但是，在技术成熟时，你可以服用一种药丸，它会在你的身体中产生与在健身房挥汗如雨一个半小时相同的生理效应。

包括那种感觉放松和精力充沛的心理效应。如果真是这样，那么，如果你可以通过药丸获得完全相同的结果，那么辛苦锻炼还会觉得有吸引力吗？所以……

我认为你首先拥有的是我们之前讨论过的后工作状态，然后是更广泛的后工具性状态，即我们出于工具性原因所做的一切事情，除了少数例外，是的，这些似乎也会被消除。现在我们有了这种进一步的可能性，即可塑性状态，我们自己……

人体和精神，我们的心理状态成为一种选择。我们变得易于改变。就像在技术成熟时，你会拥有各种各样的，你知道的，粗略的版本可能是各种没有副作用的、具有非常量身定制效果的药物，但你也可以想象更直接的神经技术，它允许你对你的精神状态、认知状态和情绪……

永久地陶醉于一些能够以某种方式操纵你的大脑、改变你的大脑的微小节点，你所有的恐惧和焦虑都消失了，你所有的担忧和顾虑都消失了，你只是处于这种巅峰的MDMA状态，然后如果你不再想要这种状态，它就知道，并且能够创造出你甚至无法想象的状态，

而且你也没有任何限制去做。对，是的。我认为这在技术成熟时就会成为可能。所以，你目前所做的所有这些活动，比如说，也许你做这些活动是因为它给你带来了快乐和幸福。它们在某种程度上也是不必要的，因为会有通往快乐和幸福的捷径，就像直接的大脑操纵。

你拥有这种非常不同的状态，世界在某种意义上得到了解决，因为实际问题已经被解决了，但在某种意义上也得到了解决，因为塑造我们当前生活的许多固定点和硬性约束在这种技术进步的解决方案中得到了解决。

然后我们真正触及到这本书试图思考的核心问题，那就是，在这种情况下，伟大的人类生活会是什么样子？如果我们拥有所有这些可能性，所有这些选择，我们实际上能够在实现人类价值方面取得什么成就？这太奇怪了。阅读这本书时，最让我印象深刻的是，我们似乎重视和引以为豪的许多东西

都是应对稀缺和事实上我们所做的许多事情都是为了追求和实现需要努力的未来目标的巧妙方法。从某种意义上说，似乎人类的许多哲学和价值观只是在与一个充满努力和约束的世界进行谈判，我们正在努力寻找认知上的方法来应对这种

我们必须倚靠才能诱使世界交付我们想要的东西的压力。是的，这些实际的需求与我们同在，我的意思是，贯穿整个人类历史，甚至超越了这一点。这就像人类的本性已经进化并形成了一种这种状态总是存在的条件。我们必须做很多事情，应对和抗争。

所以，如果你想象一只带有外骨骼的小虫子，对吧？然后它把柔软的部分固定在一起。但如果你想象一下去除外骨骼，那里就只是一团东西。同样，人类的灵魂可能像外骨骼一样，拥有所有这些工具性的必需品，进化可以假设它们总是存在，因为它们一直存在。但如果你要移除它们，

那么人类的灵魂和人类的生活会变成什么样子？它会变成一种快乐的粘液吗？即使在这些工具性需求被移除之后，还有什么东西可以赋予我们存在以结构吗？

我们似乎从中获得快乐的许多东西也是某种欲望的缺失和满足。我们想要一样东西，我们目前没有它，然后我们得到了它，然后它给了我们一些东西。我们努力工作以获得一个让我们满意的身体。我们口渴了一段时间，然后我们喝水。我们想做爱，然后我们就做了。我们期待着拥有一个孩子，然后它出生了。所有这些事情都是

在另一边。是的，如果你做X是为了得到Y，但你总是可以立即得到Y而不需要做X，它确实会问到，缺失在哪里，不再有任何缺失了。有一句名言，与完美世界有关，在完美世界中，唯一的缺失就是对缺失本身的渴望。

这是这种缺失实际上使某种存在最终变得有价值。如果你不再有任何缺失，那么所有这些存在又意味着什么呢？是的，我认为可能总会有很多缺失，因为人类，如果不是人类的需求，至少是人类的欲望，或者至少是一些人类的欲望是无限的。

如果你有两个想要独占同一件事的人，或者两个人都想比对方拥有更多的东西，这一点就最清楚不过了。比如，想想两个想要拥有世界上最长游艇的亿万富翁。所以一个人有一艘150米长的游艇，然后另一个人建造了一艘稍大一点的游艇。这本质上是无限的，因为他们不可能同时拥有他们想要的一切。

所以可能会有很多这样的欲望，这些欲望非常普遍，永远无法完全满足。或者想象一下一个功利主义者，他希望世界上尽可能多的人快乐。假设他们有多少人，仍然可以更多。所以他们总是更喜欢拥有更多资源。但即使存在一些这样的愿望，也不会

给这些未来的乌托邦人提供任何劳作或付出努力的理由，因为他们可能根本无法做任何事情来增加这些愿望得到满足的程度。我的意思是，这个人有一万亿美元，也许他们想要两万亿美元，但他们实际上无法通过工作赚到更多钱，因为所有的工作都由机器更有效地完成。

所以，即使有无限的欲望，你仍然可能拥有这种既是后工作又是后工具性的状态。你认为人类会在乌托邦中感到厌倦吗？如果他们不想的话，不会，至少如果你所说的厌倦是指一种主观状态，我不知道，比如某种烦躁不安、不满、不安的厌倦感。

难以集中注意力。这当然属于可以通过先进的神经技术轻易消除的东西。我的意思是，你现在已经有了可以做到这一点的药物，但它们只能持续一段时间，而且有副作用，然后它们会毁掉你的身体。但很容易想象你如何才能做到

拥有更好的版本。这将使你能够始终感到非常感兴趣、兴奋和积极。

事实上，有些人已经这样做了。我的意思是，人类之间存在很大的差异。我有一个朋友告诉我他从未感到厌倦，我相信他。我从未见过他感到厌倦。他对除了体育之外的一切都感兴趣。他写了各种奇怪主题的论文，他总是对学习新事物感到兴奋。你可以

与任何人谈论任何事情。所以这是一个存在证明。有可能成为那种存在，将来如果我们愿意，我们都可以成为那种存在。所以，在这种情况下，主观的厌倦很容易消除。现在，也可能有一种更客观的概念

厌倦或也许我们说无聊来指代这种客观概念，即某些活动本质上是无聊的，这意味着如果你花太多时间做这些活动，感到无聊是合适的，这就像一种

也许这是一个开放的问题，即这种客观无聊的概念是否有意义，但你可能会想到，比如，比如数草坪上的草叶，假设有一个存在，它发现它非常迷人，并且像一个永无止境的快乐源泉，只是数数，然后重新数数大学草坪上的草叶……

你可能会说，虽然他在主观上一点也不厌倦，但客观地说，他在做的事情是无聊的。它就像没有变化、意义或发展。如果有人整天都在做这件事，那么他们应该有的适当态度就是主观上的厌倦。如果你有这种客观无聊的概念，那么在这个背景下，问这个问题就变得不那么简单了。

假设在一个解决的世界中，我们是否有可能避免客观上的无聊？我们可以改造自己。我们总是对正在发生的事情感兴趣，但我们会做一些不恰当的事情吗？我们的处境是否会使适当的态度是感到厌倦？对此有很多讨论。我认为这是……

我认为我们可能会耗尽某些形式的趣味性。例如，你可能会认为，成为第一个发现某些重要真理的人特别有趣，比如爱因斯坦发现相对论。这可能是一种极其有趣的发现和体验的范例。但一段时间后，这可能是合理的

呃，我们可能已经拥有了我们所能拥有的关于现实的大多数基本重要见解，无论如何，机器在进行发现方面都会比我们好得多，所以我们会有点……失去在生活中获得这种趣味性的机会，是的，我的意思是，所以很多

人类所做的事情一直在追寻回答重大问题，那么当所有重大问题都得到解答后，我们该去哪里呢？是的，我的意思是，我认为幸运的是，在大多数情况下，这并不是我们在生活中实际所做的。我的意思是……

大多数人并没有把大部分时间花在追寻重大问题的答案上，对吧？就像大多数时候我们只是在做我们的日常工作。你可以这样说，我的意思是，如果你真的仔细观察一下，从一种不偏不倚的外部视角来看，就像外星超级大脑来到地球，然后想，好吧，让我们看看，这些人担心……

失去生活中有趣的东西？好吧，让我们看看他们目前的生活，看看有多少有趣的东西。这个人刷了多少次牙？好吧，40600次。第40760次刷牙有多有趣？然后……

好吧，他通勤到办公室，然后，你知道的，他吃了一块牛排。好吧。我的意思是，一遍又一遍地做这件事有多有趣？即使是我们生活中最精彩的时刻，比如，我的意思是，它们可能真的很新奇和令人兴奋。如果你的评价范围是单一的生活，

就像你第一次看到你自己的新生儿一样，好吧，它看起来只发生过一次，对吧？就像，所以有一些这样的时刻，但如果你放大并观察人类，它有点像，好吧，它已经被做过数十亿次了。你知道，这个新生儿与其他新生儿有什么不同，你知道，

所以，取决于你如何看待它，你可能会认为我们已经处于客观趣味性阶梯的最低层。或者如果你将评价的焦点缩小到单一的生活，或者甚至只是单一生活中的一瞬间，那么，是的，那么就会有更多的新奇事物，但也存在在乌托邦中发生同样事情的机会。就像如果你只是在看

最有趣的时刻，而且你并不关心类似的时刻是否在之前或之后存在过，那么你可能会认为人类平均的意识时刻与最大趣味性相差甚远。什么

你认为宗教会发生什么？这显然是一个目前很多人从中获得意义的地方。在深度的乌托邦中，宗教还有立足之地吗？是的，这是可能在向已解决的世界过渡的过程中幸存下来的事情之一，即使我们拥有所有这些奇特技术，它也可能仍然非常重要。

而且它可能构成人们生活中比今天更大的部分和注意力，因为如果愿意的话，会有更少的其他干扰。还有什么？还有什么领域是独特的人类领域，或者能够很好地适应这种转变？是的，你可以从最基本的价值观开始构建它，也许那就是纯粹的……主观幸福感、快乐、享受……这显然是在乌托邦中可以实现的，而且不仅仅是实现，就像你可以拥有这种极乐的巨大数量……所以这

在智力上也许没有那么令人兴奋，可以详细讨论，但我认为实际上非常重要，就像很容易驳斥啊哈，这些就像

所以有点像瘾君子只是在注射海洛因。但这里关键的问题不是这个未来有多令人兴奋，或者从我们的角度来看它有多令人钦佩，就好像我们坐在观众席上，评价一出舞台剧一样。这是一种视角。然后我们想要一出充满戏剧性、痛苦、悲剧、克服和英雄主义的舞台剧。但这里的问题是，你实际上想生活在哪个未来？

在那里，非常高水平的主观幸福感和福祉可能是未来最重要的事情。事实上，你可以以极高的程度拥有它。

值得注意的是，比如，“让我们把它存入银行。至少我们可以拥有它。”这已经可能了，根据某些人所说，这是唯一重要的事情，比如如果你是一个享乐主义者，一个哲学上的享乐主义者。但对大多数其他人来说，它至少是一件重要的事情，即使不是唯一有价值的事情。

所以这是第一件事。然后你可以添加体验纹理。这并不是说你只能拥有主观幸福感。你可以将它附加到与某些重要对象相关的某些复杂的心理状态上。例如，你可以体验快乐，不仅仅是一种

无根的幸福感，但你可以把它附加到，比如说，对审美美的欣赏或对伟大真理或伟大文学的欣赏或对神圣的沉思，而你从中获得快乐。所以你的意识状态是一种洞察力，让我们说，或者对值得欣赏和理解的事物的理解或欣赏。

所以有些人认为这也是价值的中心，不仅仅是快乐的，比如它是加十还是减十，而是在你理解或看到或欣赏实际上可爱且值得理解或深刻的东西时拥有加十，这使得它成为一种更有价值的状态。所以你可以拥有它。

然后，如果我们转向一些似乎风险更大的其他价值观，比如目标，你当然可以拥有人为的目标。所以你可以在乌托邦中为自己设定目标，以便能够进行尝试实现它们的活动。

比如与另一个人一起进行体育运动？是的，游戏是这方面的典型例子。在当今世界，你为自己设定一些武断的目标，比如也许是用一根球杆将高尔夫球打入18个洞的序列中。而你没有其他理由需要实现这个目标，对吧？除了为了使高尔夫球的实际活动成为可能。而这

这可能会成为乌托邦生活中更大的部分，各种形式的游戏。就像你可以独自或与他人一起创造各种更复杂、更身临其境的游戏，这涉及为自己设定某种武断的挑战，或者至少是半武断的挑战，只是为了创造一个努力实现它们的活动的机会。是的，为了使游戏成为可能。

我们故意限制你实现这个武断目标的可用手段。因为如果你处于后稀缺世界，你按下按钮，永远不会怀疑球是否会落入洞中，这使得击球完全是武断的。是的，而且没有趣味性，也许客观上是无聊的。但你可以设定一个目标来实现……

这一系列结果，球落入不同的洞中，同时又不利用各种捷径。你可以设定这个更复杂的目标，即在只使用手段的情况下实现X。正确。需要有一些约束，然后在你实现它时会给你一定程度的满足感。

是的，是的。而且为了让你满意，我可以通过更新的技术直接获得满足感。但如果你除了快乐之外，还想拥有体验纹理，并且你想要努力的活动和奋斗，那么，是的，你可以通过拥有这些人为的目的来实现。对我来说，感觉就像你很快就会回到同一个问题

的问题是，是否有更快的方法来实现我在这里试图实现的结果？自从你谈论这件事以来，自从我读了关于搅黄油的书以来，我一直把它记在心里。所以很少有人会看看他们现在使用的黄油，然后想，我知道它在这里，它很方便，味道很好，并且像黄油一样在面包上很好吃，或者其他什么。但我感觉它对我来说更有意义

如果我到田里去取奶牛，然后把东西放到桶里，然后搅拌，然后取出来，然后放进冰箱，所有这些步骤。所以我们可以看到，你知道，这是一种……内在的……

感觉，这种自然谬误，这让我们远离了成为人的意义。我们成长起来的设定点，从进化上来说是不匹配的。在成为人的过程中，有一些神圣的东西。它会让你在之前的挑战和奋斗中获得意义。但很少有人会对搅黄油提出这样的论点。

当你想到，好吧，如果你对更方便的黄油感到满意，我认为现在有一些东西，大多数人都认为是自然的，但在未来会被认为是野蛮的，我们可能会自己开车。

我认为在50年后，100年后，如果你看到有人骑着马走在街上，你会说，我的意思是，人们过去这样做不是太古朴和野蛮了吗？那是他们四处走动的方式。他们在纽约必须有专门的人来清扫街道上的所有污垢。整个产业都是围绕着马建立起来的。所以同样，现在，我们可以几乎开始看到转变的东西。我们即将放弃这个东西，这是一个

效率较低、安全性较差、需要更多努力才能让我们从a点到b点的方式，然而有些人喜欢开车，有些人甚至以此为乐，你知道，F1是一场围绕着开车的人的比赛，所以你可以看到技术正在侵蚀人类努力的不同前沿，无论是从搅黄油还是开车，你只是

继续把它切得越来越薄，一直到为什么你在这里，与其他人建立联系，不得不早上起床，自己下楼。这些不同的东西中的每一个都可能开始显得古老。人们过去自己起床，自己穿衣服，下楼刷牙，这难道不很可爱吗？

然后你问自己这个问题，好吧，如果一切对你来说都是开放的，你可以操纵你自己的内部状态，为什么不把余生都花在数桌子腿或草叶上呢？对。确实，是的。所以你被迫在这种情况下面对这些基本的价值观问题。它……

你为了其他事情而做的事情与你真正为了活动本身而做的事情是什么？所以即使是现在可能喜欢自己做黄油的人，也有一个问题是，是因为他们内在地重视这项活动，还是因为他们从中获得的快乐？或者因为它教会他们了解自己的身体和奶牛以及物理物体，并让他们与这项活动保持联系

这是一种外在因素。所以这些事情我们现在可以混淆它们，因为实际上，获得各种快乐的唯一方法可能是全身心地投入到活动中，然后你就会得到你想要的满足感。

我们今天无法将它们分开，但在这种假设的情况下，它们是可以分开的。然后你确实必须问自己，你究竟重视的是什么。对我来说，这很有趣，因为我认为如果事情进展顺利，我们实际上可能会最终处于这种状态，伴随着整个机器智能革命等等，

但即使你认为这不会发生，你也可以把它看作是一种哲学思想实验。就像物理学家建造大型粒子加速器，他们以极高的能量将原子撞击在一起，以了解它们的组成部分。然后你可以假设，如果存在夸克，当你将弧形

粒子在CERN中撞击在一起时，也许其他物质中也存在夸克，你可以从……通过观察极端条件来揭示基本原理，并推断它们可能一直存在，即使我们看不到它们。同样，对于人类的价值观来说，如果你在这种已解决世界的极端条件下将它们相互碰撞，你可以研究它们的组成部分。

然后你可能会认为，好吧，在我们普通的生活中，也许那些相同的组成部分也存在。它们只是对我们来说是不可见的，因为它们被所有实际的需求所掩盖。如果人类寿命很长，会有什么影响？那里有什么变化吗？是的，某些价值观更容易受到极端寿命的威胁。例如，我们前面讨论过的趣味性。

如果你的趣味性概念包含这样一种想法，即某些东西必须新奇才能有趣，比如一遍又一遍地做同样的事情是没有趣味性的。如果必须新奇的领域是你自己的生活，

而不是说整个世界或你的物种或当前时刻。但如果相关的评价场所是人类的生活，那么人类的生活持续时间越长，就越难第一次做重要的事情。我认为我们已经在我们目前的生活方式中看到了这一点。如果你想想第一年或两年会发生什么，有一些非常

非常大的，比如，认知地震。比如，你发现那里有一个世界。比如，这是一个非常重大的发现，对吧？哦，它有物体。比如，即使我不看它们，物体仍然存在。比如，那里还有其他人。

比如，像我世界上的朋友一样，想象一下第一次发现有你拥有身体的人。是的。哇。你与爸爸妈妈是分开的，你可以交流。是的。我的朋友描述了一个……他的儿子是在COVID期间出生的。我认为对于第一个，也许。

他生命中的一年或某些东西只见过四个人，他见过妈妈、爸爸、奶奶和保姆之类的人，然后显然有一天他看到了第五个人，这让他大吃一惊，他就像什么，超过四个了，对吧？呃

然后，是的，你发现你可以做事情，移动你的身体。然后在以后的生活中，就像，哦，今年发生了什么？好吧，我们养了一只小狗。我们买了一辆大篷车。就其改变你对现实的看法而言，它并没有达到相同的数量级。所以我认为在人类寿命中已经存在一种迅速减少的，如果你以某种方式衡量趣味性的话，它有点像

你之前对世界的概念和你事件发生后能够做的事情之间的差距很有趣。所以，还有另一种有趣的概念，它不太关注变化的速度，而更多地关注你在特定时刻所参与的复杂性，在这种情况下，一个普通成年人的一天的趣味性可能高于婴儿，因为你在工作、人际关系和所有事情上都有各种复杂的事情。对。所以与其说要回答大的问题，不如说要以更大的放大倍数来解决越来越灵巧的小问题，你可以用更大的复杂性来看待它们，并从中获得一些乐趣。我脑子里想到的一件事是，如果人类的寿命长得多，

你将能够继续繁衍人类。这必须与计算能力的提高有关。所以，在我们可以支持多少人类以及哪一个可以更快地移动之间，将存在一种马尔萨斯式的拉锯战。你考虑过这两者之间的这种紧张关系吗？

是的，从长远来看，我认为经济增长实际上是通过空间增长、获取更多土地（就像那样）来实现的，通过空间定居。

一旦你达到了技术成熟，你就不能通过发明更好的生产方法来实现经济增长。你可能也不能通过积累资本资产和机器来获得更多增长，因为你已经建造了所有机器

导致最佳的产量。因此，最终的限制条件成为经济学家所说的土地，但这基本上意味着那些你无法制造更多的东西。因此，从长远来看，你可以想象人类文明在空间中扩张，但这也有一个限制，那就是光速。所以如果你有一个以地球为中心的球体，然后以光速的一部分在所有方向上以最大速度增长，那么

它的体积将呈多项式增长。但人口可能会呈指数增长。它每一代都可能翻一番。因此，从长远来看，指数函数超过多项式函数。因此，在某些时候，如果你想维持某种高于最低生活水平的福利，你需要调节新生物诞生的速度。这是一个我从未考虑过的非常有趣的观点。所以你可以在一个解决了的世界上

几乎所有问题都已被解决，但仍然存在一些限制。光速就是一个例子。乌托邦世界还会遇到哪些限制？是的，有很多基本的物理限制，例如信息处理速度、可以存储的内存量、集成思维的大小。

例如，如果你制造一个比行星大得多的思维，那么就会出现传导延迟。就像一个思维的一部分发生的事情需要时间才能与思维的不同部分发生的事情进行沟通一样。所以你必须让思维运行得慢得多，或者你必须保持思维相对较小。

可能会有，我的意思是，我们希望不会，但你可以想象，如果那里有其他外星文明，那么就会有各种竞争和冲突的可能性。所以，是的，就像有很多外部物理限制，我认为这些限制定义了最终可以做的事情的范围。但与我们目前人类的视角相比，可能性空间非常非常大。

所以你可能不会长生不老，如果那需要永不死去的话。像无限长的时间在我们宇宙中看起来是不可能的。最终，信息处理线程将，如果不是之前的话，随着宇宙的热寂，

这很重要，因为从神学的角度来看，无论你活80年还是8000万年，这都只是永恒的一瞬间，你可以这样认为。所以它并没有真正改变根本的东西。但从当前人类生活的狭隘角度来看，你当然可以拥有极长的寿命、极大的财富以及其他大多数东西的极大数量。

但是，仍然存在限制，这些限制将以各种方式发挥作用。道德约束呢？会有吗？是的，这是另一个更微妙但可能非常重要的约束来源。例如，有些人认为，从生物学上增强人类是不道德的。

如今这并不是一个非常流行的观点，但在布什总统任内，他成立了一个生物伦理委员会，并任命了一群生物保守主义思想家。他们试图论证，试图增强生物伦理以某种方式违反了人的天性。

嗯，人类……像治疗一样，像医学一样治愈疾病是可以的，但像试图延缓衰老一样是不好的，因为它……你知道

嗯，一旦你开始思考它，就很难区分这种区别，就像你认为……你知道基因疗法让你更聪明是不好的，但教育是好的，即使它希望让你更聪明，而且它变得有问题，但如果你确实有这种观点，那么如果你不能改变

就像我们所拥有的基本生理机能一样。你只被限制在外部世界移动东西，试图通过拥有一个装饰得很好的房间或其他东西来让你振作起来，或者像……你只能做这么多来影响你的内心幸福。如果，如果，如果你只能通过某种美好的视觉刺激来影响它，并且，

美好的声波进入你的大脑，如果你不能真正改变耳朵之间和眼睛后面的东西，但那可能是其他一些有趣的，如果有人假设有人喜欢另一个人以某种特定方式与他们相关联

像被某种特定类型的其他人爱着的体验，那么可能唯一能够完全真实地产生这种体验的方法就是实例化另一个人。

如果另一个人可能具有道德地位，那么可能会有各种对待另一个人是错误的方式。因此，道德约束可能会限制你能够拥有的体验类型。与另一个人一起，是的，我认为一旦你涉及到另一个具有道德考虑的人，情况就会发生很大的变化。是的。

事实上，我认为这是，所以我们讨论了这些人工目的，它们有点像你可以创造游戏并为自己设定目标。这是一种活动。我认为还可能存在许多自然目的，例如需要我们付出各种努力的目的

不仅仅是因为我们为了有事可做而创造随机目标，而是那种独立于我们存在的东西。其中许多都源于这种人际纠葛和各种文化纠葛。以最还原论的例子来说，它本身并不那么鼓舞人心，但你可以想象这种更自然的版本。假设你有A人和B人，并且

A人希望满足B人的偏好。他们关心B人，并希望B人得到他们想要的东西。然后，如果B人恰好希望A人自己做某事，那么A人实现其目标的唯一方法

满足B人的偏好就是他们自己做这件事。他们不能，他们可以用机器人来做，但这不会满足B人的偏好。所以从A人的角度来看，他们现在有理由做这件事。这不是他们自己设定的任意目标。这是他们唯一可能实现目标的方法。

满足B人的偏好。所以在这个……它看起来有点做作和人为，这个特殊的例子，但你可以想象更微妙的方式，其中有一种传统你感到有责任感，并且你想尊重。而这个传统的一部分是你从事某些类型的实践，你避免某些类型的捷径。

你尊重他人的偏好到不同程度，因为你想尊重他们。因此，然后会有很多事情你可能需要自己去做，而你无法外包它们。所以你过去十年一直在努力……

所有可能出错的方式，所有可能正确的方式。然后托比用他的书《悬崖》将它一分为二。他有一个类比，他认为人类正沿着危险的悬崖边缘行走。如果我们掉下去，那么一切都会完蛋。如果我们成功了，那么另一边就会有一片美丽的草地。你认为当前时刻对人类的未来有多重要或多关键？是什么

从你的角度来看，悬崖有多长？是的，我认为这很奇怪，因为看起来我们非常接近某个关键时刻，你可能会认为这表面上是难以置信的。在我们之前有数千代人。

如果一切顺利，在我们之后可能会有数百万代人，或者生活在宇宙持续时间的人。在所有这些人中，你和我应该碰巧发现自己就在这个关键时刻的旁边，整个未来将由它决定。这很引人注目。这似乎是这个世界模型所暗示的。

也许这表明对我们情况的理解有一些略微令人费解或不可能的地方，也许对我们情况的理解有一些比这个对世界及其在我们其中位置的幼稚概念所反映的更多方面。

你可以推测，那是什么？我的意思是，我之前关于模拟论证之类的工作。但是，如果我们采取对现实的幼稚观点，那么它确实看起来像，是的，我的比喻可能更像一个平衡的梁，一个球沿着细梁滚下。它滚得越久，就越有可能从梁上掉下来。但它可能掉到一边或另一边。这很难预测。

但是，是的，我认为它可能会掉下来。我们现在所理解的正常人类状况将持续数百年的想法，更不用说数十万年了，这似乎是许多人都有的一种模糊的想法。在我看来，这似乎是根本不可能的。在你看来，在……

1000年后，5000年后，人类的存在将反映我们现在正常的日常生活，这不太可能。是的，我认为这发生的唯一合理方式，你可以创造一些场景。一种情况是，如果我们确实发生了一些大规模的破坏性事件，将我们打回

石器时代或其他什么，然后也许在500年后，我们将再次攀升到类似于当前人类状况的东西。但在那种情况下，我们将大部分时间都处于一种相当不同的状态。或者另一种可能是，如果你对某种特定的正统观点达成非常强烈的全球共识……某种东西的暂停……是的，就像那种生物保守主义……然后我们开始禁止各种不同的技术，这样你就会得到一种

官僚硬化或故意决定说：“好吧，我们已经到了这一点，但是让我们不要……”所以有各种各样的场景，但如果允许基本的科学和技术进步继续下去，那么看起来我们非常接近

一系列变革性技术。人工智能是其中最明显的一种。但如果不是这样，我认为合成生物学将创造许多其他可能性，然后是纳米技术。因此，我认为即使人工智能以某种方式，如果你假装它不存在，我仍然认为我们将面临深刻的转变。考虑一下这一点很有趣，如果技术

技术向前发展，即使速度很慢，即使它比现在下降了一个非常大的幅度，只要时间足够长，你最终也会得到一个根本不同的世界，无论你是否打算这样做。而你没有打算的方式很可能会很糟糕。而你打算的方式，希望会是相当好的。无论哪种方式，大多数人的日常生活都会发生根本性的变化。

是的，我的意思是，是的，我不太确定第一部分。如果这是我们没有打算的事情，那么它几乎肯定会非常糟糕。我不确定。我的意思是，你可能会认为像我们目前所拥有的世界一样。我不确定你是否可以说那是1000年前的人们所打算的。

我的意思是，事实上，他们可能会对我们今天的某些习惯感到相当震惊。但这更多的是由于许多不同的人从事他们的工作并追求各种局部目标的结果，然后在系统层面最终……非预期后果仍然可能是积极的。是的，我的意思是，我认为

未来在多大程度上取决于我们的意图，这可能是相当有限的。有更大的动态在起作用，我们甚至几乎不了解它们是什么。我们真的不知道我们在更大范围内想要什么。大多数人忙于思考他们下周的事情，

你知道，如果他们的老板不喜欢他们在工作中，或者他们的伴侣有……这就是充实人类生活的东西，然后试图在低处领先……几乎没有人真正思考，比如，人类应该走向何方一百万年？最佳轨迹是什么？我认为我们可以多考虑一下这个问题，但这并不是说塑造人类这艘大船方向的主要因素是……

在过去10年中，关于人工智能发展，你最感到惊讶的是什么？我认为只是当前一代人工智能模型的拟人化程度。首先，它们几乎达到了人类水平，并且可以用普通语言交谈，这本身就很有趣。但随后，他们甚至分享了一些人类的怪癖和心理弱点。如果你十年前来过，你会说，好吧，我们必须拥有这些AI系统。

他们可以做所有这些事情。他们可以编程和写诗。但是，如果你真的想让他们发挥最佳性能，你需要在问他们问题时给他们一些鼓励。你会说，一步一步地思考。这真的很重要。如果你答错了，我可能会丢掉工作。然后他们的表现会比你只是问他们问题时好一点。人们会认为你完全疯了，对吧？然而，这就是我们今天所处的位置。所以这很令人惊讶。

我认为不太令人惊讶，但仍然很有趣的是，迄今为止的发展是连续的，比如快速但渐进的，就像一系列步骤，每一步都对前一步进行了显著但渐进的改进。并且进展的程度与应用于此的计算规模密切相关。

所以你有了这个大型计算假设，它基本上是说最重要的决定因素不是你的模型的特定架构特征，而是你在训练中使用的计算量，以及数据量，以及

你获得的性能与你在训练上花费的美元成正比，基本上就是这样。这太粗略了。你还需要一些熟练的工程师，但我们更接近这种情况，而不是人们在平均情况下可能预期的。

事先，你可能会认为，啊，我们将四处摸索，直到我们找到这个巧妙的算法技巧，然后它就会突然爆炸。它会打开一些东西。是的，是的。而它更像是，把它放大，它会更好。把它放大更多，它会更好。现在，仍然有可能在某个时候，一些最后缺少的部分会到位，我们仍然可以在这些场景中获得智能爆炸。所以我们不应该

像我们迄今为止所看到的那样过度关注，但这仍然很有趣。这是否改变了你对起飞场景的可能性，对超级智能可能如何产生的看法等等？是的，我认为这使得更有可能出现……

政治力量在起作用。当事情发生得更缓慢时，公众和政策制定者更容易意识到正在发生的事情并试图改变它。因此，我们在地缘政治层面已经看到了芯片出口限制，以及最近

使用超过10的26次方的浮点运算来训练模型的报告要求，如果我们继续在几年内看到越来越强大的AI系统，可能还会有更多。与某个实验室有一天在他们的地下室里用电脑偶然发现关键的缺失部分相比，可能有更多参与者试图施加影响的时间更长，然后你一夜之间就会

更有可能是一件孤立的事情，只有少数人掌握着方向盘。你有没有想过哪种情况更理想？这真的很难说。我认为……

如果第一个开发这项技术的人在开始开发真正的超级智能时可以选择在最后阶段放慢一点速度，这可能更好，比如暂停半年左右，而不是“好吧，我们现在已经弄清楚了”，然后立即将所有旋钮都调到11，因为可能有19个其他实验室

你知道，争先恐后地到达那里，任何采取预防措施的人都立即变得无关紧要并落后。这场比赛属于每一个，就像大多数狂热分子愿意承担最大的风险一样。这似乎是一个不可取的场景。因此，也许让前沿实验室能够协调它，或者，或者，

除非一个人已经自然地领先很多，否则可能一小部分领先实验室应该能够在某个时候同步。这可能是可取的。我认为这不太可能，但比几年前不太可能，我们最终可能会对人工智能进行永久性禁令。

我认为这是不可取的。我认为最终这就像，这是一个门户，我认为人类将需要通过它才能走向未来。但我们应该认识到，这种转变将伴随着巨大的风险。这种转变发生得越慢……

我想，政治政策、人为的愚蠢行为获得机会进行胁迫和劝诱的机会就越多。所以这就像，这非常像双刃剑。一方面，是的，你确实想要，无论哪种方式都让人不舒服。像某个实验室里的某个随机人一样，只是要去控制未来。这听起来很可怕。你肯定希望成年人来监督这件事，对吧？但然后你考虑另一端，就像，好吧，你知道，世界各地政府的所有安全机构

那是一个更舒适的情况，军队，也许不仅仅是一支军队，而是……然后你得到所有……所以无论哪种方式，我认为这都让人有点不安。所以我目前对哪种轨迹最

理想的轨迹没有非常强烈的看法，而且它可能无论如何都是我们无法很好地控制的东西。我认为人们可以尝试在边缘上推动事情，朝着更合作、更包容、更友好和更周到的轨迹发展。我认为这样做似乎很好。我喜欢尝试鼓励这种想法，即未来对人类、数字思维、动物以及尽可能多的人来说都是美好的。

那里确实存在这种潜力。好处是如此巨大，以至于不仅可以实现一个价值，还可以实现一系列不同的价值观和观点。我认为，我们的第一本能应该是寻求这种双赢的积极结果。然后，如果最终，也有一些

不可调和的分歧，我们将不得不达成某种妥协。但在到达那一点之前，你可以做很多事情，如果你只是跳过所有这些，让我们到达我们可以争论某些事情的地步，那将是一场巨大的悲剧。你认为人工智能安全的现状如何？显然，10年前，

关于一致性和起飞场景以及其他所有内容的对话都是晦涩的Reddit帖子和一些奇怪留言板中的一些人。它是资金过剩、资金不足、资源过剩还是资源不足？目前人们应该关注哪些方面？好吧，现在这个领域有更多的人才了。我的意思是，我认识的许多最聪明年轻人都在从事人工智能一致性工作并致力于此。

所有这些领先的实验室都有研究团队，正如我所说，它可能仍然资源不足。我认为目前看起来更像是人才限制而不是资金限制，但在某种程度上，资金可以提供帮助。关于

一致性工作是否会蔓延到能力进步的问题。就像你想为一致性做的一些事情一样，比如更好地解释一个小思维内部发生了什么，并弄清楚它为什么以这种方式行事？这对于一致性来说是有用的，但它也可以阐明什么限制了性能以及如何提高性能。所以它变得相当复杂。

其他一些事情，例如领先实验室中更好的网络安全，以降低这些模型的权重被盗的可能性。这可能会有所帮助。是的，但我认为更多关于一致性的工作似乎是积极的。在关键时刻让领先实验室能够放慢速度的能力似乎是积极的。

这是否需要多个实验室之间的协调才能做到这一点？因为你确实有这种先到先得的事情。是的，这取决于。我认为一个较旧的想法，可能仍然相关，那就是也许会有一个实验室，无论是一个国家运行一个实验室，还是一个私人产业实验室，或者任何东西，但其中一个会有一些

领先于……就像自然地有一些……就像一个实验室可能只是领先一两年，因为他们开始得早，运气更好，或者人才更好等等。所以这将为这个领先的实验室创造一个机会

放慢一年的速度，或者他们的领先时间有多长，对吧？不会落后。如果与其进行超级竞争的比赛，不如进行一个小……然后这种暂停将是自我限制的，你会看到，因为一旦他们暂停了两年，另一个实验室就会赶上来

然后也许他们也可以暂停，但随着越来越多的独立参与者变得有能力，你将不得不为暂停提出越来越有力的理由。这将是一个可以存在的暂停，最终会过期。它何时过期将取决于人工智能风险的论点有多强。

这似乎会大大降低最终出现某种永久性禁令的风险，在这种禁令中，这项技术永远不会被开发出来。而如果暂停一年的途径是，比如说，建立一个大型国际监管制度，

或者对人工智能研究产生很多耻辱，比如发展一些群众运动，比如粉碎机器之类的事情，那么这更有可能蔓延到一些东西，然后变成一种永久的正统观念或监管机构，它只是有动力来维持自身。从这方面来说更令人担忧。

你对大型语言模型的能力印象如何？你认为它们将成为我们从超级智能角度所需内容的引导程序吗？或者你对它们在功能上能够攀登多高抱有有限的希望？好吧，我们还没有看到扩展这些模型所能做的事情的极限。我认为这是

这些转换器模型。我的意思是，这不仅仅是语言，它们也可以有其他模式。但它们似乎非常通用，许多人们尝试的替代方案最终都基本上

导致与转换器类似的性能。转换器在当前一代硬件上运行良好。它们可以很好地并行化等等。所以你可能需要在它上面添加一些东西。也许它就像发动机缸体，然后你需要某种代理循环，或者某种外部内存增强，或者其他一些小东西。

但你仍然会有这个大型转换器或类似的东西。可能会有所不同，但作为提取统计规律和抽象的基本事物，我认为这是相当合理的。这很有趣。我……

我当然在10年前不会猜到，你可以与之交谈并能够准确预测它会说什么的东西实际上会处于最前沿。在我看来，从2015年、2016年开始，人工智能的发展与你的书以及随后围绕人工智能风险的对话非常密切地追踪

引发了这场对话。然后在我看来，也许在2018年、2019年、2020年，人工智能并没有真正带来人们在2010年代早期可能担心的那种威胁。然后ChatGPT出现了，这场对话立即再次成为一切的核心。所以它似乎有一个推动力，然后是一个小小的低谷，然后它又非常非常迅速地回升了。

是的，我认为这是……我的意思是，是的，为什么不应该对任何一个最新的发展过度关注？但我认为人们的

期望也发生了变化。所以现在，哇，已经四周没有立即发布了。它看起来像人工智能寒冬，就像这一切都只是炒作一样。如果你放大来看，我仍然认为我们正处于一个极其快速的上升阶段，并且自2012年、2014年深度学习革命开始以来一直如此。

尼克·博斯特罗姆是一位哲学家，牛津大学教授和作家。几代人以来，人类的未来都被设想成一个光鲜亮丽、充满活力的乌托邦，充满了非凡的技术进步，机器和人类将共同繁荣。当我们站在这个未来的边缘时，它似乎与我们的预期大相径庭。那么，人类的未来究竟是什么样的呢？ 期待了解在一个完美解决的世界中意味着什么，我们更有可能走向乌托邦还是灾难，人类如何在不再需要我们贡献的世界中找到意义，宗教的未来可能是什么样子，我们将经历的所有不同阶段的细分，最终走向乌托邦，人工智能安全与风险的现状等等…… 赞助商： 在 https://nomatic.com/modernwisdom 获取 Nomatic 的精美行李箱 20% 的折扣（使用代码 MW20） 在 https://gym.sh/modernwisdom 获取 Gymshark 夏季促销高达 70% 的折扣（使用代码 MW10） 在 https://manscaped.com/modernwisdom 获取 Lawnmower 5.0 20% 的折扣和免费送货（使用代码 MODERNWISDOM） 额外内容： 获取我免费的 100 本必读书单：https://chriswillx.com/books 试用我的高效能量饮料 Neutonic：https://neutonic.com/modernwisdom 您可能喜欢的剧集： #577 - 戴维·戈金斯 - 这就是掌控你人生的方法：http://tinyurl.com/43hv6y59 #712 - 乔丹·彼得森博士 - 如何摧毁你的消极信念：http://tinyurl.com/2rtz7avf #700 - 安德鲁·胡伯曼博士 - 掌控大脑的秘密工具：http://tinyurl.com/3ccn5vkp - 联系方式： Instagram：https://www.instagram.com/chriswillx Twitter：https://www.twitter.com/chriswillx YouTube：https://www.youtube.com/modernwisdompodcast 电子邮件：https://chriswillx.com/contact - 了解更多关于您的广告选择的信息。访问 megaphone.fm/adchoices</context> <raw_text>0 尼克·博斯特罗姆，女士们先生们。尼克，我真的很感激你。我一直是你的忠实粉丝。你的书在我的“每个人都必须阅读的 100 本书”书单中，我已经推荐很久了。人们应该去哪里？他们想了解你的作品、你的书以及其他一切。嗯，我不活跃在社交媒体上。所以我认为我的网站 nickbostrom.com 是我发布我的论文和所有内容的地方。所以那可能是最好的地方。尼克，我很感激你。谢谢你今天来。谢谢。

是的。