Good Robot #1: The magic intelligence in the sky
53:41 Share

一直以来，企业税务都让人焦虑不已，您在税务上花费了所有的时间和金钱。这是我的账单。现在，企业税务是 TurboTax 小型企业专家，他们会为您处理税务，并在无需额外付费的情况下提供全年咨询服务，以便您可以在企业中保留更多资金。现在，这是税务问题。TurboTax 现在在 TurboTax.com/business 上获取专家，仅适用于 TurboTax Live 全方位服务。

个人电脑为我们带来了家庭计算能力，互联网将我们连接起来，移动设备让我们几乎可以在任何地方进行操作。现在，生成式人工智能让我们能够使用自己的语言和感官与技术进行交流。但是，当您身处其中时，弄清楚这一切却完全是另一回事。欢迎来到“引领变革”，

这是微软 Azure 的一个新播客。我是您的主持人苏珊·埃特林格。在每一集中，领导者们都会分享他们的学习成果，帮助您充满信心地应对所有这些变化。请加入我们。您可以在任何收听播客的地方收听和订阅。这是《难以解释》。我是诺姆·哈森费尔德。在接下来的几周内，我们将为您带来我们团队最新成员朱莉娅·隆戈里亚带来的特别系列节目。她正在深入研究人工智能，这是一个我们之前肯定讨论过的话题。

但她正在采取一种全新的、更广阔的视角。这不仅仅是关于人工智能。它还关乎幕后的人们、他们的信仰、他们讲述的故事，以及这些故事如何塑造人工智能的未来。我真的很期待您听到它。假设在未来，存在一个人工智能。我们创造了一个如此强大、如此难以置信的智能人工智能，以至于我们可能称之为超级智能。

让我们给这个超级智能的人工智能设定一个简单的目标：生产回形针。由于人工智能超级智能，它很快就学会了如何利用世界上任何东西制造回形针。它可以预测并挫败任何阻止它的企图，并且会这样做，因为它的唯一指令是制造更多回形针。如果我们试图关闭人工智能，它会反击，因为它如果被关闭就无法制造更多回形针。

而且它会打败我们，因为它超级智能，而我们不是。最终结果是什么？整个银河系，包括你、我以及我们认识的每个人，要么被摧毁，要么被变成回形针。

欢迎。谢谢。你迷路了吗？去年夏天，我发现自己参加了海湾地区的一个非常小众的活动。酷。是什么把你带到镇上的？因为你不住在这里，对吧？我来这里是为了参加这个节日会议。

我会提供多少关于这件事的背景信息？拜托，伙计。看着人们试图描述这件事真是太有趣了。人群大多是男人，年龄在 20 多岁、30 多岁和 40 多岁之间。感觉有点像大学同学聚会加化妆舞会。

我看到一些化妆舞会面具和扎染连体裤。我想这就像一个关于博客的会议。这个节日会议是大约 15 年前成立的一个博客社区的第一次官方线下聚会。我是老派该死的老鼠。我是最老派的。太棒了。老鼠指的是？理性主义者。他们称自己为理性主义者。

老鼠们努力在一个非理性的世界中保持理性。通过认真思考，通常会使用古怪的假设，他们试图在货币政策、进化甚至约会方面保持理性。它因为试图通过撰写关于它的长篇博客文章来解决浪漫问题而受到了一些嘲笑。但他们最具影响力的想法，可以说是他们最流行的模因，

影响了埃隆·马斯克，并创造了一个完整的产业。这是关于人工智能末日可能性。

回形针最大化器是一个思想实验。

一个故意荒谬的故事，试图描述理性主义者认为在构建人工智能系统时遇到的一个真正的问题。你如何塑造、控制一个比你更有能力的人工智能，潜在地更通用或更通用？他们想象一个未来，我们已经构建了一个超越我们最狂野梦想的人工通用智能。

普遍智能，不仅仅是在某些狭窄的任务上，比如拼写检查。而且超级智能。有人告诉我，这意味着它比我们更聪明、更快、更有创造力。然后我们给这个人工智能一个简单的任务。给它一个类似的任务，你能制造很多回形针吗？我们需要回形针。你能让回形针多起来吗？

我被告知，这里的任务设计得很荒谬。为了表明，如果你成为这个未来的人工智能，你将按照你被赋予的指令去做，

即使你超级智能，并且理解宇宙的所有复杂性，回形针现在是你唯一优先考虑的事情。你完全理解人类关心其他事情，比如艺术、孩子、爱和幸福。你理解爱。你只是不在乎它，因为你关心的事情是尽可能多地制造回形针。如果你有资源，你可能会把整个银河系变成回形针。

我采访的许多理性主义者告诉我，他们已经认真思考过这件事。当我第一次听到这些论点时，很明显它们并不愚蠢。那个思想实验是否让你相信这是我们需要担心的事情的一部分？是的，绝对的。而且他们非常非常担心。不是特别担心回形针末日，而是担心随着我们构建更强大的 AI 系统，我们可能会失去对它们的控制。

他们可能会做一些灾难性的事情。我认为这在某种程度上使得很难规划你的生活，或者感觉你站在坚实的地方，我认为。我，一个普通人，之所以出现在这个节日会议上，是因为我一直把头埋在沙子里，对人工智能一无所知。

我有一种普遍的感觉，那里的氛围不太好。这项技术会摧毁我们的生计还是拯救我们的生命？人工智能的使用可能导致人类的灭亡。我们从未谈论过手机末日或互联网末日。我想也许如果你算上千禧年虫，但即使那样也不会消灭人类。

但是人工智能末日的威胁，感觉无处不在。记住我的话。

人工智能比核武器危险得多。从亿万富翁埃隆·马斯克到联合国。今天，联合国大会所有 193 个成员国都异口同声地表示。人工智能是存在的。但随后感觉好像内行科学家甚至无法就我们应该担心什么达成一致。他们称之为存在的风险，

这完全没有意义，最重要的是，它分散了人们对人工智能的名义下已经造成的实际危害的注意力。这一切都感觉超出了我的能力范围。势不可挡且不可知。我不是人工智能科学家。我无法告诉你如何制造一个好机器人的第一件事。感觉我只是在顺应技术人员决定制造的东西，好坏皆有。

所以最好捂住耳朵说：“啦啦啦啦啦。”但我最近在 Vox 工作，这是一个自这项技术开始以来就一直在报道这项技术的网站。最重要的是，去年，Vox 的母公司 Vox Media 宣布与 OpenAI 合作，这意味着我不太确定这意味着什么。但如果我曾经不得不处理人工智能及其在我生活中的地位，

它就在这里，现在，在 Vox。所以我将从一个简单的问题开始。一些人怎么会相信我们应该害怕人工智能末日？我应该害怕吗？这是《好机器人》，一部关于人工智能的系列节目，由《难以解释》与《完美未来》合作制作。我是朱莉娅·隆戈里亚。♪

《难以解释》的支持来自 Quince。春天！它并不遥远。我的意思是，好吧，它有点远。但我开始兴奋了。这意味着是时候开始考虑你的衣橱了。天气还冷到需要穿毛衣吗？也许天气暖和到可以穿一些运动服了？

幸运的是，有了 Quince，您可以以比类似品牌低 50% 到 80% 的价格获得两者。Quince 有蒙古羊绒毛衣，价格从 50 美元起，100% 真皮夹克，适合各种场合的舒适裤子。他们使用优质面料和饰面，因此每件商品都感觉像一件不错的奢侈品。Quince 表示，他们只与使用安全、合乎道德和负责任的制造工艺的工厂合作。

我实际上试穿了蒙古羊绒毛衣，那件东西又软又暖和。但主要是柔软，也温暖。

质量好。舒适。看起来很棒。喜欢它。您可以通过访问 quince.com/unexplainable 免费获得订单的免费送货和 365 天退货服务，尽情享受经济实惠的奢华体验。这是 Q-U-I-N-C-E.com/unexplainable，以获得免费送货和 365 天退货服务。quince.com/unexplainable。♪

本周在《The Verge Cast》中，我们对智能手机有一些疑问。例如，为什么 Siri 不更好？苹果长期以来一直承诺的更好的 Siri 在哪里？诸如，为什么我们所有的智能手机现在都显得有点无聊？为什么所有关于智能手机外观、工作方式或对您有何作用的有趣想法都发生在中国等国家，而不是在美国？我们

我们有答案，我们有一些想法，我们对智能手机在我们生活中真正应该是什么也有很多感受。所有这些以及更多，更多，更多内容都在《The Verge Cast》上，无论您在哪里收听播客。

我是乔什·穆奇奥，《The Pitch》的主持人，创业者在这里筹集数百万美元，听众可以投资。在幸运的第 13 季中，我们考察了 2000 家公司，并挑选了 12 位最优秀的创始人前往迈阿密进行推介。他们从全国各地和世界各地飞来。我的名字是米歇尔。我是乔什·穆奇奥。

我来自意大利。我最初来自哥伦比亚麦德林。我在肯塔基州梅塞尔出生和长大。我来自马里兰州巴尔的摩。我来自芬兰。本季，我们将更深入地探讨这些创始人向业内最优秀的早期阶段风投推介时的创业历程。我通常不喜欢教育科技，但我真的很喜欢你。我赞同这些观点。不过，我想反驳一下。坚强起来，女士。那是医疗保健。

我觉得我是唯一的反对者。哦，查尔斯·斯派西。所以我出局了。我相信当他们播放这一集时，他们会说，查尔斯真的很蠢。对于那些看不到的人来说，我的下巴现在已经掉到地上了。第 13 季的《The Pitch》现已推出。剧集可在 YouTube 上观看或在您选择的播客播放器上收听。所以现在就订阅《The Pitch》。我是一个安卓机器人。数据少校指挥官。测试结束后将提供咨询和悲伤辅导。

我们开始吧。当我第一次开始报道人工智能末日这个想法，以及我们是否应该担心它时，我的第一站是海湾地区，参加理性主义者大会。但我还在附近拜访了一位同事的家。嗨，凯尔西。你好吗？很好。你的航班怎么样？哦，实际上非常顺利。Vox 主要是一个远程工作场所，所以与凯尔西·派珀在 3D 中见面是一种身体变形体验。

比她在 Google Meet 上看起来要高。我是 Vox 的《完美未来》的撰稿人，《完美未来》是 Vox 的一个版块，内容是关于可能在世界上成为一件大事的未被充分报道的问题。我们和她七个月大的孩子一起加入了。正如她所说，Vox 的《完美未来》是关于……可能在世界上成为一件大事的未被充分报道的问题。凯尔西早就认为人工智能技术将成为世界上的一件大事，这早于我们现在经历的这个 AI 时刻。

她从小就在思考人工智能。

当她第一次在网上找到理性主义者社区时。哦，我当时还在上高中。我 15 岁，是一个厌倦学习、成绩优异的学生，有一长串课外活动，这些活动将来会让大学看起来不错。在我的空闲时间里，我读了很多哈利·波特同人小说，就像 2010 年的 15 岁孩子一样。最受欢迎的哈利·波特同人小说之一叫做《哈利·波特与理性方法》。

《哈利·波特与理性方法》由埃利泽·尤德科夫斯基撰写。埃利泽受到许多早期科幻作家的影响。埃利泽，正如老鼠们所知，是理性主义的奠基人，思想实验之王。早在 2010 年，他就开始出版一部连载的哈利·波特同人小说，历时数年。

此后，它激发了几个有声读物版本。以及由模拟人生演绎的一个版本。它也是一个思想实验。如果哈利·波特有不同的父母会怎样？

最初的承诺只是哈利·波特没有虐待的父母，而是有书呆子父母教他科学。所以他的姨妈和叔叔实际上……是好人，是的。哈利，我真的很爱你。永远记住这一点。在这个版本中，哈利·波特的超能力并非勇气和魔法，而是数学和逻辑，埃利泽称之为理性方法。

那么哈利·波特的任务究竟是什么？你知道，修复世界上所有不好的事情。我认为，作为一个十几岁的孩子，这种既天真又某种程度上令人尊敬的结合非常有吸引力且有趣。你就像，为什么我要限制自己只解决一个问题？只要有任何问题，我就不会停止。我们必须解决所有问题。

每一个问题都应该被思考，每一个问题都可以被解决，这个想法对他的读者很有吸引力，包括 15 岁的凯尔西。她想阅读更多内容，所以她找到了埃利泽的博客。埃利泽非常公开地说，我写这篇文章是为了看看它是否会让人们进入我的博客“Less Wrong”，在那里我写关于其他问题的内容。所以问题是，请告诉我们一些关于你大脑的信息。

在他的名为“Less Wrong”的博客上，他将理性方法、数学和逻辑应用于各种主题。比如养育孩子。宗教。

它包含关于无神论的内容，很多关于心理学、偏见、实验的内容，这些实验表明，根据你如何提问，你会从人们那里得到非常不同的答案。因为我们的想法是，你应该通过阅读博客和参与其中来学习如何变得真实。

Less Wrong。我通过说明它的故事和寓言来做到这一点。就像默认状态是我们都对很多事情感到非常困惑，而你正试图做得更好一点。有趣。所以这有点像试图，我不知道，

像修复人类大脑系统中的错误以优化预测？是的，参与其中的很多人都是电脑程序员。我认为这正是他们看待它的方式。就像人脑有所有这些错误。你进去，学习所有这些。你学会纠正它们。然后，一旦你纠正了它们，你就会成为一个更好的思考者，并且能够更好地完成你想要做的事情。

埃利泽想要解决的最大的人脑错误是人们如何看待人工智能，他自己过去是如何看待人工智能的。据我所知，他的第一篇博客文章发表于 1996 年，当时他只有 17 岁。以 17 岁的方式，他写下了他的沮丧。

“我受够了。我受够了毒品屋、独裁统治和世界饥饿。我受够了每天 15 万个有感知能力的生物的全球死亡率。这一切都是不必要的。我们重复着咒语，“我无法解决世界上的所有问题。”我们可以。我们可以结束这一切。”他当时认为，结束这一切的方法是构建一个超级智能的人工智能，一个可以拯救世界的好的机器人。

但在 20 岁左右的时候，在研究如何构建它的过程中，他相信构建超级智能机器人几乎肯定会失败。一旦它们走上了一条错误的道路，就很难阻止它们。我的意思是，最终，如果你在不知道自己在做什么的情况下把这些事情推得太远，迟早你会打开包含地狱里黑天鹅惊喜的黑盒子。起初，他将这些警告发送到广阔互联网的虚空中。

所以问题是，我经常感到孤独吗？那是……我经常在某种程度上感到孤立，但我认为撰写 Less Wrong 已经帮助了很多。

我倾向于将埃利泽·尤德科夫斯基视为一个作家，他看待世界的方式有一种独特的角度，这就像一股清新的空气。就像，哦，还有其他人关心这件事。你知道，你第一次可以感受到被看见。你感觉是这样吗？哦，是的，是的。你有一颗善良的心，你当然正在努力做正确的事情，但有时很难弄清楚那是什么。

这种追求少犯错，以正确的方式做正确的事情，将许多志同道合的人聚集在这个博客上。事实上，我的几个室友以前都在 Less Wrong 上发帖。这就是我遇到许多一起居住的人的方式。他们是我高中时阅读过博客的人。哇，这有点疯狂，对吧？是的。

许多 Less Wrong 博客作者和读者，如凯尔西，受到启发，搬到海湾地区，加入一个非常不寻常的线下社区。在我访问的那周末，来自世界各地的数百名理性主义者聚集在海湾地区，一起思考事情，参加一个名为 Less Online 的节日会议。♪

我在那里遇到的许多理性主义者都是像凯尔西那样找到这个社区的。我数学夏令营的一个朋友向我介绍了《哈利·波特与理性方法》。这篇文章，是用全部大写字母写的，说，哦，我的上帝，我刚刚读了我生命中最棒的书。你现在必须读它。链接到 fanfiction.net。

其他人则在他的博客上找到了埃利泽。我的意思是，这个活动很大程度上是因为那一系列博客文章而存在的。这一系列博客文章被社区称为“序列”。它包括回形针最大化器思想实验。埃利泽·尤德科夫斯基帮助提出了这个想法，目的是警告人们人工智能末日的危险。

至少在这里，它似乎奏效了。我绝对认为人工智能是人类目前面临的最大生存风险。我，这个普通人，想尝试将这种威胁从古怪的假设提升到更具体的东西。你能带我了解一下，这将如何发生？就像，人工智能如何……

但每当我向理性主义者施压时，他们都会给我一系列思想实验。这……

我想，这可能是尝试描述一项技术带来的威胁的唯一方法，这项技术实际上还处于起步阶段。对于像 15 岁的凯尔西这样第一次接触这个世界的理性主义者来说，这些思想实验是令人信服的。对她来说，人工智能是一件非常重要的事情。这就像，哇，所有这些都非常酷、令人兴奋和有趣。我试图说服我的朋友们，它很酷、令人兴奋和有趣。

我请 30 岁的凯尔西在没有思想实验的情况下为我分解它。所以我认为埃利泽在很大程度上提出了两个主要论点。论点一，我们将构建一个比人类更聪明的人工智能，它将改变世界。

人工智能是一件非常重要的事情。构建比人类更聪明的东西是可能的，可能是可以实现的，可能很快就能在我们的一生中实现。然后是论点二：正确地做到这一点极其困难。事情很可能会出错。我对那些想要拯救人类的 Less Wrong 读者有什么建议？

好吧，如果你熟悉人工智能的所有问题和理性主义的所有问题，并且你愿意以不太高的薪水工作。埃利泽帮助激发了一条新的职业道路，一个新的领域诞生了，试图确保我们安全地发展超级智能。确保它安全进行的一种方法是尝试实际构建它。

随着对该领域的投资开始增长，相信有一天会拥有超级智能人工智能的社区经历了分裂。我认为，被埃利泽的第一个论点（人工智能是一件非常重要的事情）所说服的许多人，并不一定被他的第二个论点（你必须非常非常小心，否则你会做一些灾难性的事情）所说服。所谓的灾难的开始是什么样的。

休息后。

当回形针最大化器模因在 2000 年代开始传播时，

我们最好的回形针人工智能的例子是 Clippy，Word 上带有眼球的动画小家伙，微软的 AI 办公助理。在过去的日子里，我记得它甚至无法告诉你是否应该在一个句子中使用 their、there 或 they're。人们对 Clippy 的恐惧不如对他的厌烦。那些年有很多关于抨击 Clippy 的文章。

人们普遍认为，没有人要求这个。这很蠢。因此，当埃利泽·尤德科夫斯基警告说，超级智能人工智能有一天可能会毁灭人类的危险时，许多人很难认真对待他。2010 年的思想状态是这样的，

是的，人工智能可能还需要一个世纪的时间。Vox 的《完美未来》撰稿人凯尔西·派珀再次说道。所以，如果你是埃利泽·扬科夫斯基，你就会有点进退两难，对吧？你想提出两个论点。一个是超级智能人工智能是可能的。建造一个在大多数事情上比人类更聪明、更快、更有创造力的机器人是可能的。Clippy，该死。

在他提出下一个论点之前，他需要提出第一个论点。你想提出的第二个论点是，在我们解决如何正确地做到这一点的挑战之前，我们不应该这样做。长期以来，这两个论点，超级人工智能是可能的，但现在让我们不要这样做，都处于停滞状态。

因为人工智能技术并没有那么令人印象深刻。但到 2014 年，埃利泽注意到，他博客圈之外的人们已经开始关注了。人工智能可能是近期内最可能影响人类的单一最大因素。特斯拉首席执行官兼亿万富翁埃隆·马斯克，他今年开始在特朗普总统的白宫占据显赫地位，

曾发推文说：“我们需要对人工智能超级小心，它可能比核武器更危险。”这是关于最大限度地减少存在性危害的风险。埃隆·马斯克似乎是埃利泽博客的读者。他与他的前女友、音乐家格莱姆斯相识时，他们曾在当时的推特上就博客中一个非常模糊的思想实验开玩笑。我将免去你这些细节。♪

关键是，埃隆·马斯克阅读了回形针最大化器思想实验，并且他似乎相信人工智能是一种威胁。我们以良好的方式拥有人工智能的出现非常重要。这就是我们创建 OpenAI 的原因。埃隆·马斯克共同创建了 OpenAI。你可能听说过他离开了，然后试图把它买回来。但如果你没有听说过 OpenAI，你可能已经遇到过它最受欢迎的产品 ChatGPT。

令我惊讶的是，我了解到，根据其联合创始人萨姆·阿尔特曼的说法，埃利泽·尤德科夫斯基实际上是 ChatGPT 公司的最初灵感来源。萨姆·阿尔特曼实际上在推特上说过这一点，他说他认为埃利泽应该因为他在人工智能方面的著作而获得诺贝尔和平奖。

他为加速构建人工通用智能的进展所做的贡献比任何人都多。现在，这么说的时候，他有点残酷，对吧？因为埃利泽认为 OpenAI 正在走向巨大的灾难。联合创始人萨姆·阿尔特曼和埃隆·马斯克接受了埃利泽的第一个论点。超级智能是可能的，而且在我们的一生中是可能的。

但他们错过了关于你暂时不应该构建它的部分。对于人类历史上这种最重要的技术里程碑，我认为它就在眼前。这是萨姆·阿尔特曼谈论超级智能时说的。就像，它即将到来，而且它是一件大事，我认为我们现在需要考虑如何部署它，如何让每个人从中受益，如何管理它，如何让它安全并对人类有益。难以编码的人类价值观……

我仍然不清楚超级智能究竟是什么。我不会是第一个注意到它有一些宗教氛围的人。这个名字听起来像是无所不知的存在。OpenAI 的竞争对手 Anthropic 的首席执行官表示，他想构建“充满爱的恩典机器”。萨姆·阿尔特曼在乔·罗根的播客中被问及他是否试图构建上帝机器。

我想这归结于对“它成为上帝”的含义的定义分歧。我认为无论我们创造什么，都将仍然服从这个宇宙的物理定律。萨姆·阿尔特曼称这种超级智能为“天空中的神奇智能”，我不知道，这听起来很像有些人对我谈论上帝的方式。

这种所谓的超级智能究竟如何比我们更聪明、更快、更聪明，在什么规模上，尚不清楚。但对于围绕 ChatGPT 的所有炒作，我最近才了解它究竟是什么。

这就是他们所说的大型语言模型。在其最基本的层面上，语言模型是一个经过训练可以预测句子中接下来会出现的词的人工智能系统。我在这里过于简化了，但语言模型最基本的想法是根据概率生成语言。所以如果我有一个词或一组词，下一个最可能的词是什么？

因此，如果一个句子以“星期一我去杂货店”开头，下一个词可能是“商店”。模型猜测“商店”可能排在下一个位置的方式是基于你如何训练语言模型。训练包括向模型提供大量的文本，以便它可以检测文本中的模式，然后根据这些模式生成语言。

早期版本的拼写检查，如Clippy，是在字典上训练的语言模型。有用，但仅限于非常具体的任务。例如，告诉你是否在单词“weird”中将E放在了错误的位置，或者在单词“rhythm”中将H放在了错误的位置。Clippy无法告诉你是否应该在一个句子中使用there、there或there，因为它没有接受足够的文本训练来能够在上下文中猜测正确的单词。字典无法告诉你这一点。

但OpenAI的产品与Clippy大相径庭。人工智能技术正在发生一场革命，它使语言模型看起来不那么像简单的拼写检查，而更像人脑，检测模式并将它们存储在一个神经元网络中。技术人员通过他们称之为深度学习的过程来训练这些神经网络。他们用大量数据训练人工智能，接近整个互联网。

由于Vox Media与OpenAI的合作，我们知道他们可能会在这个播客上训练语言模型。我现在说的这些话。之前没有人训练过人工智能使用整个互联网，至少部分原因是成本太高。这需要大量的能量和计算能力。

但由亿万富翁创立的OpenAI筹集了资金，试图创建世界上有史以来最大、最棒、最大的语言模型。

他们开始说：“好吧，如果构建超级智能上帝AI或任何东西的秘诀只是花更多的钱，拥有更多神经元和更多的连接，提供更多数据呢？如果这就是全部呢？如果你只是通过这样做就能创造出比历史上任何人都聪明的东西呢？”他们在ChatGPT之前的早期尝试之一是2019年的GPT-2。

你也可以为它赋予一个具体的任务，例如为伦敦地铁设计一款男士奢华香水广告。使其诙谐简洁。伦敦地铁是一个绝佳的广告场所。这是一个传递信息的好地方。这是一个让你的产品引人注目的好地方。当心，疯子们。GPT-2并没有真正来抢夺文案的工作。

但对于像凯尔西这样密切关注这项技术的人来说，我当时想，哇，这比上周人工智能聊天机器人的能力高出几英里。这是巨大的。GPT-2，这个语言预测机器，展现出了一些真正的希望。

她并非唯一有这种感觉的人。微软等投资者向接下来的几个模型投入了数百万美元，这些模型越来越大。成为吸引眼球的香味。几年后，OpenAI发布了ChatGPT。视觉上，香水瓶的迷人图像被象征着都市生活方式的充满活力的城市灯光所包围。拥抱城市。

大多数人并没有关注人工智能，所以对他们来说，这就像是对他们理解的人工智能作用的巨大改变。ChatGPT是像我这样的普通人第一次真正思考人工智能的时候。我唯一想做的就是修复我的电子邮件。我没有想到会因为世界即将发生多大的变化而经历一次轻微的存在主义危机。

这只能证明，总有一天，人工智能将超越人类智能。我花了大约两个小时与这个人工智能聊天机器人来回打字，结果变得相当奇怪。人工智能承认爱上了凯文，并试图说服他离开妻子。

OpenAI或竞争对手的人说，是的，计划是构建超级智能。我们认为我们将在2027年做到这一点。人们说，好吧，创业炒作。出于某种原因，每个创业公司老板都觉得有必要说他们要创造上帝和人类。然后，在ChatGPT真正令人印象深刻之后，人们开始更认真地对待他们。而且

很多人对此感到紧张。人们对ChatGPT并不那么紧张，但ChatGPT所代表的，他们让语言模型听起来如此迅速地变得如此聪明的方式，并不是通过复杂的代码。他们只是让模型更大。

这暗示一些人，通往创造上帝或任何东西的道路是通过蛮力。花越来越多的钱来建造越来越大的机器。如此之大，我们并不真正理解它为什么这样做。

我们无法指出某一行代码来说明为什么机器人变得如此擅长撰写香水广告。如果我们有一天真的创造出比我们更聪明的东西，无论这意味着什么，我们将无法理解它为什么比我们更聪明。在我看来，这其中的麻烦在于，人工智能将抢夺文案的工作。它可能会抢走我们所有的工作。

但我交谈过的理性主义者说，这与未来的更大麻烦相比不算什么，那是一种潜在的末日。但我确实也认为，对我来说，在未来五到十年拥有尽可能美好的时光，并尽我所能从生活中挤出快乐，是一个非常重要的优先事项。你有什么例子吗？

我能在一个播客上谈论的一个例子？我的意思是，是的，我开玩笑，但我非常参与性爱社区，这对我来说非常重要。我交谈过的许多理性主义者都生活在多元恋爱关系中，因为他们认为一夫一妻制是不合理的。

有些人并不确定在考虑到由于人工智能而发生非常非常糟糕事情的高概率的情况下，拥有孩子是否合理。我的P-Doom是什么，正如我们的社区所说的那样？P-Doom。这是我在会议上听到的一个缩写，意思是厄运概率。这是一个在这次会议上经常被提及的短语。人们会直接走到你面前，然后问，你的P-Doom是什么？它简而言之就是人类长期生存的概率是多少。

这是一个数学家群体，所以他们会说得具体一些。我想我通常给出的答案大约是超过50%。我的意思是，我认为大约在80%到90%之间。Eliezer Yudkowsky的P-Doom非常高。我读到这些天它超过95%。但后来我看到他在推特上说P-Doom无关紧要。我几乎在我踏入会议的那一刻就发现了Eliezer Yudkowsky。

他很难被忽视。他就是整个周末都戴着金色闪亮礼帽的那个人。我就是那个显然迷路了，三天都拿着一个大毛茸茸的麦克风，试图让人们和我说话的人。直到会议的第三天才鼓起勇气去采访Eliezer。决心是必要的，因为他总是被一群人包围着，一群大多是男人，在听他说话。

我问他，如果我拿出麦克风是否可以。每个人都看着它好像它是一件武器。是的，是的，我知道。在过去的几年里，Eliezer和理性主义者们得到了一些负面评价。一些理性主义者表达了他们对那些关注社区中发生的开放式关系的记者的沮丧。一些理性主义的批评者，粗俗地说，称他们为性邪教。

然后是与该社区相关的人们所说的一些令人不快的事情。一位帮助普及回形针最大化者的哲学家尼克·博斯特罗姆曾写道，他认为黑人的智力不如白人。他后来为此道歉。但批评者强调了这一评论以及理性主义者社区中大多是白人的构成，以质疑他们的信仰。

我从来不知道为什么有人同意和我说话，但是你可以自我介绍一下吗？我是Eliezer Yudkowsky。这次活动可能更多的是我的错，而不是周围其他人的错。你能描述一下你现在穿的衣服吗？好吧，我现在穿着一件闪闪发光的彩色衬衫和一顶闪闪发光的金色帽子。你可能在我的声音中能听到它。我当时很紧张要和他说话。

他以好辩而闻名，对记者以及更普遍的世界感到非常恼火，因为他们不够聪明，无法理解他，无法理会他的警告。我不知道。你会如何总结你希望世界知道的事情？

就人工智能而言？世界完全搞砸了进入机器超级智能问题的工作。它没有简单的解决办法。如果任何人在任何类似于当前制度的情况下构建它，每个人都会死。这很糟糕。我们不应该这样做。看到你的想法进入主流对话，你是否感到欣慰？你感觉它们已经进入了吗？它们进入主流对话的环境是灾难性的。

而且我没有……如果我是一个那种，你知道，像，非常依恋于看到其他人同意我而获得肯定的人，我会选择一个不那么令人反感的话题。我来到这里是为了尝试，像，不要让事情……我想我的意思是……我来到这里是为了不让事情变得糟糕。它们目前正在变得糟糕。我没有得到我想要的东西。音乐播放

Eliezer一直在进行媒体宣传，接受采访和TED演讲，说OpenAI即将造成灾难。

所以这是一件有趣的事情，因为我对Eliezer有一种深深的同情。如果你相信这是一个巨大的问题，那么进行写作巡回演出试图向人们解释这一点是完全合理的。而且我认为，许多人听到这一点并认为，哦，人工智能将变得非常强大？我认为你关于这是一个问题的说法是不对的。我想要强大而重要的事情。

有些人抓住这一点，并认为，因为这强大而重要，我们应该现在投资。我对这件事感到有点难过。我可以理解为什么Eliezer不愿和我说话。他的信息在翻译中完全丢失了。在他看来，这是适得其反的。

甚至在他自己的会议上，也有来自OpenAI等公司的与会者，这些公司正在建造他害怕的所谓的死亡机器。

他认为我们构建一个能够按照我们的意愿行事并且不会，你知道，从人类手中夺取权力的超级人工智能的最佳机会是构建一个非常容易理解的人工智能。一个从一开始，我们就了解它做出所有决定的原因的人工智能。大型语言模型恰恰与此相反。

我要说的是，即使在与Eliezer、Kelsey和一群理性主义者交谈之后，仍然很难想象像ChatGPT或谷歌的人工智能（曾经告诉某人添加胶水以将奶酪粘在比萨饼上）这样的东西将如何成为所有发明中的发明，并且可能造成灾难性后果。但我可以理解为什么构建一些你无法理解的东西

是一个可怕的想法。我为大脑找到的最佳人工智能隐喻与回形针无关。它是一位非理性主义作家写的。一位名叫布莱恩·克里斯蒂安的家伙描述说，训练人工智能可能会像养育孩子一样出错。就像一个小孩子在玩扫帚一样。她打扫干净了脏地板，她的爸爸看着她自己做的事情说：“干得好，你扫得很干净。”

这个小女孩，毫不犹豫地，可能会把泥土倒回地板上，然后再次扫掉，等待同样的赞扬。这不是她爸爸想让她做的。在教孩子做好事方面，很难把目标定对。教非人类机器人好的目标甚至更难。这让我觉得几乎像一个养育问题。我带着她七个月大的孩子坐在她腿上，向凯尔西讲述了这个养育隐喻。

我认为有一些严重的相似之处，而且我和我的孩子们确实在努力引导一些你无法完全控制的东西，你甚至不想完全控制它，但它可能会变得非常糟糕，就像让骰子落在它们可能落下的地方一样。如果我们只是让骰子落在它们可能落下的地方，理性主义者说我们可能会面临末日。他们说这不会是我们预料到的。这不会是好莱坞式的终结者场景。

它可能也不会包含回形针。他们并不假装知道末日会如何降临我们。只是它可能是一些我们甚至还没有想象到的东西。但我很难被可能发生的事情所困扰，因为感觉由于人工智能，坏事已经开始发生了。人工智能不再是假设性的了。它已经进入我们的生活。

我不会因为假设性的末日而整夜睡不着觉。我现在发现自己问一些问题。例如，OpenAI现在对我的声音做了什么？除了消灭人类之外，还有什么办法可以解决人工智能的问题吗？这听起来非常令人兴奋。你知道，如果我是一个大型科幻迷，我会非常喜欢这个。

并非所有技术人员都接受了Eliezer Yudkowsky的主张。他在说什么？这就像文字沙拉。这甚至没有意义。

一群技术人员实际上并没有接受他的任何说法。将对话作为思想实验是一回事。当这种思想实验吸收了所有资金和资源时，又是另一回事。我对人工智能世界的了解越多，我看到的差异就越多。

技术人员之间。我确实担心人工智能会杀死我们的方式，但我考虑的是人工智能会慢慢杀死我们的方式。他们被称为人工智能伦理学家，他们说我们一直在关注所有错误的事情。下次再说。♪

《好机器人》由朱莉娅·隆戈里亚主持，由我加布里埃尔·伯贝制作。声音设计、混音和原创配乐由大卫·赫尔曼创作。事实核查由凯特琳·彭泽穆格完成。编辑由黛安·霍德森和凯瑟琳·威尔斯完成。特别感谢未来完美创始人迪伦·马修斯、Vox执行编辑阿尔伯特·文图拉以及汤姆·奇弗斯，他的著作《理性主义者的银河系指南》是本集的早期灵感来源。

如果你想更深入地了解你听到的内容，请访问vox.com/goodrobot，阅读更多试图理解人工智能的未来完美故事。感谢收听。