Episode #184 ... Is Artificial Intelligence really an existential risk?
35:20 Share

了解更多信息：网站：https://www.philosophizethis.org/ Patreon：https://www.patreon.com/philosophizethis Philosophize This! 剪辑：https://www.youtube.com/@philosophizethisclips   社交：Twitter：https://twitter.com/iamstephenwest Instagram：https://www.instagram.com/philosophizethispodcast TikTok：https://www.tiktok.com/@philosophizethispodcast Facebook：https://www.facebook.com/philosophizethisshow   感谢您使节目成为可能。🙂  </context> <raw_text>0 大家好，我是斯蒂芬·韦斯特。这是《哲思》。如果您是第一次收听本播客，并且没有收听上一集关于 ChatGPT 和大型语言模型的内容，请先收听上一集，然后再收听这一集。事实上，如果您是第一次收听本节目，您不妨从本系列的开头——关于心灵哲学的系列节目开始收听，从第 178 集“意识是否值得讨论”开始。感谢所有在 Patreon 上支持节目的朋友，patreon.com/philosophize this。philosophizethis.org 是我们的网站。我希望您今天喜欢这个节目。

所以我想从一个问题开始今天的播客，我们会在节目快结束的时候再回到这个问题。你知道，你跟一些人谈论当今世界上的技术，一些事情出错了，新闻里发生了一些可怕的事情，你问人们对此有什么看法，他们会说，你知道，技术本身并不是坏事。

技术只是一种工具。它是中性的。它是好是坏，这取决于使用它的人。我们作为人们的工作，我们所能做的就是努力激励世界上那些好的行为者，并阻止坏的行为。我们都听过人们说过这种话，但问题是，我们真的应该这样想吗？

我们应该把技术看作这一类无法判断好坏的中性事物吗？或者，每项技术是否都带有某种潜在的道德性，仅仅因为它具有影响其所属社会的能力？你必须问问自己，TikTok 是一种中性的技术吗？核武器是中性的吗？我们还有奢侈的时间以这种方式思考技术吗？

希望这些问题以及我现在有点尴尬的戏剧性表演，在节目结束时会更有意义。但现在，让我们为今天要进行的讨论建立一些基础。

上一集我们谈到了 ChatGPT，我们超越了那些刚开始参与这些关于人工智能的讨论的人可能有的最初直觉。那就是当 ChatGPT 与我交谈时，听起来它像是一个聪明的人，那么在其处理单元中，它一定是在做与聪明人在进行对话时大脑中所做的事情相同的事情。现在很明显，ChatGPT 并没有这样做，但应该说的是，它没有做所有这些事情，

这并不意味着 ChatGPT 不聪明。当然，这也不意味着大型语言模型不可怕。有一种人会在这里为 ChatGPT 辩护。一个非常非常聪明的人。他们说：“那么，你怎么知道 ChatGPT 没有做我们正在做的事情？”“你确定吗？”“嗯？也许我们所有人所做的只是概率性地插入……”如果你想为 ChatGPT 辩护，这不是最好的论点。你知道，试图证明它实际上正在做人类正在做的事情。

不，更好的论点是说，ChatGPT 令人害怕的原因在于它不必做人类正在做的事情，因为我们实际上并不一定旨在复制人类智能。

让我解释我的意思。我们必须讨论两点，然后我们将在几分钟内将它们结合起来。第一点是：当约翰·塞尔在上一集谈到句法和语义，以及中国房间里的人不可能仅仅通过在房间里操纵符号就能理解中文时，有人可能会反驳这一点，他们会引用对中国房间论证最常见的回应，即“系统回应”。他们可能会说：“是的，你是对的。房间里的人一个中文单词都不懂。”

但是，我大脑的任何单个子系统都不理解我现在使用的语言。构成我大脑的神经元不理解语言，我大脑的单个部分也不理解，但整个系统理解。会不会从句法到语义的飞跃实际上发生在整个系统的层面？这是第一点，先记住它。这是我想说的第二点。如果我们认为我们实际上并不旨在创造人类智能，

那么，我们试图创造什么样的智能呢？似乎有必要问这个问题，什么是更根本的智能？

当你开始试图回答这个问题时，你很快就会意识到，对智能下一个严格的定义，就像苏格拉底在古雅典骚扰人们时一样毫无结果。在这些对话中，没有人完全同意一个定义，但从尝试过的人那里可以得到一些重要的东西。当然，似乎是这样的一种情况，非常重要，那就是智能的定义显然不仅仅是人类正在做的事情。我的意思是，

这意味着人类智能并不是唯一一种智能。智能比这更广泛地定义。智能存在于动物身上。它存在于自然界的复杂系统中。认为它也可能存在于机器中并不具有争议性。那么，如果我们要尝试的话，我们该如何广泛地定义智能呢？

同样，许多参与这些对话并尽力给出定义的人。我希望人们对这个作为初步定义的定义足够满意。我只是想今天能够进行一次对话。说智能是某种东西理解、学习、解决问题、适应新情况，然后产生成功实现其目标的输出的能力，这是否太过分了？希望这足够接近，可以开始了。

那么，根据这个定义，像 ChatGPT 这样的东西已经很聪明了。问题只在于程度问题。当从事构建越来越智能的机器的哲学家和科学家谈论这些事情时，他们通常将智能分为三大类：狭义智能、通用智能和超级智能。狭义智能就像 ChatGPT、图像识别技术或国际象棋电脑。

看，国际象棋电脑可以胜过地球上每一个人。如果它只需要与世界上最好的国际象棋选手对弈，它就能击败他们。也就是说，如果它的狭义智能被限制在一个具有规则集的封闭系统中，例如国际象棋游戏。这就是狭义智能。但是，创造像我们一样通用的智能，一种在开放世界中导航、设定目标、学习、适应的智能，大多数计算机科学家认为这完全不同。

这是一种完全不同层次的智能，一种完全不同的信息处理架构。现在，将这两点结合起来。一个在这里为 ChatGPT 辩护的人可能会说，仅仅因为 ChatGPT 还没有达到那种通用智能，并不意味着它不是朝着这个方向迈出的重要一步。

这个人可能会说：“不难想象，这种狭义的 ChatGPT 智能，顺便说一句，它正在做很多它甚至没有被优化去做的事情。想象一下，它与 50 到 100 个其他狭义智能连接在一起，每个智能执行不同的功能，所有这些智能在一个更大的系统中相互通信。”

会不会正是这样才产生了通用智能？考虑一下这里与我们已经讨论过的意识理论的相似之处，与我们在“意识是一种错觉”这一集中提到的丹尼尔·丹尼特的“多重草稿模型”的相似之处，其中多个并行过程相互通信，创造了我们现象意识的错觉。

关键是，我们的思维和我们的通用智能系统是否是由各种子系统组成的？这些子系统中的任何一个都不理解整个大脑正在做的一切，就像中国房间里的人一样？但总的来说，这些东西是否可以协同工作，产生能够以通用智能的方式在开放世界中导航的东西？无论你站在这场辩论的哪一边，此时你对这个问题的答案都必须是：我们不知道。

最重要的是，考虑到为了使通用智能成为可能，我们甚至不需要这些机器具有意识或思维。我们只需要通用智能。所以有些人会说，哦，我们不用担心人工智能，因为这些东西距离能够做到人类思维所能做到的事情还有几十年。这些人可能是对的。

但是，人们在这些对话中说，人类智能是一个稻草人目标。这甚至不是这个领域的工作人员的目标。在这个领域，数十亿美元的资金（据估计），以及科学声望和政治权力，不在于破解人类智能，而在于解决通用智能。换句话说，我们不是试图在这里创造一个人。把这个想法从你的脑子里赶出去。我们试图创造一个完全不同的物种。

这就是人工智能以其当前形式成为一件相当可怕的事情的原因。

在关于 AGI 风险的这些对话中处于顶尖地位的人，他们通常不是那些在屋顶上大喊大叫的人，“机器人来了，伙计们！跟我一起下到我的地下室来，我有罐头桃子，我们可以永远住在这里。”不，这些人通常非常理性。他们说的是，鉴于我们对思维或智能运作方式的理解是多么贫乏，我们不知道，我们不知道我们距离通用智能有多近或多远。

我们的预测当然不是一个很好的迹象，因为我们总是出错。不幸的是，在这个问题上，仅仅等待并看看会发生什么是不够的。因为在这个问题上，人工智能风险方面的人会说，如果我们现在不进行这些对话，并且不理解我们所处局面的前所未有的风险，我们可能就没有一个世界能够在前进的过程中解决这个问题。许多哲学家试图为人们描绘一幅图画，说明在一个拥有超级智能的世界中生活会是什么样子。

如果你是一个对这种可能性持怀疑态度的人，请耐心听我一会儿。正如我们在本节目中所做的那样，我们将讨论反驳意见，但我认为重要的是要想象一下这个世界对生活在这个世界中的人来说会是什么感觉。我认为这有助于使整个讨论对人们来说更真实一些。但近年来，一位专注于描绘这幅图画的哲学家，也是所有其他事物中绝对杰出的沟通者，是萨姆·哈里斯。现在，萨姆通过要求人们接受他认为是两个非常简单的前提来建立这个思想实验。

第一个前提是基质独立性是现实。这意味着大脑的肉体计算机没有什么神奇之处可以实现这种通用智能。通用智能可以在类似硅的东西上运行，模拟神经网络。这是第一个前提。第二个前提很简单，那就是我们一直在取得渐进的进步。

正如他所说，它不必是摩尔定律。它只需要朝着通用智能的方向持续进步。最终，他说，我们将达到人类的智力水平。而且必然会达到远高于人类的智力水平。最终达到超级智能。很容易想象拥有超级智能在你身边的所有好处。想象一下一个没有疾病、不平等甚至死亡的世界。这一切听起来都如此美好。也很容易想象所有这些超级智能的方式，如果它想的话，它会来拿你的罐头桃子。

所以也许更有趣的事情是，萨姆·哈里斯要求人们做的事情，是想象自己处于最初的模糊状态。试着想象一下自己站在这些超级智能生物之一面前。试着现在就在你的脑海中描绘它。你描绘的是什么？它是什么样子的？你感觉如何？但要记住的一点是，当你正在脑海中形成这幅图画时，无论它是什么样子，它都不会像你我一样受到生物学的约束。

它不需要有两条腿和两只胳膊。记住，这不是一个人。这是我们创造的一个完全不同的物种。这个东西可能看起来像一个消防栓。如果它愿意，它可以看起来像一个漂浮的球体。它甚至不一定需要采取物理形式。但让我们假设它这样做一秒钟。并且让我们假设它有眼睛，这些眼睛可以表达它的感受，就像哺乳动物的眼睛可以表达感受一样。你认为这个东西会怎么看你？某种东西是如何看待比它低几千倍智力的生物的呢？

一个没有生物学限制的通用智能，具有你的大脑甚至无法开始理解的认知视野，这个东西是如何看待你的呢？它不会像狮子看你那样，像一个想吃你的捕食者。这个东西不想吃你。

它不会像看着熊的眼睛一样。你知道，当熊看着你时，至少西北部的黑熊通常不会看着你像想吃你一样。熊看着你时，眼睛里带着好奇，好像全世界没有什么可担心的。他们只是看着你。你就像他们现在有点感兴趣的 Netflix 节目。这就是他们看你时的样子。

但是，当谈到超级智能时，它似乎甚至不会那样看你。如果给予足够的时间来研究你，它已经几乎了解你的一切了。也许最接近的比较是，超级智能可能会像我们看待蜂巢中的蜜蜂一样看待你。关于蜜蜂，我有一个快速的问题。你认为蜜蜂会担心公立学校系统中正在发生的种族主义吗？

我的意思是，为什么不呢？为什么不呢？这是一个极其重要的道德问题，我们现在正面临着这个问题。蜜蜂只是冷漠吗？不，很明显，蜜蜂没有能力关心这些事情。它关心的是蜂巢世界中发生的事情。虽然这些道德维度显然存在于其他智能水平的其他类型的智能生物中，但没有任何解释能够让蜜蜂了解为什么这是一个需要解决的重要问题。

关键是，我们必须假设超级智能的道德维度与我们的智力水平相比是相似的。我们必须假设这个东西会逐渐了解其周围环境，逐渐适应，提出新的目标，而这些目标的范围可能是我们的大脑根本无法想象的。萨姆·哈里斯曾经将它与鸟类和人类之间的关系进行比较。如果你是一只鸟，并且你有能力思考你与人类的关系……

你基本上每天的生活都在希望人类找不到比鸟类存在更喜欢的东西。对一只鸟来说，我们的行为一定很令人困惑。有时我们看着它们，有时我们不看。有时我们为了对它们来说似乎完全没有理由的原因而杀死大量的它们。

想象一下，你现在与一个对你来说是这样的生物生活在一起。你看着这个东西，你真的就像一只在看电视的猫。这一切对你来说都很熟悉，但你不可能完全理解正在发生的事情的全部深度。现在，大脑很容易想到的是：“好吧，这太可怕了。如果这个东西有一天决定不喜欢我们，然后杀死所有人会发生什么？”

也许我会对它很好。你知道，当我想的时候，我很有魅力。也许如果我们都对这个东西很好，它会为我们治愈癌症，并为我们制作一些新的节目观看。如果我们从未给它理由变得刻薄，为什么这个东西会对我们刻薄呢？但萨姆·哈里斯说，更有趣的事情是考虑一下，这是对计算机科学家斯图尔特·罗素的一个想法的改编，但他认为，达到超级智能水平的人工智能甚至不需要对人类怀有恶意才能对我们构成危险。

他说，你知道，就像你买了一块地，你想在上面建房子一样，在这个过程中，你会杀死成百上千的虫子。这并不是因为你对虫子有任何邪恶的感情。

你只是没有考虑它们的存在，因为你试图完成的目标的范围和重要程度，虫子必须被杀死甚至不会出现在你的脑海里。超级智能不需要邪恶的动机就能做一些事情，让它的存在对人类构成危险。

现在有人可能会反驳这一切，哇，哇，你画了一幅多么精彩的图画。一个超级智能存在的伟大幻想世界。但这东西在现实世界中还没有发生。你必须做出很多假设才能达到你幻想中的这一点。这个人可能会说，这开始几乎感觉你们在这里在玩角色扮演游戏。

你们听说过角色扮演游戏吗？那些穿着巫师服装跑到树林里去创造一个神话世界的人，在那里他们可以战斗并互相发射魔法导弹。我相信你们都看过 YouTube 上的角色扮演游戏视频。如果没有，

天哪，我的算法对我说些什么呢？关键是，这里发生了什么？这些 AGI 风险的人，只是一群创造了一个幻想世界的人，在那里他们可以互相争论这些事情，扮演一群不同的角色，任何其他想参与他们的小游戏的人，在他们可以参与之前，都必须接受大量的假设？这些人只是在树林里玩角色扮演游戏吗？好吧，让我们来检验一下这种批评。让我们以对话的形式来做，这是哲学史上经典的格式。

就像你在对话中所做的那样，让我们听听论证双方的说法。一方面，我们有对通用智能出现的可能性感到担忧的人工智能风险者。另一方面，我们有一个对此不相信的怀疑论者。让我们从他们开始。怀疑论者可能会说，为了让你害怕当今世界中 AGI 的可能性……

你必须对这个东西的行为方式做出大量的假设。在我看来，这些假设中的大多数都归结于这样一个事实，即你正在将你的人类思维方式投射到这个不会像人类一样思考的东西上。这就是你的问题所在。例如，仅举一例，我们与生俱来的生存本能。谁能心安理得地假设我们将第一次启动这个 AGI，并且它会像我们一样思考一个以生存为导向的生物？

你怎么会担心人工智能因为害怕被关闭而对人们进行先发制人的打击呢？看，这听起来像是科幻小说。我的意思是，你必须记住，这个东西本质上是一个电路板。你给这个东西一个目标，它就会执行这个目标。如果我们不将所有讨厌的生存本能编程到其中，它将永远不会拥有它们。但人工智能风险方面的人可能会反驳说，好吧，你是对的，人们经常将他们的人性过度地投射到这些东西上。

但是你关于生存的说法是不正确的。我们知道这是不正确的，因为我们已经进行了实验来测试它。这个概念被称为工具性趋同。这个想法很简单。无论什么东西，即使是在人工智能中，只要赋予它某种必须执行的主要目标，总有一些子目标、较低级别的目标自然需要能够执行主要目标。

生存几乎总是其中之一，尽管事实上有许多目标会工具性地趋同。哲学家伊莱泽·尤德科夫斯基写道，所以人工智能风险论证方面的人可能会说，即使 AGI 没有将生存本能编程到其中，

它仍然会渴望生存，以便能够执行编程到其中的任何目标。顺便说一句，你可以在 150 年前的尼采和叔本华之间找到这种完全相同的区别。但怀疑论者可能会反驳他们。他们可能会说，好吧，这一点我承认。但说实话，生存是最不重要的。所有其他人们开始对人工智能做出的假设呢？它会充满敌意，它会想要掌权，它会像黑猩猩一样思考等级制度，就像我们一样。

你为什么假设这一点？看，仅仅因为你父亲有毒的男子气概并不意味着我的机器人必须拥有它。因为看，这就是你们人工智能风险方面的人一直谈论的事情。某种东西具有更高水平的智力并不一定意味着它会对所有智力较低的东西怀有敌意。例如，鹿比蜘蛛等掠食性昆虫聪明得多。但是，当你露营在树林里时，没有人会担心鹿会在你睡觉时半夜袭击你。

这个人可能会说，这显然只是我们害怕我们自己最糟糕的倾向作为人在其他比我们强大得多的东西中表现出来的另一个例子。但我们可以对这个人工智能进行编程，使其不具有这些倾向。我们没有理由假设这个东西不会拥有一个对其他生物具有同情心的道德框架，它利用这种超级智能来想出创造性的方法来实现其目标，而不会影响其他任何东西。

我认为人工智能风险方面的人会说，好吧，我想你是对的，我们无法知道我们是否启动了这个东西，它只是我们见过的最友好的生物。我们无法确定，当这个东西扩展到它实际上无限的认知视野时，几千年来，它是否会始终将我们的福祉作为其首要任务。你刚才说的任何事情都不是不可能的。只是，正如萨姆·哈里斯所说，这是一种奇怪的自信。

我们不知道它是否会那样发展。我们不知道它是否不会。这就是为什么你到目前为止一直在谈论的所有事情，顺便说一句，生存本能，黑猩猩级别的敌意，换句话说，这种智能是否与人类的价值观一致，

这是这个领域正在进行的最大讨论之一。如果我们接受这个东西比我们所能理解的更聪明、更强大，那么问题是如何确保它的价值观不仅与我们现在的价值观一致，而且如何确保它在未来永远持续下去，即使我们的价值观发生变化？在进行这些对话的人中，这通常被称为对齐问题。从另一方面来看，可能会认为，“嘿，我们几千年来一直在做道德哲学吗？”

难道我们没有一些可以编程到这个东西中的常识价值观，而不用担心它吗？我的意思是，难道那些关于手推车的漫谈不应该是关于客观道德理想的吗？这些东西去哪儿了？但这并不简单。正如伊莱泽·尤德科夫斯基所说，我们目前不知道如何将内部心理目标纳入系统。我们只知道如何将外在可观察的行为纳入系统。因此，如果发生某种我们没有预料到的多米诺骨牌效应，在接下来的 30 天内出现了超级智能……

即使我们拥有这些价值观，我们也不知道如何将这些价值观编程进去，而我们没有。即使所有人类都能就哪些价值观应该纳入达成一致，而我们做不到，我们仍然处于这样一个位置：我们受制于你能想象到的每一个意外后果，甚至是你没有想象到的所有后果。

在这些对话中，有一个著名的思想实验说明了这一点，这个思想实验是由哲学家尼克·博斯特罗姆提出的。如果你正在与人们谈论 AGI，你就会听到它。它被称为回形针最大化器。所以想象一下这样一个世界，人们试图调整 AGI，他们想安全起见，所以他们给它一个对他们来说似乎是完全简单的目标来完成。他们告诉它制造回形针。顺便说一句，利用你的超级智能，尽可能高效地制造这些回形针，并尽可能多地制造这些回形针。去吧。

一开始很好，这些东西正在制造回形针。但后来它开始改进。它开始开采地球资源来制造更多的回形针。最终开发出纳米技术。最终开始开采人类作为碳的来源，寻找制造更多回形针的方法。故事的重点是，即使是像制造回形针这样看似无害的事情，当风险像你有一个超级智能执行你无法控制的事情时一样高时，即使是制造回形针也会产生毁灭性的意外后果。

如果回形针对你来说太理论化了，那么现实世界的例子呢？你可以命令超级智能做一些不可否认的好事。你告诉它治愈或消除癌症，同时不要在这个过程中杀死任何人类。这似乎是一套完全合理的参数。没有人会对他们生气。但随后想象一下，这个东西做了一堆研究，发现了一种非常酷的方法，它可以砍掉人的头，并将人们活着地保存在罐子里。但是

但是，嘿，他们现在不再有身体了，对吧？我查看了统计数据，它显示。大多数癌症发生在体内。自从头部进入罐子后，癌症数量大幅下降。我不明白你为什么这么生气。现在，应该说，很多人目前正在努力寻找解决对齐问题的方法。该领域似乎正在远离我们能够想出能够解释所有可想象的意外后果的严格协议的领域。如果您想了解更多信息，斯图尔特·罗素和埃利泽·尤德科夫斯基都在这个领域做着很好的工作。

但话虽如此，让我们回到之前谈话中对所有这些 AGI 东西持怀疑态度的人。因为当人们面对这种系统的对齐有多么复杂时，另一个流行的怀疑论观点是，也许这是真的，但也许我们并不需要在对齐方面做到完美。我的意思是，鉴于对齐过程似乎非常复杂，也许我们的真正目标应该是能够控制 AGI。

这似乎很容易。相信我，作为黑猩猩的表亲，我们是暴力领域的专家。我们知道这东西至少一开始需要用电，对吧？所以当事情开始失控时，我们不能只是拔掉电源吗？这是一种愚蠢的说法，我们不能只是向它发射 EMP 吗？我们不能只是关闭互联网或向它发射导弹吗？我的意思是，这真的这么复杂吗？我们只是不让事情变得太强大。这就是解决方案。

AGI 风险方面的人可能会反驳说，你真的认为事情会这样发展吗？斯图尔特·罗素说，仅仅从博弈论的角度来看，这就像他说他要与这台比他聪明得多的超级计算机下棋一样。它下棋比我强得多。但别担心，一旦它开始打败我太厉害了，我就会将它将死。这就像如果你可以按命令将它将死，你根本不需要与它对抗就能从它的智慧中获益。

对我们来说，如果事情失控了，我们会用核武器攻击它，问题解决了，这是一种奇怪的自信。对此，怀疑论者可能会反驳说，听着，我开玩笑说导弹的事。但是还有其他方法可以控制 AGI 吗？有没有办法阻止它一开始就出现？那会不会是一个可行的策略？是的，理论上是可行的。这就是为什么除了对齐问题之外，该领域正在进行的另一个重要讨论领域被称为控制问题或遏制问题。

这就是为什么许多开发这项技术的私营公司将这些东西锁在黑匣子里的原因。但即使是黑匣子，同样的问题也会出现。想象一下一个被困在黑匣子里的超级智能。你怎么知道这是一个完美的黑匣子，没有任何逃脱的方法？软件有时会有错误，好吗？我们真的把自己置于这样一个境地吗？人类的未来将依赖于一个电脑程序员一次的完美表现？

更重要的是，你怎么知道你不会被超级智能说服而让它出来呢？斯图尔特·罗素说，如果你想更多地考虑这个问题，试着想象一下自己被困在一个监狱里，监狱的狱警和所有警卫都是五岁的孩子。现在，你比他们聪明得多。你知道一些他们不可能自己想出来的事情。你看他们的行为方式，他们的行为方式对他们自己和周围的每个人都非常危险。他们正要烧毁整个监狱。

你会从你的牢房里试图教他们解决他们处境所需的一切吗？你会教他们如何透过牢房阅读，教他们如何使用电动工具，教他们为什么分享很重要吗？你会那样做吗？还是更负责任的做法是说服这些愚蠢的五岁孩子之一让你离开你的笼子，然后在你出去后帮助他们所有人？再说一次，即使这东西对人类没有恶意，它也不想被控制。

因此，对齐问题和遏制问题都远未解决，我们不能只是等待。听着，来自怀疑论者一方的所有这些批评，担心 AGI 的人不会认为这一切都是对抗性的。归根结底，从他们的角度来看，这是怀疑论者参与关于 AGI 对齐和遏制的讨论。他们只是处于对这个问题理解的早期阶段，欢迎来到这个级别的讨论。

现在，我们本节节目的开头接受了萨姆·哈里斯的一个观点，即你只需要接受两个主要前提，即基质独立性和持续进步，如果我们接受这些，我们肯定会在足够的时间内能够生产出通用智能。

但必须指出的是，有些人不同意这一点。这些人会说，他通过做出这些假设做出了很多假设。他们可能会说他偷偷引入了心智的计算理论，他假设智能是可以简化为信息处理的东西，他忽略了一些具体认知的可能性。但我认为他们会说，即使我们只是坚持他提到的两个前提……

这两件事仍然充满了大量的假设，我们不知道它们是否会最终成功。例如，我们不知道我们在过去几年中在人工智能领域取得的巨大进步是否只是一些唾手可得的成果。我们正在经历软件的初始阶段，我们看到了大量的开发，但很快我们就会遇到某种瓶颈，收益递减。

他们可能会说，这似乎很可能。我的意思是，我们唯一可以参考的通用智能的例子花了数十亿年的进化时间，这并不是说它必须花费这么长时间。这只是一个论点，试图说明我们在组织概念、创造新概念、以有意义的方式将它们与现有概念联系起来时所面临的潜在复杂性。这是一项非常艰巨的任务，尚未完成。

这种人会说的另一个“如果”是关于硬件的。你知道，也许我们在未来几年解决了这个 AGI 问题的软件方面，但也许需要几个世纪的时间，或者不可能拥有能够运行这种软件的硬件。或者也许运行它的成本太高，永远无法扩展。这种人可能会对萨姆·哈里斯说：“听着，你在这里做的只是沉溺于一个非常自我证明的论证循环。

你说，“嘿，有一天超级智能可能出现在我们中间，所以现在让我们来谈谈如果这种情况真的发生，世界可能会如何终结。”但根据这种逻辑，为什么不担心所有事情呢？为什么不担心基因工程和嵌合体接管地球呢？为什么不担心面部识别技术呢？为什么不担心功能获得研究呢？

对于萨姆·哈里斯博士，我的意思是，我这里并不是要为他说话。这只是我对他的说法。我在本集中创造了这个奇怪的假设人物之间的对话。但我认为他可能会对这个人说，是的，我们应该担心他刚才提到的所有事情。而且不要像我们对这些事情危言耸听一样担心，四处奔走惊慌失措。但当然，我们应该关注我们与科学和技术的关系。

请记住，这是同一位萨姆·哈里斯，早在 2015 年，他接受了一次采访，当时，这可能对许多人来说只是一个随意的评论。但他在这次采访中谈到，他说当我们面临当时美国的即将到来的选举，并且我们试图决定我们想要谁来掌舵时，我们必须考虑发生一些剧烈事情的可能性。例如，未来爆发我们没有准备好的超级细菌或大流行病，导致全球灾难。

那是在 2015 年。这显然是一个正在努力工作的人，他意识到我们正在经历的时刻，我们必须重新审视我们与技术的关系，因为当一项新技术问世时，像 2023 年这样，从来没有这么多风险。

这让我回到了我们在节目开头提出的问题。技术仅仅是中性的吗？它只是一个可以根据人的不同而用于善或恶的工具，而我们的工作是激励好的行为者并消除坏的行为者？还是技术已经成为我们不再有特权采取被动政策的东西？

因为这通常是这样的，对吧？一项新技术被开发出来，通常是在商业领域，公众和新技术之间的唯一守护者是一些雄心勃勃的首席执行官，他们受利润动机的驱动。然后，这种新产品的广泛使用被视为我们社会正在实时进行的一种实验。然后，任何开始出现的负面影响，政府都应该查看它们，并在事后通过法规来保护公众。当技术的风险较低时，这是一个绝妙的策略。

当我们在 17 世纪制造真空泵时。当有人为他们的家购买搅拌机或电视机时。但是 AGI 呢？核技术呢？自主武器呢？生物工程呢？技术不是中性的东西。你知道，福柯说，总是要对那些声称自己是中性的、拥有权力支配你的人和事更加怀疑。几十年来，科学技术研究领域的人们一直在说，一项新技术总是伴随着某些功能。

这意味着当出现新事物时，它总是允许人们做一些以前做不到的事情，但它也带走了人们过去能够做的事情。在本集中，对怀疑论者说担心 AGI 的未来可能性是愚蠢的，任何担心它的人都相信很多尚未实现的假设，AGI 风险方面的人可能会说，鉴于我们正在生产的技术的风险，我们没有奢侈的时间等待这些假设成为现实。

我们现在必须就 AGI 进行这些讨论，因为这是我们需要应用于新技术的新水平的正念，然后再将它们发布给公众或以不受监管的方式使用，以免人们受伤。

听着，即使所有关于 AGI 的事情都没有发生，假设我们在 10 年后遇到某种瓶颈，AGI 不可能实现，这个时代被视为一群愚蠢的、沉迷于技术的猴子在树林里玩角色扮演游戏，这些对话在重新审视我们与技术的关系时仍然会产生结果。例如，想想对齐问题以及同样的对话如何让我们避免了多年来在社交媒体上经历的一些危险。

这意味着，如果社交媒体提要上的算法的目标是最大限度地提高观众的参与度，那么如果错误信息和政治对抗是让公众最积极参与事物的原因，那么人们最终就会看到这些信息。想想围绕 AGI 的遏制问题和 20 世纪核电灾难的讨论。这些事情能预防吗？

下一次，我们将讨论狭义人工智能及其对社会的影响，其中一些甚至正在发生。我知道我上次说这将是本集的一部分。好吧，这是更多让你收听的内容。我当然很感激你决定收听关于这个的播客。这似乎是当今活着的人们熟悉的有益的谈话。但我今天想结束时承认一个我们本集根本没有提到的观点，乍一看，这似乎是所有这一切的显而易见的解决方案。为什么不禁止 AGI 呢？

我的意思是，我们对其他危险的技术实施了暂停令。克隆人是违法的。在你的车库里建造核反应堆是违法的。为什么我们不对 AGI 做同样的事情呢？好吧，你问得好。这也是使这成为一种特别复杂的生存风险的原因。我们现在不能停下来。

我们生活在一个世界里，数万亿美元的财富掌握在任何有洞察力和空闲时间来破解这件事的人手中。你再加上这样一个事实，这不像核技术或克隆技术，你可能需要一个科学家团队来监控和监管这样的事情。不，对于 AGI 来说，GPU 无处不在。关于算法以及如何改进算法的知识，你不需要加入一个秘密社团才能获得这种东西。

所以有些人觉得我们唯一能做的就是赢得这场比赛。有人谈到可能暂时暂停这种事情，但每个人都知道这只会是暂时的。这里似乎可以肯定的是，这与切尔诺贝利或三里岛完全不同，在那里，每个人都对核技术很感兴趣，直到发生几次重大事故，然后世界各国政府开始以典型的被动政策方式踩刹车。

如果你是一个渴望赢得这场技术军备竞赛的人，你知道，为世界上的科技巨头欢呼到终点线，那很好。但可能有一天，你会发现自己面对着我们在本集前面谈到的那种物种，盯着看起来更像你的小学科学项目而不是人类的东西。感谢您的收听。下次再聊。

本周的 Patreon 点名。我们得到了 Francisco Aquino Serrano、Donald Manas、Brett Clark、Jarrah Brown 和 Dylan Brenninger。感谢所有以任何方式支持节目的朋友。没有你们，这一切都无法实现。我希望你们本周剩下的时间过得愉快。