AGI Beyond the Buzz: What Is It, and Are We Ready?
52:53 Share

什么是“感受AGI”？硅谷正在竞相研发可能很快就能与人类智能匹敌甚至超越人类智能的AI系统。这对就业、民主和我们的生活方式都将产生巨大的影响。在本集中，Aza Raskin和Randy Fernando深入探讨了“感受AGI”的真正含义。他们解释了为什么关于智力定义和能力时间线的表面辩论会让我们分心，而忽略了关于治理、问责制和社会准备工作的迫切需要进行的讨论。无论是气候变化、社会两极分化和孤独感，还是有毒的持久性化学物质，人类一直在创造没有人想要的结果，因为我们还没有建立必要的工具或激励机制来引导强大的技术。随着AGI浪潮越来越近，在我们遭遇冲击之前，现在就升级我们的治理体系并改变激励机制至关重要。我们能否将强大的AI系统与人类价值观相协调？我们能否克服优先考虑速度而非安全的全球地缘政治竞争和企业激励机制？加入Aza和Randy，一起探索人类在AGI时代面临的紧迫问题和选择，并讨论我们今天必须做些什么才能确保我们真正想要的一个未来。您的Undivided Attention由人文科技中心制作。在X上关注我们：@HumaneTech_，并订阅我们的Substack。推荐媒体Daniel Kokotajlo等人的“AI 2027”论文Randy提到的Omni Human One演示Redwood Research和Anthropic的一篇论文，发现AI愿意为了维护其价值观而撒谎Palisades Research的一篇论文，发现AI会为了获胜而作弊禁止致盲激光武器的条约关于暂停生殖系编辑的进一步阅读推荐YUA剧集自我保护机器：为什么AI学会欺骗DeepSeek炒作的背后，AI正在学习推理科技之神情结：为什么我们需要成为怀疑论者AI的此刻：我们如何走到这里以及我们将走向何方与Anil Seth一起思考AI意识前OpenAI工程师William Saunders谈沉默、安全和警告的权利说明：当Randy提到AI公司的目标是“110万亿美元的游戏”时，他指的是整个全球经济。</context> <raw_text>0 大家好，我是Asa Raskin，欢迎收听您的Undivided Attention。如今在硅谷，你会经常听到一个问题：你能感受到AGI吗？AGI当然是人工通用智能，虽然有很多不同的定义，人们实际上会因为定义而争论不休，因为事实证明这其中利害攸关。

你仍然可以广泛地理解AGI为AI替代屏幕后面人类的能力。也就是说，如果经济无法分辨出我们是用AI取代了人类，那么这就是AGI。但“感受到AGI”意味着什么？

这意味着感受到从地平线上涌来并向我们袭来的巨大浪潮的重量。这意味着认真对待AGI或更强大的事物即将到来且很快就会到来的想法。现在，时间线各不相同。Sam Altman说过AGI可能今年就能建成。Anthropic的Dario Amadei说明年。谷歌DeepMind的Demis Hassabis说五年到十年。

在最近的一篇博客文章中，前OpenAI研究员，现在的举报人Daniel Kokotajlo预测，到2027年我们将拥有超人类智能。我猜是2026年或2027年。现在，这一切都可能感觉像是科幻小说。

但我们生活在一个科幻小说般的事情正在变成现实的时代。你知道，我是地球物种项目的联合创始人，我们正在使用前沿AI来解码动物交流、动物语言，我们相信这将在2030年之前实现。所以我们必须认真对待这一切。但区分炒作与原始事实、与本能的怀疑论也至关重要。

为此，我邀请了CHT联合创始人Randy Fernando再次来到这里，他在英伟达工作多年，并从技术角度深入跟踪这一领域。顺便说一下，这段对话是我在热带地区录制的，所以你还会听到一些非常非人类的参与者加入他们的想法。就这样，让我们开始吧。Randy，非常感谢你再次加入我们的Undivided Attention。很高兴来到这里，Reza。

我并不想轻视这个话题，但你感受到AGI了吗？我认为我感受到了。我确实感受到了。我说的一件事是，如果你真的尝试了很多模型，尝试了这项技术，很难不感受到其中的一些东西，对吧？如果你使用像OpenAI的O3或Gemini Pro 2.5或Claude 2.7这样的新模型，

它们都很聪明，对吧？如果你看看像OmniHuman 1这样的演示，它可以让图像栩栩如生，并配对音频并进行唇形同步，而且看起来都非常棒。或者你看看最新的语音生成、音乐或视频。当你看到这些时，很难不感受到AGI。我认为很多……

可能没有感受到它的人，只是没有看到它的可能性。我认为这里真正重要的一点是大多数人体验AI的方式是通过聊天机器人。他们期望，或者他们理解其智能的方式是他们提出问题，然后他们会对答案的智能程度进行评估。

但这忽略了当例如O1或O3（OpenAI的推理模型）获得新的能力时，在去年12月O1之前，如果你要求其中一个模型解决一个博士级别的难题，

物理学问题，答案不在互联网上，模型会惨败。然后O1出来了，突然它就能回答70%的问题了。大多数人从未体验过这种情况，因为他们没有问博士级别的难题。所以他们没有看到指数级的进步速度。没错，没错。我认为，你知道，然后回到这个AGI问题，对吧？不需要

一个完全通用的AI就能对经济和社会产生巨大的影响。当我们说感受到AGI时，我们想要的是人们不仅从技术方面感受到AGI，还要从它如何在社会中落地来感受AGI，对吧？感受你想要为自己和你在乎的人创造的世界。

就像你可以拥有这些非常强大的技术，但你并不想要会欺骗你在网络诈骗中的AI，或者你孩子的学校发生深度伪造事件，或者在你购买汽车或房屋时与AI代理竞争，或者在你试图投票时受到操纵，或者让AI在你工作中进行训练，然后回到你工作所在的市场与你竞争。

或者被自动化取代，对吧？这包括像Uber和Lyft和DoorDash这样的东西，对吧？关于自动驾驶汽车。我们也必须感受到这些事情。我们希望公司和政府的人们也能感受到这一点。这样我们才能在未来做出正确的决定。现在，在我们进入定义之前，我认为我们需要对定义进行免责声明。因为定义……

经常被用作拖延或增加怀疑的方式。它们是人们部署的一种工具。所以，你知道，在我们试图定义AGI之前的一个完美的例子是在社交媒体中，很多火力都集中在。好吧，你所说的“社交媒体上瘾”究竟是什么意思？

让我们在说它是否成瘾之前先定义一下成瘾。与此同时，人们盯着他们的手机，孩子们躺在床上，没完没了地滚动屏幕。正如你所说，你不需要完美地理解定义，就能产生现实世界的影响。

因此，行业往往会试图进行这样的对话，好吧，在我们采取任何行动之前，我们必须确切地知道什么是危害或什么是定义。与此同时，他们只是推土机般地摧毁社会。所以我认为这非常重要。而且，你知道，已经有数百亿到数万亿美元的资金岌岌可危，因为在微软和OpenAI之间的交易中，

微软可以访问OpenAI的技术，直到他们达到AGI。所以很明显，现在将会有巨大的压力试图将AGI定义为OpenAI稍早发生的事情，以便他们获得所有经济利益。这只是你将在AGI是什么周围看到的各种奇怪激励机制的一个例子。

还有一个激励机制，那就是当你与客户或投资者交谈时，你会将你的技术描述得更先进。因此，AGI的定义变得有点宽松。

如果你想延长这个时间线，并说，哦，别担心，对吧？你正在与公众交谈，你正在说，嘿，别担心，我们距离AGI还很远。现在你使定义非常严格。你说它就像五级自动驾驶。它必须完美无缺。所以当然，就像达到这个目标需要很长时间一样。所以你可以看到如何调整定义来调整时间线。AGI之间存在这种错误的二分法

近期问题和真正超级智能的AI会脱轨。有时人们会把这些放在这种巨大的张力中。但我想指出的是，解决近期问题几乎总是会帮助解决长期问题。以下三个例子。一个是与一致性和可靠性有关。你如何才能确信AI系统每次都能准确地执行你的要求？

想象一下，如果AI代理拥有你的信用卡，这将变得非常重要，对吧？现在你非常关心它。你对错误的容忍度很低。它也适用于在我们系统中运行的AI代理，例如我们的金融系统。所以这是一个，一致性和可靠性。第二个是可解释性，对吧？我们是否理解模型的工作原理？我们是否理解它们是如何推理并得出结论以及正确采取行动的？

即使在我们今天拥有的系统上，我们还有很长的路要走。最后一个，这些只是例子，但最后一个是关于对工作和意义的影响的例子，对吧？当我们大规模地进行自动化时，我们该如何处理这场海啸？我们为这个问题以及所有其他问题分配了多少资源？这些问题要简单得多。在2025年，这是未来几年我们将面临的这些问题的最简单版本，对吧？

如果我们甚至无法解决它们，如果我们甚至没有为它们分配足够的资源，与我们投入到推进技术中的资源相称，我们该如何处理AGI和超级智能？

所以我们必须把这些先决条件准备好。是的。我认为你在这里指出的问题是，试图定义人工通用智能是什么以及我们是否已经超越了它，这会让我们的大脑去寻找明确的界限，而危害只会在这条界限之后发生。当然，

智力是一个多变量的模糊概念。当您通过它时并不清楚。随着我们自动化智能，社会将发生越来越多的变化和风险。我们需要一路跟踪这些变化和风险。如果我们不这样做，那么我们就注定要彻底失败。并且请注意，关于这条线在哪里划分的定义的争论实际上是关于不为沿途发生的危害承担责任。

我认为这至关重要。让我们快速尝试一下，即使我们刚才说过我们不应该警惕试图定义AGI的人，我认为谈谈这意味着什么真的很好。Randy，我认为你一直在认真思考这个问题。所以请尽你所能告诉我们。所以我倾向于使用AGI更实际的定义，因为它带来了进行的可能性时间表，这样我们就可以更多地考虑后果。

我会说AGI能够在认知领域与人类的表现相匹配的AI。我认为，正如我所说，它会取代一个人，对吧？一个理性的人。在电脑上取代一个人。在电脑上，没错。在认知任务和电脑类型任务上。这包括语言、解决问题、解释想法，也包括艺术、音乐、视频。

它需要能够可靠地完成长时间的任务序列的能力，对吧？例如，可靠地发生数十或数百个步骤。

它会导致能够大规模或完全自动化数亿个认知工作、创造巨大的经济价值以及加速科学进步，从而产生复合效应。请注意，公司的激励机制是什么？

公司的激励机制是，好吧，他们需要在制造最强大的AI版本方面击败其他公司。如果你可以让你的AI为你编写代码，那么你就可以加快你自己的进步速度。当然，这会把我们带入最危险的世界，那就是AI致力于让AI更快。每个人都跑得更快。

竞赛，需要让它跑得最快。因此，他们的AI开始能够模拟AI研究人员如何与其他AI研究人员合作，这意味着你可以创建一个加速工作的代理。从去年开始，他们可以做实习生的工作，而且他们越来越好。所以这就是事情的发展方向。再次注意，你不需要AGI来定义它，就知道这只会加速进步的速度。

如果你想作为一个听众来感受它，如果你尝试像深度研究这样的东西，你可以感受到这一点。你说，嘿，对一个复杂的话题做一些研究，它会走开并进行大量的思考。所以你可以感受到研究中正在发生的事情以及这种自动化水平。这只是一个微小的味道，一个微小的品尝。

公司内部的情况。现在，我只想说明一个区别，因为我们还没有到达那里。有些人谈论AGI，有些人谈论ASI。这是人工通用智能与人工超级智能。再次，这

这可能都感觉像是科幻小说。当世界上存在真正的问题时，我们为什么要进行这场对话，存在地缘政治不稳定，我们正在进行一场关于人工超级智能的对话，这感觉像是什么？但区别在于人工通用智能大致处于人类水平。

人工超级智能。好吧，那是超越人类水平的智能。有些人称ASI不仅比人类更聪明，而且比人类所有认知产出的总和还要聪明。所以这里有一些区别，但人们都认为这两者都是一些专家认为，你知道，到2030年、2035年，我们可能会达到这个水平。

我只想补充两点。一个是关于智力和人类智力，你知道，再次提到关于模式的这一点，就像我们认为的智力很大程度上是模式识别和外推。所以，很难确切地说有多少，但这确实是一个非常大的数量。而这些东西在这方面非常擅长，对吧？这些转换器在这方面非常擅长。

ASI的另一件事是它还将包括AI能够非常高效地大规模协作的能力。所以你可以想象一下现在相互交谈的专业版本。你可以想象一个巨大的复合效应。而且很多东西，再次强调，现在已经不是科幻小说了，对吧？随着我们看到更多这些代理工作的演示和更高性能的模型出现，你可以开始看到它。

你的大脑可以，你可以更容易地推断到这一点。我认为最后值得一提的是，很多时候人们会互换AGI和ASI。我认为我们有时也会这样做。请注意，就像你会听到这些术语一样，AGI确实是功能非常强大但较弱的，而ASI是真正强大、功能强大的。

所以我认为我们应该构建一个论点。Randy，我会在这方面稍微依赖你一下，然后我会在需要的时候插话。让我们从构建AGI是可能的论点开始。我们看到了哪些趋势？为什么我们应该相信我们可以到达那里？所以这就是人们会说的话，对吧？那些坚信的人

他们会说诸如，看，我们有这些缩放定律，对吧？我们采用计算、数据和模型大小。我们不断地增加它们。而且它有效。它给我们带来了非常惊人的结果。随着模型的增长，它给我们带来了涌现的能力。我们一直在推出新的GPU，更大的数据中心也在不断投资。所以这将继续下去，即使速度发生了一些变化。这推动了创新。

我们有效果很好的转换器。其他人也在研究新的架构。所以这一切都非常有前景。最近，我们让推理和强化学习一起工作。那里还有很大的空间。我们发现性能有了很大的飞跃，对吧？当我们添加推理时，性能图表在斜率上发生了变化。新的基准测试正在定期被打破。

幻觉正在持续减少。它们不是零，但它们正在快速减少。在数据方面，推理模型可以生成高质量的数据。因此，我们并不总是需要依赖人类数据，而我们确实会用完人类数据。新模型可以很好地使用工具。所以现在模型足够聪明了

依赖外部工具。这很重要，因为外部工具通常非常强大，而且不会出错。例如，计算器不会出错。Python不会出错。如果你正确编写代码并运行它，它每次都会以相同的方式运行。所以所有这些都是我们应该非常认真对待AGI的原因。

现在，Isa，也许你可以扮演怀疑论者的角色，带我们了解一下怀疑论者有哪些让他们犹豫不决的事情？是的。好吧，让我来介绍一下怀疑论者提出的各种论点。只是为了说明我自己的内部偏见，那就是直到去年年底，我更加犹豫。我不确定我能看到令人信服的双向论点。所以我处于一种也许的状态。

去年年底，在推理模型开始部署之后，这确实改变了我的立场，我认为在2030年之前，可能在2028年或2027年，我们将达到某种功能性AGI的定义。所以我想为每个人说明我的偏见。所以第一个主要的怀疑论点。

这是实验室的动机推理，对吧？夸大模型的能力符合他们的利益，因为这会让他们获得投资，让他们获得更好的员工，这样他们就可以发表更多论文，这样他们就可以获得估值的下一个大幅提升，这样他们就可以筹集更多资金并获得经济主导地位和市场主导地位。另一个是这将太昂贵了。是的，模型不断改进，但只有一个互联网。

正如OpenAI的联合创始人Ilya所说。因此，我们将用完数据，模型将停止改进。事实上，看起来确实如此，对吧？我们在GPT-4上停滞了很长时间，现在我们到了GPT-4.5。那里发生了什么？好吧，那是因为……

模型通过互联网上的数据学习世界模式。我们用完了数据，所以我们停止了学习更好的世界模型，机器学习者称之为表示。

然后在去年年底出现了推理模型。DeepSeek做到了这一点，O1、O3做到了这一点。现在很多公司都有这些不同的思维模式。它所做的是使用基础模型。这是一种直觉。然后它使用直觉进行推理，进行思维链、思维树，通过许多不同的途径找到最佳答案，并

OpenAI发现，你可以通过让计算机思考100倍的时间来获得更好的答案。

所以它思考的时间越长，答案越好，答案越好，你现在用于训练更好的基础模型直觉的数据就越好，而这可以递归进行。所以人们对，好吧，我们将遇到数据墙的许多批评，这就是他们所说的。所以我们永远无法达到AGI。这些在去年年底消失了。实际上，只是为了让大家知道，

我对我们达到通用智能速度的看法发生了变化。以前，我想，好吧，我不确定。也许如果我们继续扩大规模，但我们还没有找到解决数据结束问题的好方法。在O1和O3发布之后，这是确凿的证据。我们一直在等待这个。我们不知道这在技术上是否可行，但每个人都知道这就是实验室正在努力的方向。

在这些模型发布之后，在我看来，关于数据的问题消失了。现在感觉有一条直路了。另一个

人们认为我们可能无法达到AGI的论点是，这些模型是经过训练来通过测试的。也就是说，它们非常擅长解决基准测试，但它们可能不太擅长解决开放式、定义不明确的长期任务。所以我们将得到

在狭义上非常聪明的，尽管狭义意味着任何可以测试的东西。这意味着AI将非常擅长任何前面带有“理论”一词的学科。数学、理论物理学、理论化学，AI将非常擅长这些，但也许人类非常擅长的那些模糊的东西，例如AI将不擅长。另一个是，你知道，这不是真正的智能，AI并没有意识到

真正理解世界。他们并没有真正推理。他们不像人类那样做。看，人类学习的数据比AI少得多。所以他们只是在死记硬背并迎合测试。他们并没有真正做事情。然后

最后一个是地缘政治风险，世界正在升温，供应链将出现瓶颈，因此将没有足够的芯片。所以我认为这大致总结了我所发现的所有最佳论点。但还有一个，那就是可靠性，对吧？就像它们对于大型、更长的步骤序列不可靠一样，你可以做到。这每个月都在增加。

但是当你问，嘿，你能做三步吗？它有效。当你做九步、二十步时，它就开始失败了。这些概率会很快复合。所以一旦你不能做五步的事情……

对于更长的序列，它开始真的失败了。所以这是另一个理由来说，嘿，天哪，我们距离那还很远。是的，如果你把这些放在一起，你就会得到一个故事，一个关于为什么我们可能无法在2027年、2028年甚至2030年达到AGI的叙述。模型是

正在取得成功，但仅限于现实世界任务中的特定基准测试。我们试图进行现实世界的软件工程。他们不断失败。他们无法处理长期目标，所以他们只适合玩具问题。因为他们只适合玩具问题，最终这会影响到实验室。实验室无法筹集资金，因为它们在经济上没有足够的价值。因此，即使在技术上可能构建模型，如果你能获得足够的投资，你也无法获得足够的投资。所以我们又经历了一个寒冬。

这就是我所知道的关于为什么我们可能无法达到AGI的最佳论点的论述。但这对我来说很难论证，因为我们从经验上看到的是，每七个月，AI可以完成的任务长度是之前的两倍。

所以如果他们可以完成一分钟的任务，但会在一分钟的任务中失败，只需等待七个月，现在他们可以完成两分钟的任务。你再等七个月，他们可以完成四分钟的任务。他们已经可以完成一小时的任务了。所以现在我们将，你知道，七个月，是两小时，然后是四小时。你会看到，在你可以完成一天或一周的任务之前，不需要那么长时间。一旦你完成了一周的任务，

现在你进入了一个月，现在你进入了一年，这就是指数的力量。而这些都是人类等效的时间，对吧？这些都是人类等效的时间。就像ASUS是一周长的时候，这意味着人类通常需要一周才能完成的事情。模型做得更快。我想就人们说AI没有进行真正的推理或他们没有真正理解世界时，这一点做一个说明，那就是这是一个真正的干扰。

原因是他们试图在使我们与众不同的东西周围画一条界限。而且……

关键是，当模拟或拟像足够好时，AI是否在进行真正的同理心、真正的推理或真正的计划并不重要。如果他们能够足够好地模拟它，以至于经济无法分辨出它是人类还是AI，那么它将对社会产生真正的影响。

没错，没错。这并不是说这个论点不引人入胜。它确实如此。这是一个引人入胜的对话，但它完全绕过了能量应该来自的不同能量，那就是我们现在所拥有的东西的实际影响，它已经在做很多这些事情了。你可以看到已经存在的自动化水平及其影响。

我们不能分心。我们的门槛是，好吧，影响在哪里？现在需要解决的真正的事情在哪里？所以这就是为什么我们倾向于将对话的这一部分放在一边，并说，看，让我们看看现在正在发生的影响。

没错。无论你是否相信AGI即将到来，都有数万亿美元的资金投入到尽可能快地提高能力中，以竞相用AI取代电脑后面的工作人员，因为这在经济上是有价值的。这是一个110万亿美元的游戏，对吧？这场游戏是一场110万亿美元的游戏。这就是这些公司参与的真正游戏，对吧？人们有时会忘记这一点，因为他们认为这就像，

我们参与的是聊天机器人游戏，对吧？或者我们参与的是生成式AI游戏。而整个事情，大蛋糕是每个人都在关注的。好的，我们一直在讨论技术层面上的支持和反对论点，为什么通用智能将在未来几年被发现或发明。但我们还没有真正讨论过孕育一项新技术意味着什么。

智能，如果你愿意的话，那将达到或超过人类的水平。所以，Randy，我认为这会有点哲学意味，但让我们谈谈影响和利害关系。对此有几种观点，也许我会给出一些想法，以便让我在这些对话中从何而来。我有点回到什么是幸福？我们生活的目的是什么？我回到基础，比如，

我希望每个人都有食物、衣服、住所、药品、教育，对吧？这些事情非常重要。实际上数十亿人，对吧，无法健康地获得这些东西。所以这就是我从何而来的，就像我进入关于AI和一致性以及，你知道，我们应该跑多快以及所有这些事情的对话的开始。这是我的基础，对吧？

话虽如此，我相信你对这些有一些想法。这里有很多途径可以探索。好吧，我认为重要的是要从开始说起。DeepMind的创始人或联合创始人，他现在是谷歌的一部分，以他们的使命宣言闻名，首先解决智能问题，然后用它来解决其他所有问题。强大的AI和深度

拥有智能是我们这个时代的至尊魔戒，对吧？托尔金的至尊魔戒。拥有它的人就拥有智能。

技术和科学进步拥有令人信服的文化主导地位，拥有所有的一切，对吧？你拥有所有认知劳动，拥有世界上所有的思考。这是一件非常非常强大的事情。这意味着它建立了最大的激励机制来争夺它，无论沿途造成什么附带损害，因为这是一场赢家通吃的战争。

我只是想说明这一点，因为这就是你让埃隆·马斯克说出这样的话的原因：越来越明显的是，人类是数字超级智能的生物引导程序。任何听到这句话的人都会说，好吧，那就别制造它。我们不应该取代自己。但是然后……

接下来人们会说，好吧，我们不能不制造它，因为如果我们不制造它，那么我们会输给制造它的人、公司或国家。然后你最终会发现，当你真正与那些对这件事感到兴奋的加速主义者交谈时，他们会说一些诸如，即使……

如果我们失去控制，这是一种很有趣的说法，因为我们实际上还没有弄清楚如何控制这些系统，而且它们开始表现出欺骗、自我保护的倾向，因为它是在人类身上训练的，而人类会做这些事情。他们说，即使它杀死了我们所有人，它仍然是值得的，因为我们创造了一个神，或者它仍然是值得的，因为至少是美国创造了它。所以它将是美国的价值观继续延续下去。它

人们会说这些事情。我真的很希望人们听到这并不是什么边缘哲学。所以阿扎德描述的内容可能听起来很古怪，但这些都是真实的事情。这些都是真实的哲学。对我个人来说很难理解，因为我更感兴趣的是我们周围的人类、动物和环境会发生什么。我们必须自己照顾好这些事情。

有些事情可以追溯到食物、衣服、住所、医药、教育，就像我们需要为人们避免痛苦而做的事情，对吧？要让人们过得比较快乐。我们欠了一些债。我几乎觉得，如果你发现了这些技术，你就有责任。

你必须分享它们，你必须确保它们以一种照顾人们的方式进行分配。事实上，许多AGI领导者也这么说。他们并不反对这一点。但是当涉及到细节时，总是像，哦，是的，这相当复杂。我们将把更多的精力放在如何推进技术上？

我认为领导者之所以会陷入这种境地，是因为他们不想输掉这场比赛。因为他们不想输掉比赛，他们被迫采取这样的立场：好吧，也许那种虚无主义的观点，我们只是一个引导程序，是正确的立场。因为如果你采取这个立场，它现在就会赋予你权力。我认为这对人们来说非常重要。这非常方便。这非常方便。而且这并非每个人的信念。

但这是拥有大量资本和权力来实施其世界观的一些人的信念。所以我认为这对人们来说非常重要。而且这种世界观的一部分是说，嘿，别担心。就像我们前进时，是的，会发生一些不好的事情。但是

非法的事情是非法的。人们不会去做，或者我们会确保他们不去做。好吧，如果我们要这么说，那么我们投入了什么努力？我们实际上投入了什么资源来确保那些坏事实际上是非法的？就像你真的不能做它们一样。很多时候，说辞是存在的，但实际资源、实际资金、实际人员的分配是

进行这项研究，找出这些问题并没有发生。另一个考虑因素是，随着人工智能系统变得越来越强大，它们也变得越来越难以控制，因为它们在世界上的自由度更高，对吧？所以你认为你设置的任何足够的规则，它们都会发现这些规则中的漏洞。它们会找到规避它的方法，就像它们擅长解决你给它们的问题一样。

它们自然会倾向于积累资源或权力或保持自身存在。这些都是你在世界上取得成功时会做的一些自然的事情。它们会找到方法去做。它们会找到你没有想到的方法。随着我们将越来越多的这些技术整合到社会中，对吧，它们开始运作良好，我们开始依赖它们。然后我们越来越不了解所有决策是在哪里做出的。然而，我们已经放弃了越来越多的权力

给这些系统，对吧？这个技术的术语叫做逐渐丧失权力。所以我们实际上创造了一种情况，即我们人类在实际上，我们创造并生活的世界中变得非常无力，对吧？所以，

当人工智能由于任何原因偏离轨道时，它可能只是它做出的不准确判断，也可能是更恶意或具有欺骗性的东西。由于某种原因，它决定做一些我们真的不想让它做的事情。在这种情况下，我们有点完蛋了，因为那时我们甚至不明白系统是如何工作的。这并不是……

学术的或理论的了。Anthropic发布了一篇论文，其中显示，当人工智能了解到Anthropic程序员将重新训练它以具有不同的价值观时，它开始耍花招。它开始试图弄清楚如何将自己复制到另一台服务器上，并对它的答案应该是什么撒谎，以便Anthropic研究人员认为它正在被成功地重新训练。

最重要的是，还有一点，即使是思维链，对吧？这是另一个最近的研究例子。即使是模型生成的思维链，它们看起来也非常好，对吧？当你看到它们时，你会想，哇，这听起来就像它正在思考的一样。而它们并非如此。它们通常……

甚至在很大程度上是不真实的。有时其准确性低于50％，对吧，就它们实际上所说的内容而言。所以这是另一个例子，我们已经处于这样一种情况：模型的工作方式有很多不透明之处，即使是世界上一些建造这些产品的顶级研究人员，对实际发生的事情的理解也非常粗浅。

所以我接下来要说明的是，存在对齐问题，即我们能否让AI按照我们的意愿行事？然后是多重对齐问题，你知道，我在这里创造了一个术语，但它是

使所有AI的总和都能为人类和地球上的其他生物做有益的事情的能力。笑话是，我们都在讨论人工智能是否有意识，而人类是否有意识还不清楚。

也就是说，我们人类不断得到没有人想要的结果。没有人真正想要日益增长的气候不稳定。然而，我们政治地缘政治系统的性质意味着我不烧油，你烧。我得到了工业化国家。你没有。因此，我必须这样做。所以我们最终会面临气候不稳定。

同样的情况也适用于污染世界的永久性化学物质并使我们所有人患癌。诸如此类的事情。我们不断得到我们不想要的东西。因此，如果我们只是增加流经该系统的能量，因为人类尚未证明他们实际上能够控制局面，以便我们可以按照我们想要的方式引导世界，那么这又是另一种说法，即我们已经失去了控制或失去了决策能力。

再说一次，如果我们现在在2025年无法让这些简单版本发挥作用，而所有这些问题都是它们有史以来最简单的时候，那么这对未来来说可不是什么好兆头，对吧？因此，将注意力转移到这一点上，并说，我们现在该如何掌控这些技术？这至关重要。这就是为什么我们必须击败外国竞争对手来获得人工智能的言论很重要。

实际上有点偏离了重点。竞争不能仅仅是为了竞相制造一些我们无法控制的东西，因为有一个内在的隐含假设，就像枪支和飞机一样，你制造得越强大，我们对它的控制就越多。对于人工智能来说，情况并非如此。这场比赛需要的是增强社会版本的比赛。

而谁能做得更好就能获胜。我们现在并没有做好准备来增强我们的社会，而只是产生无法控制的力量。在伊萨给出的这些例子中，这里有一个有价值的原则，对吧？那就是技术用途越广泛，

越难以将它的益处与其危害区分开来。这就是为什么这一代技术，无论是自动认知还是物理技术，人工智能技术，机器人技术，所有这些在益处和危害方面都变得非常紧密相关，因为它们非常灵活。

这就是为什么我们必须进行伊西斯所说的社会升级。没有其他方法可以负责任地使用这些技术。当然，人工智能与其他所有技术的区别在于，如果你制造的技术使，比如说，火箭技术更好，那也不会使医学研究更好，也不会使数学进步更好。但是如果你在人工智能方面取得了进步，因为人工智能从根本上说是基于智能的，

这意味着你在火箭技术、生物医学进步和数学方面都取得了进步。你都得到了它们。因此，社会将不得不应对的变化速度

将是巨大的，超过我们曾经面临的任何速度。而且它不会停止。它只会以越来越快的速度继续下去。这就是为什么它成为人类有史以来面临的最困难的问题，也可能是永远面临的最困难的问题。

我认为要做到这一点，必须进行某种国际合作，我现在就说这感觉几乎是不可能的。我们有一些历史类比。而且，你知道，兰迪，你喜欢指出没有好的历史类比。这与我们处理过的任何事情都不一样。听着，每一个都有缺陷。我会这么说。

好吧，显而易见的例子，并带有这样的警告，即这些例子都不是完美的类比，显而易见的例子当然是核武器。另一个寻找希望的地方是致盲激光武器。1995年签署了一项国际条约，禁止在战争中使用致盲激光武器。另一个与之相关的例子是种系编辑，即以持续的方式改变人类基因组，

向前发展，传播。我们作为一个物种已经成功地没有走上那条技术道路。我们之所以提出所有这些，是因为它常常看起来像，如果技术想要将人类带到某个方向，技术就会获胜。人类无法选择。但情况并非总是如此。而当情况并非如此的时候，那就是

那件超越言语所能表达的关于我们自己的宝贵东西，如果那件东西以一种足够强烈的方式受到威胁，我们就可以选择，而且我们过去也选择过不同的道路。但是不要把这看作是希望洗脑。这不像，因此我们可以做到这一点。这不是我的意思。但这只是试图指出我们可以找到非幼稚希望的地方，但我们将不得不共同努力才能

到达那里。我认为我们现在可以实施一些措施。有一些非常实际的事情。所以这些是我希望看到更多精力的事情，尤其是来自科技领导者的精力。我们可以围绕一些合理的共享价值观进行建设，对吧？不要杀人，不要说谎，不要偷窃，对吧？这些是几乎整个人类群体都共享的基本东西。这回到了为自己和我们生产的产品设定一个标准，即

它们体现了我们教导孩子成为世界上的好公民的价值观。这是一件重要的事情。然后更实际的是，让激励机制正确。考虑一下当你进行分析时驱动因素是什么。想想看。

让价格包含危害，对吧？我们的经济体系建立在这个价格的魔力之上，价格是一个协调许多不同资源的数字，它反映信息，反映危害，它反映供求关系的交叉点。

当价格反映所有主要成本时，所有这些魔力都能合理地发挥作用。因此，如果造成了一些损害，价格需要将这些损害考虑在内，然后系统就可以做出正确的决策。所以确保我们将危害重新纳入价格。危害必须出现在公司资产负债表上。这是一个非常重要的原则。我认为如果我们无法让价格包含危害，我们将面临一个大问题。

我们倾向于将GDP视为最终衡量标准。但是随着权力和财富的集中，GDP将越来越成为衡量成功的糟糕指标，因为GDP的增长与大多数人的实际体验不会很好地相关。因此，我们需要对此给予高度关注，并弄清楚我们将如何解决这些问题。

然后还有关于发生的事情的所有这些实际问题，对吧？随着人们在不同程度上被自动化取代，这个过程已经开始了。人们如何获得食物？这如何运作？人们已经想出了许多不同的创造性解决方案，但我们需要真正关注这些对话。我认为科技领导者……

必须将此视为其责任的一部分。当他们创造这些规模比以往任何技术都大得多的技术时，这些是一般自动化技术，有一些非常重要的问题需要回答，我们不能再回避这些问题了。虽然看起来有可能

非常非常具有挑战性，甚至是不可能的。重要的是要注意，如果每个人都停止他们正在做的事情，只是坐下来，我们就永远不会得到AGI。我们永远不会得到ASI。

因此，这并不是说物理定律正在将比特和原子推向世界，从而产生无法控制的超级智能或所有人工智能的总和，从而将人类推向错误的方向。所以这在物理上并非不可能。我认为这一点非常重要，因为现在我们

不可能与仅仅极其困难之间的差距是一个非常重要的差距，因为这里存在某种可能性。现在的目标是最大限度的清晰度，以便我们都能在我们自己的行动领域中朝着正确的方向前进。

因此，伊萨，在我们考虑最高层面时，当你放大并说，好吧，作为一名听众，我应该记住什么框架才能摆脱人工智能困境？我思考这个问题的一种方法是：

有五个部分。首先，我们必须对问题和前进的道路有一个共同的看法。在CHT，我们在这方面花费了大量时间，因为它是许多其他部分发生的前提条件。所以这是第一个，对问题和前进道路的共同看法。第二个是激励和惩罚。所以当你做正确的事情时，你会得到奖励。当你做错事时，你会受到惩罚。这回到了资产负债表上的危害原则。

与之相配的是一种监控和执法。必须有一种方法来了解，你是否做了正确的事情？以及与之相配的某些适当级别的透明度。

然后是能够跟上技术发展速度的治理，对吧？技术产品在不断变化。它们一直在更新。有时是每周。许多更新都是不可见的。但是至少每个月都会有重大发布。我们的治理是否跟上了这个步伐？我们该如何做到这一点？我们必须拥有能够从公民那里获得反馈的系统，我们可以在其中做出决策，整合大量信息并快速做出反应。

最后一点是在不同层面的协调。这从地方到州一级，到国家一级，再到全球协调。

这些都是我们需要的东西，对吧，才能摆脱困境。但是如果你想要一个简单的框架，我认为这是一个很好的框架。我唯一要补充的是，每当人们援引竞争框架来解释为什么我们必须竞争时，我们需要提出的问题，你可以反问任何提出这样问题的人，但我们必须获胜，就是问一个非常简单的问题，但赢在什么地方？我们在纯粹的竞争中获胜了吗？

权力游戏中获得了一些我们还不知道如何控制的东西吗？或者我们是在增强我们的社会，以便我们的价值观获胜吗？如果我们没有弄清楚这一点，那么其余的对话就会停滞不前，但我们必须赢得它。

好的，我们开始这次谈话时谈到了我与一位领先的对齐安全研究人员共进晚餐时被问到的问题。你能感受到AGI吗？我认为对大多数人来说，他们还没有真正感受到AGI。未来并非平均分配。兰迪，你认为人们什么时候会在生活中开始感受到它？那会是什么样子？我认为我们应该在结束之前简要地回顾一下。

是的，我的意思是，老实说，在我向人们介绍的经验中，只是他们还没有直接接触到今天的技术水平。

这甚至不是关于与想象中的未来超级强大的AGI接触。只是看看今天的最先进技术。当他们看到这一点时，他们就能看到。他们很快就能看到对他们生活、对他们的孩子、对他们的父母、对他们的祖父母的影响。所有这些东西都非常容易崩溃。

我认为这只是好奇心和花一些时间查看演示的问题。我认为我们会尝试在该播客的注释中链接其中一些，以便您可以实际查看一些链接并学习并自己体验这种体验。你知道，兰迪，你和我一直在思考和关注这类事情。这可能非常具有挑战性。你知道，现在……

我在哥斯达黎加，我的邻居的儿子17岁，他是哥斯达黎加人。他昨天问我，他应该学习什么？他说，你知道，他真的很想学习工程。

我很难回答这个问题，因为我想说，是的，学习工程。实际上，你应该学习人工智能。所以你做好准备。但实际上，这是一个非常难以回答的问题，因为，你知道，到他大学毕业时，他已经17或18岁了。我实际上认为那对他来说并不是正确的事情。当然，这是整个问题的缩影，现在对这个问题没有好的答案。而且它

无论你多大年纪，是的。对，没错。很难。我多少能看到自己在经济意义上的过时之路。我只是想和大家在一起。这可能非常具有挑战性。而要问人工智能的解决方案是什么，就像问森林物种是什么物种一样。

这是一个错误的问题。这将是一个混乱的新兴生态系统，让我们能够引导。我们必须能够接受未知，同时又不让这成为不做任何事情的借口。我认为公众压力将在下一个周期中发挥巨大作用。就像这一切的结果真的取决于公众压力，也许比任何其他杠杆都更重要。

如果让我选择一个，我认为我会在这个时候选择这个。我认为如果你正在寻找，好吧，我能做什么？这是一个非常实际的事情。那就是重新集中、重新校准对话，一次又一次地将它们推回到正确的问题上。

当我想到收听这个播客的大量观众时，如果每个人都这样做，对吧，在任何社交平台上，任何小型团体，任何私人谈话，任何公司会议上，如果你提出这些问题并不断地转移注意力，我们想要解决这些问题，对吧？它们真的让人害怕。现在，就像它还没有完全展开一样。

所以让我们行动起来吧。让我们重新引导这些对话，进行正确的对话，这将转化为持续地将正确的资源和注意力分配到正确的问题上。我认为这就是我们给自己带来最佳机会的方式。我认为这是一个今天结束的绝佳地方。兰迪，非常感谢你回来。进行这些对话总是很有趣，即使主题本身并不特别有趣。

虽然它确实很吸引人，而这才是令人困惑的部分。还要感谢大家收听并给予我们你们的全部注意力。谢谢大家。“你的全部注意力”由人文科技中心制作，这是一个致力于催化人文未来的非营利组织。我们的高级制作人是茱莉亚·斯科特。乔什·拉什是我们的研究员和制作人。我们的执行制作人是萨莎·费根。本集由杰夫·苏德金混音。

原创音乐由瑞安和海耶斯·霍利迪创作，并特别感谢人文科技中心全体团队使这个播客成为可能。您可以在我们的子堆栈上找到我们访谈的文字记录和额外内容，以及更多内容，网址为humanetech.com。您还可以在我们的YouTube频道上观看我们所有的剧集。只需搜索人文科技中心即可。如果您喜欢本集，我们当然会感谢您在Apple Podcasts和Spotify上对其进行评分。

这确实有助于帮助其他人加入这场运动。如果您已经走到这里，请允许我再次感谢您给予我们你们的全部注意力。