Three Red Lines We're About to Cross Toward AGI (Daniel Kokotajlo, Gary Marcus, Dan Hendrycks)
02:07:07 Share

先拿一个。好了，我们正在拯救人类。拿一个。比如说，让美国扰乱中国发展超级智能的能力，他们发展超级智能的主要方式是，如果他们能够完全自动化人工智能的研究和开发，并将人类排除在外。

然后你就会从人类的速度过渡到机器的速度。例如，我们已经有人，比如SheoBanthropic的Dario谈到，这样一个递归的过程可能会导致智能爆炸，这将导致一个持久的优势，没有人能够赶上。上周，Sam Altman讨论了这个过程如何在一两年甚至一个月内就能完成十年的人工智能发展。

有一个非常诱人的论点吸引了所有这些人，那就是，好吧，这很可能会发生。如果我们不做，别人也会做。基本上，所有这些人对自己的信任都超过了对其他人的信任，因此他们已经说服自己，即使这些风险是真实的，最好的应对方法是他们尽可能快地行动，赢得这场比赛。

他们为什么要创建OpenAI？好吧，他们担心自己不信任Demis负责任地处理所有权力，当时他负责人工智能项目，而世界的命运掌握在他的手中。所以他们想创建OpenAI作为一种对抗力量，能够正确地做到这一点，并将成果分发给每个人，而不是将权力如此集中在Demis手中。事实上，诉讼中出现的电子邮件显示，他们当时正在讨论他们担心Demis会利用AGI成为独裁者。

关于原型ASI的事情，我认为它们相当合理地遵循指令。还有一些其他的部分。是的，但这让我非常害怕，对吧？相当合理？你知道，当这些东西还在我们手中时，还好。但如果你让他们来操控武器之类的东西，在很多情况下，相当合理是不够的。

本期MLST由Tufa AI Labs赞助。这是一个研究实验室，总部位于苏黎世。他们也正在搬到旧金山。这些家伙在ARC V2排行榜上排名第一。他们真正热衷于构建下一代技术，下一项创新，这将把大型语言模型提升到一个新的阶段。如果这听起来像你，请联系Benjamin Crousier。访问tufalabs.ai。

本播客由谷歌支持。大家好，我是David，谷歌Gemini的产品负责人之一。如果你梦想它并描述它，VO3和Gemini可以帮助你将它制作成视频。现在有了令人难以置信的音效、背景噪音，甚至对话。使用Google AI Pro计划试用，或使用Ultra计划获得最高访问权限。访问Gemini.Google注册并向我们展示你的创作。

好的，我是Gary Marcus。我是一位认知科学家，也是一位企业家。我已经写了六本书，最近一本是《驯服硅谷》。我认为，我们现在正在硅谷的核心地带录制这个节目，地点在旧金山。我认为我们都希望为人类带来最好的东西，并希望人工智能能够对人类产生积极的影响，而不是消极的影响。我认为我们三个人可能并不总是意见一致，但我们实际上在很多方面有着共同的价值观。我很期待这次谈话。

谢谢，Gary。我的名字是Daniel Coccatello。我是AI Futures Project的执行董事。我们是制作AI 2027的人，这是一个对人工智能未来的全面、详细的场景预测。我是Dan，我是人工智能安全中心主任。我还为ScaleAI和XAI提供咨询。

我还做过机器学习方面的研究，比如我创造了GELU和CELU，这是一种常见的激活函数。最近，我做了评估，以评估诸如MMLU和数学基准以及人类的最后一次考试等能力。在我的整个职业生涯中，我一直专注于尝试衡量智力的各个方面，以及人工智能系统的安全属性。

我们共同关注的事情是，当AGI到来时，结果会是什么？它什么时候会到来？我们如何用方法论来预测这些事情？有人在一个问题中写道，也许我们实际上可以开始，比如，什么是积极的观点？我认为

我们房间里的三个人都一致认为，我们认为AGI可能是一件好事。我们没有人像在推土机前那样退缩，说停止一切，就这样。我认为我们都认为至少存在积极结果的可能性，但如果你认为我错了，你可以阻止我，并且我们希望朝着积极的结果努力。所以我们的第一个问题是，

这里面的好处是什么？为什么你不干脆说让我们完全忘记人工智能？是的，首先，我认为站在推土机前说停下来是相当合理的。我认为我们最终想要构建人工智能，因为有可能做到正确，并且有可能以对每个人都有益的方式来构建它，事实上，对每个人都大有益处。但是

如果我们目前没有走上正确的轨道，而我们目前正在走上一条会变得可怕的道路，那么在找到更好的方法之前停下来是有意义的。但是，至于好处可能是什么样的。

好吧，AI 2027的减速结局是事情对几乎每个人都非常顺利。而且——由于并非每个人都读过——我认为可能更多的人读过黑暗的场景而不是积极的场景，为那些可能没有读过积极场景的人阐述一下它的精神是什么。当然。所以在AI 2027的减速结局中，

设法投入足够多的努力、时间和资源来解决技术一致性问题，以便他们能够及时解决问题，从而仍然能够像他们想要的那样击败中国。他们指的是领先的人工智能公司的领导者、总统以及其他一些公司，那一群人。所以减速结局并不是我们对我们应该实际追求的目标的建议。我们认为这是一个……

追求这种场景将使世界面临各种类型难以置信的风险。所以我们认为这不是一个建议，但尽管如此，它仍然是一个连贯的、合理的场景，说明事情如何可能会乱七八糟，最终对每个人都很好。很好，我的意思是，例如彼得·迪亚曼迪斯（Peter Diamandis）的丰裕情景。这就是你想到的吗？我实际上没有读过，但我可以说……

当你得到超级智能的人工智能时，我的意思是比所有方面最好的优秀人类都好，而且更快更便宜，

你可以彻底改变经济。你知道，超级智能设计的机器人工厂以创纪录的速度建造，生产所有这些令人惊叹的机器人和所有这些令人惊叹的新型工业设备，然后这些设备被用来建造新型工厂和新型实验室来进行各种实验，以构建各种新技术等等等等等等。最终你会得到，最终，我的意思是，在短短几年内，你就会得到一个完全自动化的机器人

所有各种新型技术的美好经济，这些技术已经被超级智能迭代和设计。物质需求基本上得到了满足。财富极其丰富，可以分配。像治愈各种疾病、在火星上建立新的定居点等等，所有这些都成为可能。

所以这就是潜在的好处。然后，当然，还有一个问题是，我们能否真正实现这一点，对吧？如果我们确实拥有实现这一目标的技术，那么谁来控制这项技术？他们是否真的利用他们对超级智能大军的力量来为每个人创造这种广泛分布的美好未来？或者他们做一些更反乌托邦的事情？所以我想我们……

好吧，首先，我们将回到推土机的问题，以及你是否认为我们真的到了那个地步。但我认为我们可能可以达成一致，我们也会让你插话，那就是存在一个技术一致性问题，我们应该讨论这个问题。如果这不是一致性问题，那么政治问题，也许这个词的搭配太接近了，但如果这项技术存在，谁来控制它？这非常重要。所以我们应该讨论这两方面的问题。

政治控制和技术一致性。不过，让我听听你对第一个问题的回答。你认为我们现在需要站在推土机前吗？如果你不这么认为，你认为积极的一面是什么？

是的，我认为有两个概念。一个是AGI，一个是ASI，人工通用智能和人工超级智能。我认为AGI没有明确的定义，所以我很难说对于AGI的所有定义，都值得站在前面。有些人会说我们已经有了AGI。让我们从我们现在拥有的东西开始。有人可能会争辩说，我们现在就应该停止列车。对不起，我已经从推土机换成了列车。有人可能会争辩说，

我不是在做这个论点，但有些人已经提出了这个论点。这个论点是，我们已经走到了这条道路的这么远，如果我们现在不大力抵制它，它就会变得糟糕，这里没有一个好的结果，一个足够好的结果来抵消似乎不可避免的事情。我不是在做这个论点，但我听到有人提出过这个论点。所以部分是基础练习，我们在哪里？所以一个论点是，

去他妈的，我们已经搞砸了。我们需要让地球上的每个人都站在这列火车或推土机前说，停止它，因为没有积极的结果值得这样做。另一个立场是，这里实际上有一个非常积极的结果。如果我们能够以正确的方式引导它，我们就能得到这个积极的结果。这就是为什么我认为它是积极的。这就是我首先想谈论的一系列问题。

所以我主要考虑的是阻止超级智能。这样做的主要原因是因为这更容易

实施，在地理政治上与现有的激励措施兼容等等。所以这是我能预见的事情。我认为明天停止的事情不是我很容易预见的事情，所以我并没有真正考虑这个问题。超级智能的原因——但这只是宿命论吗？我的意思是，如果你担心超级智能，

你可能会认为，如果我们甚至朝着AGI发展，这可能在时间上更接近，那是一个坏主意，因为我们将无法阻止超级智能。也许我们不想冒险走得更远。我的意思是，我无法想象我们现在将如何协调来做到这一点。我认为要求是。

比如说，让美国扰乱中国发展超级智能的能力。他们发展超级智能的主要方式是，如果他们能够完全自动化人工智能的研究和开发，并将人类排除在外。然后你就会从人类的速度过渡到机器的速度。我们已经有人，比如Anthropic的首席执行官Dario谈到，这将给美国

或者这样一个递归的过程可能会导致智能爆炸，这将导致一个持久的优势，没有人能够赶上。上周，Sam Altman讨论了这个过程如何在一两年甚至一个月内就能完成十年的人工智能发展。

我认为这具有极大的破坏性，原因有两个。首先，如果他们控制它，那么——或者如果一个国家控制它，比如中国，那么所有其他国家都面临重大风险，因为这种超级智能可以被武器化并用来摧毁其他国家。如果他们不控制它，我认为这很可能是一个几乎无人监管的、极其快速发展的过程，

那么每个人的生存也受到威胁。所以无论哪种方式，这种非常快速的自动化人工智能研发循环都具有相当大的破坏性，无论国家是否控制它。所以我认为这样做是有意义的，不仅仅是因为人工智能在某种模糊的意义上更可怕，而且我认为国家为了自我保护，有非常强大的地缘政治动机来阻止这种情况。

我想回到它的地缘政治方面。我阅读或略读了你刚刚与亚历山大和埃里克一起撰写的论文。但我认为我没有得到第一部分的答案，那就是好处。我认为我不需要阐述好处。是的，是的，是的。所以对于好处，是的。

我认为人们普遍认为，如果我们拥有人工智能，它必然会掏空所有其他价值观，或者我们会面临极大的压力，走向其中一种价值观。那就是，我们将成为动物园里的动物，或者我们将，或者我们将被所有的快乐所淹没，只是，你知道，不断地沉浸在我们的VR体验中，并拥有肤浅的体验。我，

我认为你可以建立一个社会，让人民有自主权来选择他们想要的生活方式，考虑到人工智能提高GDP所能提供的资源。所以我认为有一种方法可以满足社会中的一系列客观需求。所以我认为没有……

没有均衡点，事情可以顺利进行。我认为有一种方法可以实现各种各样的利益，同时仍然保持人类的自主性等等。就像我们现在一样。想象一下，我们现在拥有这些东西，然后我们有自主权来选择我们现在想要的生活方式。而且会有更多的资源。对不起。

我们西方的一些人拥有这种自主权。是的，没错。没错。没错。还有其他一些关于你如何做到这一点的长期问题，比如你将如何分配权力？也许这将是人们可以租用的计算切片，例如，他们将拥有激活该计算切片的唯一加密密钥，这样你不仅是在分配财富，而且还在分配产生财富的方式。

在这个遥远的未来，人们可以从中提取很多东西，但我认为有一些途径可以使事情顺利进行。我喜欢“均衡”这个词。我认为我们可能都同意这里有多个均衡点，我们都在努力朝着平衡发展。

积极的均衡点。我认为我们也都同意，通往积极和消极的道路有很多种。我们可能对一些路径、一些可能性等等有不同的看法。但我认为我们三个人都在这种普遍的假设下运作，即事情有多种发展方式。有些是好的，有些是坏的。我比几年前甚至更悲观一些，因为

经济不平等之类的问题。所以几年前，当我比现在更信任Sam时，

我听到他谈论普遍基本收入。我一直认为这是等式中的一个重要部分。在我看来，数据驱动事物越多，公司——不仅仅是OpenAI——就越贪婪，在我看来，我们拥有普遍基本收入的可能性就越小。我认为在某种情况下，财富如此之多，以至于每个人的基本生活都能得到满足。

我不指望富人会在任何情况下放弃海滨房产或他们的权力。我认为我们最近在华盛顿看到的动态让我，虽然我知道我们的政治可能不一样，但让我对任何一种

相对平等的分配，甚至只是不是相对极端的分配，都感到不那么乐观。我认为积极的结果确实取决于在那里得到一些答案，即激励机制、机制、动态是什么，这样才能使事情得到很好的分配。我想我是在边说边编，但我认为这里有一个论点，如果我们看不到任何政治解决方案，那就应该停止列车。我大部分

我个人担心的问题实际上是技术一致性问题，我们很快就会讨论到这个问题。但是，如果我们甚至无法设想出一个政治解决方案，这确实让我感到紧张。我可以看到一个论点，让我们现在就停止列车，因为我们只是不知道该怎么做。回到你在开头所说的内容，关于延迟列车与停止列车有一个有趣的论点。我认为我们所有人都签署了暂停信，也许吧？我没有。你没有签署暂停信。

好的，只有我签署了暂停信。这很有趣。我没有打电话。没关系。我不知道我是否签署了。

暂停信中让我签署的部分，我最喜欢的是它说，让我们暂停我们知道在某些方面存在问题的特定事情。我的意思是，这实际上是关于延迟GPT-5的开发，具有讽刺意味的是，在我们中的一些人签署暂停信两年半后，它仍然不存在。但其含义是，我们将暂停GPT-5的开发，因为我们知道GPT-4存在某些类型的问题。

围绕一致性，我们将把这段时间用于安全工作。所以它明确地被构建为一种拖延策略。它并没有说永远不要构建人工智能。它并没有说不要做任何更多的人工智能研究。事实上，它说的是做更多的人工智能安全研究并等待。这确实仍然像

也许现在在政治上不可行，但至少可以考虑的一种策略是，你知道，也许我们应该不断更新我们对以下问题的估计：你获得积极结果的可能性与获得消极结果的可能性有多大？例如，将更多资源投入安全研究而不是能力研究等，这会如何改变？你对我说的话有什么看法？完全同意。就像，我认为，是的，就像我……

我更喜欢暂停人工智能的框架，而不是停止人工智能的框架，原因正如你刚才提到的那样。然后

关于更细致的提案还有更多内容需要说明。我认为我们应该把很多内容留到我们讨论的后期，在我们讨论完技术方面的内容，比如时间表、一致性等等之后。但你是主持人。我现在将使用主持人的特权，但如果你我们没有做到这一点，你可以稍后再催促我一下。我试图找到某种共同点。我认为我们有很多共同点。是的。

然后我们将讨论差异。你是否认同这种观点，即某种原因也应该摆在桌面上？我认为为技术研究腾出时间，我不指望从那方面获得多少投资回报。我认为在可预见的未来，大多数成功策略尤其不会通过

人工智能是完全可控的。所以我做技术研究。我会给你一个反驳。就像我刚才提出的论点的极端版本来自认知心理学家和进化心理学家杰弗里·米勒（Jeffrey Miller），他有一条我非常喜欢的推文，内容是，我们应该等到我们可以安全地构建这些东西，即使这需要，我忘了他说什么了，我会说250年。

这是一个有趣的框架，因为每个人都在想，我们下周应该做什么，或者我们是否应该签署这份暂停信？这是故意极端的。我认为可能是500年。如果需要我们500年，我们应该等待。我可以看到一个这样的论点。事实上，我想知道反驳的论点是什么。我认为我之前描述的过程，那个递归循环，我想你可以称之为智能递归，如果它足够快的话，就是一个智能爆炸。

这不是你可以通过研究就能解决的问题。你不能只写一篇八页的论文，然后我们就解决了。在明天的新闻中，我们已经找到了如何完全消除一些我们从未做过的事情的极其快速发展的过程的风险，并且所有未知的未知数都已经被预料到了。

好吧，我的意思是，我们可以从政治上，我的意思是，这需要很大的意志力，而且可能不太可能，但我们可以尝试达成一项全球条约。不要去那里。不要研究这些东西。如果你做了，请报告。我的意思是，你至少可以想象那种情况。我现在没有看到任何技术方法来应对那一系列问题。但是如果我们

我的意思是，不仅仅是我们房间里的三个人，如果我们作为一个社会相信，比如说，这是一条红线。你提出了一条红线。还有其他的。所以我们可以作为一个社会决定，有一些红线。也许递归自我改进是一个值得考虑的合理的红线。我们可以说，我们不会越过任何红线。我们将围绕它达成条约。在我们找到答案之前，我们不应该这样做。

所以我认为，各国应该明确表示，我们不希望任何人进行这种完全自动化的智能递归。

因为它会造成不稳定。现在这并不一定立即采取条约的形式。所以最初，他们会就此事交换意见，并明确表达他们的偏好，可能是明确的，也可能是在中央情报局等内部政策中。其他各方会通过泄密或直接了解到这一点

通过泄密或直接。你最终希望更有信心，没有人试图触发这样的事情。这个过程有多个阶段。它甚至可能涉及到冲突。它需要对话。它甚至可能需要冲突。

让人们认为，好吧，我们现在需要进行核实。然后你可能会达成某种条约。但你仍然可以通过威慑获得各种形式的协调，而不需要任何条约，就像我们在没有条约的情况下在多个问题上都取得了战略稳定一样。所以这是……

这可能是后期的事情。但你必须让对话进一步发展。丹尼尔正在看着我谈论威慑。不，不，我只是来回看着。你只是来回看着。为什么我会参加这场网球比赛？我必须揉你的脖子，因为我就在中间。是的，在中间。好的。所以让我们暂时分开威慑方面的内容，尽管我知道你热衷于谈论它，并且比我更了解它。让我们试着去解决它。

你可以区分一下我们会形成条约的动态。也许我们需要一些威慑和冲突，就像你刚才谈到的那样。但从这个问题来看，就像，文明现在做的事情是否合理，事实上，是签署这些条约？因为我们基本上非常接近。我可能比你采取更长的时间表，但我们相当接近至少某种形式的递归自我改进。

所以也许我们不想去那里。也许这就是现在做这些条约的合理做法。或者即使我们认为这是25年后的事情，因为我们知道条约需要8年、10年时间，也许我们现在应该把所有智力资本或政治资本投入到这件事中。你怎么看？是的，我认为三条红线是：没有递归，这是完全自动化的，不仅仅是一些人工智能辅助的，而是一个具有爆炸潜力的递归；没有人工智能代理具有专家级的病毒学技能或网络攻击技能，如果没有一些保障措施，这些技能是无法获得的；模型权重需要通过某些能力级别，需要一些良好的信息安全措施来包含它们，并确保它们不会被流氓行为者窃取或盗取。最低限度的问题是你如何看待我们在这几件事情上有多接近。但你对他说的话有什么看法？

我不知道其他两个，但第一个肯定。我认为如果我们能够以某种方式协调这一点，那就太好了。我不确定这是否是协调的最佳红线，但至少这是一个很好的起点。你现在想再加一些，还是以后在谈话中再加？我认为我最终会主张的事情更像是一种，而不是像，这是一条我们都不会越过的界限，更像是一种，

我们将逐步开发具有这些能力的人工智能，但我们将以一种相互透明的方式进行，并且以缓慢而谨慎的方式进行，我们都会讨论是否安全地进入下一阶段。然后在我们到达那里之后，我们会研究一段时间，然后讨论是否安全地进入下一阶段等等。所以我们最终可能会主张的事情会更像那样，而不是……

但是，就短期内真正需要阻止的事情而言，这种递归自我改进的事情，我想说的是，这是最重要的事情。这场谈话有点令人沮丧，因为我们似乎担心的许多事情实际上似乎非常接近。也许房间里最悲观的人——如果这是这个词的话——在这个问题上时间最长的是我。

但我们所有人，我想说的是——好吧，让我改述一下这个问题。相对于现在的现实，这是一个黑暗的答案，我认为，在以下意义上。即使你认为需要一段时间才能达到AGI或ASI等等——我们稍后会讨论这个问题——那些是我们的红线——我喜欢你的红线——

人们已经在挑战它们了。他们可能没有像你对递归自我改进的定义那样突破它们，我的估计可能比你的长一些，但人们已经在尝试这样做，而透明度就像

1990年代的讨论。已经是过去式了。OpenAI最初是开放的。现在不再开放了。仍然有一些因素在推动透明度，但也有一些因素在反对。我对政府提高透明度和态势感知能力持相对乐观的态度。

原因之一是我认为，对美国来说，更透明地了解前沿动态是有利的，因为中国已经知道了。与此同时，对于中国人民解放军的进展，透明度相对较低。因此，从信息中获益更多的人可能是世界其他地区。所以中国在这方面略占优势，这在某种程度上平衡了局势。

而且，对前沿技术拥有高度透明度对于建立更可信的威慑非常有用。因为——是的，让我们先暂停一下，讨论一下时间框架问题。

如果技术就是大型语言模型，那么大型语言模型中持久优势的概念就是一个神话。如果我们继续使用大型语言模型，没有什么会是持久的。但我认为你思考这些问题的方式与我略有不同。我认为，在当前的范式下，我预计它们会继续相互超越。所以我看到的基本上是势均力敌。是的。

对吧？所以可能会有不同的技术。我个人最喜欢的是神经符号人工智能，有人可能会获得持久的优势，但这将是间谍活动。人们会分享想法等等。但如果范式大致保持不变，我看不到任何人能获得持久的优势。所以第一部分是，你同意还是不同意？我认为这取决于你对范式的定义。所以我会说，

大型语言模型只是整体人工智能研究的一个子集。它们并非唯一可能的人工智能设计。绝对不是。而且进展将会持续取得。我会说，从某种意义上说，我们可以说，我们已经看到了一种从大型语言模型转向所谓的具有访问工具能力并可以编写代码的推理代理的转变。所以将会持续转向……

我会说，与其说是离散的范式转变，不如说更像是一种持续的范式转变。2027年的人工智能将与2023年的人工智能大相径庭。但总的来说，人工智能方面，我认为美国有可能最终比中国拥有持久的优势。而美国境内的某家特定科技公司最终也可能拥有持久的优势。我认为这是……

我认为这是不可能的，除非有人以一种截然不同的方式来解决这个问题。例如，你可以想象一种神经符号方法。它与其他任何人的方法都大相径庭，至少在一段时间内，我可以看到优势。按照人们目前做事的方式，我甚至不知道那会是什么样子。也许我应该澄清一下。持久优势，我的意思不是……

他们永远无法弄清楚你已经弄清楚的东西。我的意思是，当他们赶上来的时候，你已经领先了。所以你，就像，你知道，你跑得和他们一样快，所以即使他们只落后六个月，他们也永远无法赶上，因为当他们赶上的时候，你又领先六个月了。这就是我想问到的另一个问题的一部分，那就是六个月很重要。这足以改变世界吗？

现在看来并不巨大，但如果你是第一个触发递归的人，那可能就非常重要了。这又回到了另一个问题，那就是关于递归的问题，事实是人们正在尝试，据我了解。这是计划。

看来这是计划。是的，它仍然高度依赖人工智能辅助，现在没有人能够尝试启动它，并预见它会导致一些……实质性的东西，但是……是的，我的意思是，我现在看到的是……

你可以更快地进行超参数搜索等等。如果你愿意，你可以称之为递归，但这并不是我们在这里讨论的内容。我们讨论的是一个系统发现了一个根本性的新想法，而这个想法以前只能来自人类。它利用了其他东西。它不仅提出了想法，而且还测试它们、验证它们、制定调整方案、实施它们、扩展它们。我认为这正是像Sam和Dario现在正在做的事情。

暗示他们很快就能做到。我并不完全相信这些说法，但我认为这就是他们现在想做的。百分之百。是的。这是不稳定的。而且可怕且危险。让我们说，可能是破坏稳定的。我的意思是，如果这只是炒作，他们实际上做不到，那它就不会破坏稳定。但如果他们中的一个实现了它。如果从技术上来说是可行的，那将是破坏稳定的，是的。

我的意思是，我认为我们可以同意，这在技术上可能是可行的。问题是你能否用当前的技术或以后的技术来做到这一点。或者在遥远的未来。没有肯定的论点说这不可能做到，你需要……我的意思是，我认为我们都认为这会发生。

因此，透明度的一个优势是，如果对前沿动态有非常高的可见性，如果他们基本上正在触发这种过程，并且公众在事件发生时得到了合理的知情，我认为世界将会非常恐慌。所以我认为阳光可能会……

成为施加巨大压力以防止这种情况发生的一种方式。恐慌可能太强烈了，但值得一提的是，对美国民众的民意调查——不一定是亚洲，而是美国民众——非常担忧。这可能不是他们最担心的问题，这可能是经济问题等等。但是你看这些民调，75%的美国民众已经很担心了。

而且我预计这种担忧会增加，而不是减少。至少我没有看到任何能够及时减少这种担忧的积极因素。可能减少这种担忧的是科技公司的宣传，我认为。据我所知，科技公司似乎喜欢吓唬人。哦，我不同意。我认为，当然，在某种程度上可能有一些这样的情况。但至少我在OpenAI的经历是，

有更大的压力是不要公开谈论风险，而是要，你知道，淡化这类事情。至少据我所知，没有压力要夸大其词。而且，你知道，如果你看看Sam多年来的公开信息，他肯定开始越来越少地谈论它了。

好吧，当他——我的意思是，部分原因是我推动了他。但当我们在参议院谈话时，他没有回答这个问题，你最担心的是什么？我的意思是，我让布卢门撒尔回到他身边。布卢门撒尔说这是工作。Sam解释了他为什么不那么担心工作。

对。我说布卢门撒尔，你应该真的问他一个问题。Sam在那里说，我最担心的是我们……我不记得确切的措辞了……但对人类造成了重大损害。当他几周前回到参议院时，他最大的损害就像，换句话说，我们没有赚到所有钱，也没有获得我们本可以获得的所有价值等等。对。所以——对。所以我的意思是，我认为确实他过去更多地谈论过这种风险问题，现在谈论得少了。

所以，我的意思是，这是一个有趣的数据点。在我进行参议院露面的时候，那是2023年5月，所以重建时间表，在那之后不久是第二封与暂停信相关的信，我没有签署。那是鲍勃写的什么？那是关于……的信，也许是你写的，我不知道。那是Tice信吗？灭绝信。是的，是的。我签署了那封信。你让它实现了。这就是我们所做的。所以我没有签署那封信。

我们很快就会谈到灭绝风险，但我们稍后再谈。Sam我认为签署了那封信，对吧？那时，可能是2023年6月或7月左右。我知道那是在参议院露面之后。那时，首席执行官们表达对这个问题的担忧仍然很流行。也许他们确实少了一些。Dario仍然暗示这一点，对吧？是的。

所以很多

我交谈过的人认为，这是一种故意机制，试图炒作产品，谈论风险。就像，看看我们的东西有多棒。它可能会杀死我们。是的，所以我有很多……很多科学家签署了它。我知道，我知道。我没有，但很多人签署了。是的，我明白。所以首先，是的，很多人都持有这些观点，他们没有利益冲突，也没有试图炒作公司。我也同意这一点。但回到你关于炒作的观点，我对发生的事情的看法是，

DeepMind、OpenAI和Anthropic一直充满了从一开始就在最高领导层思考超级智能的人。因此，他们至少在某种程度上一直在考虑失控风险和权力集中风险，你知道，谁控制人工智能从一开始就在考虑。这以各种方式都有记载。你可以看看他们以前的著作等等，一些泄露的电子邮件等等。

然后你可能会问，好吧，他们为什么建造它？如果他们一直在考虑这些风险，他们难道看不到吗？失控。失控，权力集中。所以失控是指如果我们没有及时解决一致性问题，人工智能就会接管怎么办？然后权力集中是指如果我们解决了对齐问题，那么谁

谁控制人工智能，我们给他们设定什么目标，我们是否有成为独裁统治或某种疯狂的寡头政治的风险等等。所以你可以找到这些公司的人，包括高级研究人员和首席执行官等等，几十年前就谈论过这些事情的著作。然后你可能会问，好吧，他们为什么要这样做？如果他们……我的意思是，Dario似乎是这个问题最极端的版本。他似乎仍然非常……

公开地说存在非常严重的风险，而且他似乎非常公开地推动模型发展。我理解，我没有亲眼看到，但在某个时候他说过，由于这些风险，我们不会构建前沿模型，而现在他显然正在构建前沿模型。所以这里的关键是我想说，用一个词来说就是合理化。所以

有一个非常诱人的论点吸引了所有这些人，这基本上是，好吧，这很可能会发生。如果我们不做，其他人也会做。最好让我们先做，而不是让其他人先做，因为我们是负责任的好人，我们会……

明智地解决所有安全问题，然后也仁慈地，你知道，提供UBI或其他东西，以确保一切顺利。所以基本上，所有这些人对自己的信任都超过了对其他人的信任，因此他们已经说服自己，

即使这些风险是真实的，最好的应对方法是让他们尽可能快地前进并赢得比赛。这就是DeepMind的计划，可以这么说，Demis Hassabis，他的计划基本上是到达那里，用这家大公司谷歌先到达那里，

然后因为你比其他人领先这么多，你可以放慢速度，把所有安全问题都解决好，并在其他人赶上之前确保一切顺利。这个计划看起来很天真。当，你知道，埃隆、萨姆和伊利亚创造了开放……

OpenAI时，这个计划被破坏了。他们为什么创建OpenAI？好吧，他们担心他们不信任Demis负责任地处理所有权力，当他负责人工智能项目时，你知道，唯一，你知道，当世界的命运掌握在他手中时。所以他们想创建OpenAI，成为一种对抗力量，能够正确地做到这一点，并使其，你知道，分布给每个人，而不是将权力如此集中在Demis手中。事实上，他们，泄露的电子邮件或在诉讼中出现的电子邮件，我

他们谈论的是他们担心DEMIS会利用AGI成为独裁者。好吧，我们可以看到结果如何。所有Anthropic的人基本上都从OpenAI分开了，因为他们认为OpenAI不会负责任地处理安全问题。所以他们声称他们拥有技术人才，他们能够比其他人更好地解决一致性问题。这是一团糟。

你有什么补充吗？我同意这是一团糟。不是说这是一团糟。我的意思是，我不知道，你可能不想在镜头前回答这个问题，但你是否相信我们应该信任这些特定的合作伙伴中的任何一个？我们绝对不应该。

我认为推动像透明度这样的事情，以及政府拥有负责跟踪这些事情的人员，制定应急计划，采访这些实验室的计划并制定内部评估，以评估他们成功的概率，所有这些似乎都是有用的。我认为至少一些参与者可能愿意推动这类事情，而我认为其他人则不会。

所以我认为，他们是否愿意帮助解决这些集体行动问题，或者他们是否会继续背叛？已经有很多背叛了。回到你的问题，我意识到我实际上从未真正回答过这与你的问题有什么关系。所以

早期，当这些公司还年轻而理想化的时候，他们的创始神话基本上是，是的，风险是真实的。这就是你应该来我们公司工作的原因，因为我们是好人。所以当这仍然新鲜，仍然像，你知道，他们主要说的事情时，他们经常谈论它。但现在，当他们有点像创始神话有点像可笑，而且非常不像。

他们能一本正经地说出来的事情。它已经腐蚀了一些。它不再是他们能一本正经地说出来的事情了。而且他们也面临着巨大的政治压力，以获得投资者并避免监管等等。所以合理化的轮子还在继续转动，他们正在想出新的说法来证明他们所做的事情是合理的。是的。

而且还有更多参与者参与其中，包括美国产业（我们主要讨论的是美国产业），以及中国。然后我们有整个，我不知道我们是否有时间深入讨论，但也许我们会，也许我们不会，开源或至少是开放权重的机制，这意味着基本上任何人都可以在某种程度上参与到这场游戏中。我不同意这一点。哦，继续说。我的意思是，在某种程度上，当然。带我了解一下你的不同意见。好吧，假设我们……

假设我们实现了AGI，有人实现了AGI，并立即向所有人开放权重。

不会那样发生的，但假设那样发生了。那么，在短暂的辉煌时刻，任何拥有足够GPU的人都可以能够运行他们自己处于能力前沿的AGI。然而，AGI不像，你知道，会有AGI plus和AGI plus plus等等。而能够达到AGI plus的人将是拥有最多GPU的人，这样他们就可以运行AGI来进行最快速度的研究，你知道吗？所以即使你……

给了每个人完全相同的起点，相同的水平的能力，拥有更多GPU的人会缓慢但肯定地超过其他人。所以我认为这种不幸的——我不确定这一点，但继续说。所以这种不幸的固有的——我不知道我是否想说赢家通吃效应，但这种转向规模的事情是智能爆炸的动态固有的。这就是让这一切如此可怕的原因。

所有参与者都有动力尽可能快地推动它，并拥有最大的资源来做到这一点。不幸的是，他们也没有动力开放它，也不愿意公开透明地谈论它等等。是的，我认为我们在透明度以及我们可能期望的程度方面存在一些分歧。我认为你有点乐观。而我……

与丹尼尔一样，对透明度不太乐观。我尤其对透明度不太乐观，因为我们越来越接近拥有实际的AGI，或者让我们说差异化的人工智能。所以现在我会说，目前存在的东西并没有太大的差异。每个人都在使用大型语言模型和推理模型等等。人们在如何进行强化学习以及他们的数据集方面存在一些差异。但我认为……

在有人拥有真正独特的东西，他们认为其他人不会很快重建之前，透明度并没有那么大的价值。当一个人达到拥有某种独特知识产权的地步时，我认为这种情况会发生，那么更有理由不透明。

所以我认为我对内部最佳模型的数字保持透明持乐观态度，不一定是用来创建它们的方法或它们的权重，但至少公众知道发生了什么

模型展现的峰值能力是什么？然后意识到这一点。你是否乐观地认为他们会默认这样做，或者这会很好？显然，这会很好。我认为这很好，而且这比许多其他ESC更容易实现。

我同意。更容易实现，就像人们可能会同意这样做。是的，是的，是的。我同意这一点。这就是我一直提出这些要求的原因。但我只是说他们不会默认这样做。如果没有人要求他们对这些事情保持透明——我同意。所以我的意思是，我们可以同意，自愿自我监管可能不足以达到这一点。是的，是的。我不会依赖它。

是的。好吧，让我们谈谈时间、预测和情景。我们已经讨论了很多关于战略、我们应该如何前进以及应该采取什么政策的问题。其中一些取决于时间表。所以如果我们认为在AGI出现之前我们还有1000年时间，那么我们可能会做出与我们认为只有六个月时间时不同的选择。

如果我们认为大型语言模型是AGI的答案，我们可能会做出一个选择。如果我们认为它们绝对不是AGI的答案，我们可能会做出不同的选择，也许更关注研究。所以让我们谈谈我们在这方面的预测。

而且，也许我会在那里加上我们关于我们何时才能解决安全问题、一致性问题的预测。我会争辩说，我们在AGI方面取得了一些进展，但在一致性方面几乎没有取得进展。我们可以看看我们是否同意这一点。所以我想从使用许多观众会知道但并非所有观众都知道的概念开始，那就是概率质量分布。

也就是说，你可以做一个简单的预测。你可以说，我认为AGI将在2027年或2039年出现等等。但我认为我们都明白，这样做是不成熟的。你当然可以说你对它可能出现的特定年份的最佳猜测。但是作为……

科学家或了解科学的人，我们知道围绕这一点存在所谓的置信区间。所以它可能是这个加减那个。最复杂的事情是实际绘制一条曲线，并说，我认为一些概率质量将在2027年之前出现，一些将在2037年之前出现，一些将在之后出现。

我想这有点像你2027年人工智能的附录。你相当详细地介绍了这一点。我不确定有多少人看到了附录。我认为它可能有点隐藏，难以找到，但它在那里。而且它很好地做到了这一点。它以一种定性的方式给出了四个不同人的预测。我不知道它是否显示了完整的曲线，但它说，就像，这是他们认为它会在2027年之前出现的几率。

我认为对于四个预测者中的三个，或者你比我记得更好，一些概率质量就像在2040年之后等等。所以也许我先从你开始，因为我认为你可能做了最多的工作来尝试获得详细的概率质量分布。也许你可以谈谈你自己的以及人们使用的不同技术，以及你在那方面的进展。感谢你的精彩介绍。

对此。如果我说的太长了，请随时打断我，因为这是一个巨大的话题，有很多东西要谈。好的，首先是令人兴奋的部分，实际的数字。当我们撰写《2027年人工智能》时，我们对AGI有不同的中位数或50%的标记，或者我认为我们是，我们划分了，我们没有使用AGI这个词，我们使用了不同的里程碑。所以对于那些事情，让我们说对于超级智能，我认为到2027年底有50%的几率。

这就是为什么《2027年人工智能》描绘它发生在2027年底，因为这在某种程度上说明了我的中位数预测。现在，《人工智能未来项目》的其他人员往往比我更乐观。他们倾向于认为需要更长的时间才能达到超级智能。让我们澄清一下。乐观。这取决于你认为情况会如何而改变吗？当然，是的。所以其他——他们认为这需要更长的时间，比如2029年、2031年等等。让我们说更保守。几年后，是的。没错。

但是，你知道，我是老板，所以我们使用了我的时间表。但令人高兴的是，当我们实际发表它的时候，我已经延长了我的时间表。所以现在，我会说2028年底有50%的几率。

但是是的。这并没有让我感到多少安慰。我的意思是，我认为你错了，但如果我们多出12个月，我不确定这是否足以处理所有问题。这仍然非常可怕。但就我们的分布形状而言，它们往往在未来五年内有一个驼峰，然后是一个长尾。这是为什么？原因是……

好吧，在过去的15年中，人工智能的进展速度非常快。我们了解为什么它如此之快的一些原因。基本上，原因是规模。他们一直在扩大计算能力。他们一直在扩大数据量。他们一直在吸引越来越多的研究人员进入该领域，特别是计算能力可能是他们正在扩大规模的最重要的投入。这在某种程度上加速了进步。但他们根本不会，他们，这些公司，根本无法以同样的速度扩大规模

几年后。这是权力的函数还是电力之类的函数？是什么函数？你认为这种规模不会继续下去的限制步骤是什么？这不会像突然中断一样，而是一些事情。所以部分原因是，你知道，电源供应。部分原因仅仅是，嗯，

计算能力的生产，就像世界上大部分的，即使在建造新的晶圆厂之后，即使在将世界上大部分的芯片生产转化为人工智能芯片之后，他们也必须生产10倍多的晶圆厂才能扩大10倍，对吧？而以前他们只需要使用

为游戏设计的芯片，然后将其重新用于人工智能。所以有很多小方法会加起来，会有所有这些摩擦开始产生影响，这将使他们更难以继续疯狂的指数级规模增长。我认为我们已经在数据方面看到了这一点。

我不知道确切的数字。但让我们说GPT-2使用了互联网的10%左右，或者5%左右。也许你们知道确切的数字。GPT-3使用了更大比例的数据。GPT-4使用了大部分互联网，包括视频的转录等等。所以你不能只是不断地将其扩大100倍，因为没有足够的数据。每天都会生成新的数据。

你总是可以再挤出一点，人们也应该转向增强数据，但这并不是一种万能的溶剂。它在数学方面效果更好，你可以验证增强数据是否更好。所以我认为我们已经在至少进入当前方法的一种，让我们说，原始资源的瓶颈上运行了。我还想补充一点，

你也可以考虑金钱，这可以用来购买许多这些东西。你可以说，在过去的几十年里，他们一直在增加他们在研究和特别是训练运行上的支出。但他们很难继续以同样的速度扩大规模。你知道，他们可能已经在进行大约数十亿美元的训练运行了，但是他们

2020年最大的训练运行大约花费了300万美元，或者500万美元左右。所以五年内增长了约2.5个数量级。如果再增长2.5个数量级，我们在2030年将进行5000亿美元的训练运行。就像，仅仅

开始变得不够了。是的，世界上根本没有足够的钱。你知道，科技公司根本负担不起。即使它们比今天更大，经济也负担不起。所以这就是我们预测的原因……

如果你没有实现某种根本性的转变，如果你在本十年末没有实现某种疯狂的AI驱动的经济自动化，那么将会出现一个AI寒冬。至少，进展速度将会逐渐放缓。然后这种可能性会延伸到未来很长一段时间，因为这是一个非常不同的世界。就像，你知道，可能需要永远的时间。好吧，不是永远。一旦进入这种状态，可能需要相当长的时间才能达到AGI。

我还要问你一两个问题。我会插入我的问题，然后我会问丹。虽然，如果你想——我指的是，关于数据的一点说明是，是的，我认为我们在大约两年前遇到了瓶颈。而继续保持这种速度的主要因素是这种思维模式类型的东西，它超出了之前存在的趋势。所以我认为它在某种程度上弥补了大部分互联网已经被训练过的这一事实。

你提出这些曲线的方法，你能稍微介绍一下吗？是的。所以，这些曲线代表了我们的主观判断，这是非常不确定的。这只是我们的意见，你知道。但是方法是

我想说的是，与其只是随便说出一个数字，不如建立模型，观察趋势，然后进行一些计算来尝试给出数字。然后你应该仔细观察所有这些。

然后根据你刚才看到的所有东西，随便说出一个数字，你知道吗？所以这就是我们所做的。我们发现的主要论点和证据，这些证据推动了我们对整体估计的判断，是我们所说的基准加差距论点。也许我还应该谈谈，

基于计算的预测。你听说过Ajay Akotra的BioAnchors框架吗？我不认为我听说过。好吧，我们可以……在进入基准加差距论点之前，我会简要地提一下。所以BioAnchors框架……

之所以被称为BioAnchors，是因为它参考了人脑，我认为这部分实际上是它不太令人兴奋且不太可信的部分。我认为更可靠、更值得使用的是这个核心思想，你可以考虑在提出新想法和进行AI研究所需的时间以及进行AI研究所需的计算能力之间进行权衡。你可以想象，

你可以做一个大的二维图，你可以想象，好吧，10年后，20年后，30年后。随着时间的推移，我们达到AGI的概率是如何增加的？但你也可以想象……

不是更多的时间，而是更多的计算能力。如果我们有5个数量级的计算能力，10个数量级的计算能力，30个数量级的计算能力，我们今天就能达到AGI吗？那里的见解是，是的，可能。例如，如果你有10的45次方浮点运算，你可以进行一次基本上模拟整个地球和所有生命在其上进化数十亿年的训练运行。

年，你知道，有了这么多的计算能力。那里的想法是，如果你用这种类型的训练运行来构建它，你并不需要完全理解智力的运作方式，因为没有来自你的洞察力。你只是让自然发挥作用，让……

进化遵循其进程。所以想法是我们可以做一个，不是保证的，而是像一个软上限，大约是10的45次方。然后你可以做其他一些软上限。你可以想，好吧，我们可以用10的36次方做什么？我曾在2021年写过一篇关于这方面的博客文章。你知道，假设我们有10的36次方flop。我们可以进行哪些非常庞大的训练运行？然后，我们对它成功的可能性有什么猜测？你可以做的是，你可以

你可以开始在这个计算维度上分散你的概率质量。所以你有一个软上限。当然，你也有一个下限，那就是我们已经完成的计算量。我们现在显然没有用这么多的计算能力做到这一点。

所以这给了你在计算上的这个分散的概率分布。然后你认为，好吧，但我们也会有新的想法。因此，随着新想法的出现，我们将能够提出更有效的方法，使我们能够用更少的计算能力进行训练。所以你可以认为你的概率分布向下移动，同时实际计算量也在增加。然后这就会得到你关于年份的实际分布。我认为这是计算这些时间表的一种正确的基本框架。

但这是一种相对抽象的、信息量较低的框架，它并没有真正关注当今技术的细节和基准的细节。所以我认为这是一个获得先验概率的好方法。但随后你应该根据基准上的实际趋势等进行更新，这就是我接下来要谈到的。但我之所以提到这个先验过程，是因为

10的45次方浮点运算实际上并没有离我们现在的位置那么远。我们现在进行训练运行的计算量大约是多少，大约是10的26次方。在接下来的几年里，我们将跨越几个数量级。所以即使你只是像，即使你只是在像，

从我们现在的位置到10的45次方数量级之间以最大的不确定性分散你的概率质量，也会有像你知道的，一个不可忽略的量会在未来几年发生，所以即使在先验概率上，你也应该认为它在未来十年内发生的可能性相当大，然后你应该根据实际证据更新你的先验概率，我现在就要谈到这一点，所以实际证据我会说让我们看看代理编码基准，这在我看来是……

最值得关注的事情。原因是我认为获得超级智能的最快方法不是人类在他们自己的大脑中提出新范例的单一飞跃。我认为这更像是一个更渐进的过程，人类自动化了更多的人工智能研究过程，然后这使我们能够快速获得新的范例。所以我认为，就人工智能研究过程而言，最容易自动化的部分是编码。

所以我正在观察，我们什么时候才能达到编码基本上完全由类似LLM的AI辅助工具处理的地步。我们对此有一些基准。像Meter（M-E-T-E-R）这样的地方一直在构建这些小型编码环境，执行所有这些编码任务。当然，这些公司自己也在这样做，因为它们正在尽其所能地努力实现这个自动编码里程碑。而且……

所以我们观察这些，并推断它们的趋势，然后预测，好吧，在接下来的几年里，它们基本上会饱和。你知道，我们将拥有能够粉碎所有这些编码任务的AI。它们相对来说，你知道，它们不是什么可以轻视的东西。它们不仅仅是选择题。它们就像需要人类花费4个小时或8个小时才能完成的任务。

但这与完全自动化的编码并不相同。所以首先我们推断出它们何时会使基准饱和，然后我们尝试猜测第一个能够完全饱和这些基准的系统与第一个能够实际自动化编码的系统之间的差距。这可能是更具推测性的部分，但我们尽最大努力进行推理。现在我们准备进行今天第一次完全的意见分歧了。

但我理解你的逻辑。我认为这是经过深思熟虑的，但对我来说，它缺少认知科学。而我对此的看法更多的是从认知科学的角度出发。我看到了一系列认知生物必须解决的问题，其中许多问题都写在我2001年的著作《代数思维》中。

而且我觉得我们并没有解决任何这些问题，尽管我们在数量上取得了进展。其中包括在分布之外进行泛化，我认为这仍然是一个巨大的问题。我认为苹果的论文——我今天实际上发现了苹果的两篇论文。但关于汉诺塔的苹果论文，我认为是一个例子——

分布偏移问题。我认为多年来我们已经看到了很多这样的问题。我们看到这些系统在处理大数的乘法时会有困难，除非它们调用工具等等。我认为有很多证据可以证明这一点。我认为存在区分类型和标记的问题，这会导致在表示某个类别中的多个个体时出现渗透，从而导致幻觉。所以我最近写了一篇关于幻觉的文章，

我认为是ChatGPT对我的朋友哈里·谢勒（Harry Shearer）——一位非常著名的演员——做出的。它错误地命名了他出演的电影《摇滚万万岁》中角色的角色，并说他是英国人，而实际上他是美国人等等。我认为我们看到的这种幻觉的模糊仍然是一个问题。我可以继续列举其他问题。我认为有几个与推理、规划等有关。

我看待事物的方式，这并不是说你所做的事情没有价值，更多的是关注这些认知任务。所以我对自己说，

在达到AGI或ASI之前两年，AI会是什么样子？当然，在我们达到ASI之前两年，我们将完全解决所有这些问题。如果我们为某事指定了一个算法，我们会期望系统能够遵循它。目前的系统甚至无法可靠地玩国际象棋。所以，你知道，O3不会……对不起，O3会……

有时会走非法棋步。它无法避免非法棋步。另一件我希望看到的事情是，当我们接近AGI时，目前的系统将基本上等同于它们的特定领域对应系统，或者至少接近。AGI的意思是人工通用智能。

我会说，现实情况是，特定领域的系统实际上比现在的通用系统要好得多。我们拥有的唯一通用系统是基于LLM的系统。但例如，AlphaFold是一个经过精心设计的混合神经符号系统，其性能远远超过你从纯聊天机器人等系统中获得的性能。

有人刚刚证明，雅达利2600在国际象棋比赛中击败了，我认为是，O3。所以即使是很旧的系统有时也会击败现代的通用领域系统。在汉诺塔问题上，赫伯特·西蒙在1957年用一种经典技术解决了这个问题，这种技术可以推广到任意长度，而LLM则不能推广到任意长度，并且面临问题。所以我可以继续讲下去，但要点是，

我没有看到我认为需要解决的质性问题。

我将直接谈谈你的10的45次方，因为这对我来说非常有趣。我曾经和克里斯托夫·科赫（Christoph Koch）一起写过一篇文章。我不知道你们是否认识他，他是一位神经科学家。我们写了一篇科幻文章。这是我唯一发表过的科幻文章。它发表在我写的一本书中，名为《大脑的未来》，我想我们是在2015年写的。我是编辑。我们在2015年写了结语。所以它是在大约2055年说的。

或者我认为是2045年。这个概念是——这是一本关于神经科学的书——到那时，我们实际上已经创建了整个大脑的模拟，但它的运行速度将比人脑慢，而且仍然

没有教会我们任何关于大脑真正运作方式的知识。所以我们将拥有这个模拟，但我们不会理解它的原理。我们可能会有一个神经元到神经元的模拟，甚至是一个蛋白质到蛋白质的模拟。但我们可能会发现自己处于一个复制了整个事物但并没有真正理解其运作方式的地方。

而我对10的45次方感到好奇，即使你已经对所有事物进行了训练，你是否已经解决了分布偏移问题？你是否已经抽象出了允许你在新领域高效、有效和有用地运行的原则等等？我认为这是一个非常有趣的问题。我从未想过10的45次方，尽管我至少读过你的一些论文。我承认我没有读到那么详细的程度。好吧，这部分不在ANA 2027中。所以它不在那个附录中。

我承认我没有读完整个附录。我读了一些。我认为这是一个非常迷人的思想实验。

所以也许我已经说得够多了。所以总而言之，有一种方法是根据计算能力等因素进行推断。我认为你已经出色地完成了这项工作，并且承认仍然存在从屁股里掏出东西的因素，这在任何情况下都是正确的。没有人能够以封闭形式的方式做到这一点。然后我对它有不同的看法，那就是，我想解决哪些质性问题？

我认为杨立昆（Yann LeCun），我经常与他意见相左，实际上会更接近我的观点。他可能会给出他正在寻找的不同的一套试金石。我们都会强调世界模型。我们对世界模型的看法略有不同。但他会说，我认为我们并不接近，因为我们并没有真正拥有世界模型。而且我们俩，我认为，都不满意一些人所说的推理，但我们俩都不认为它足够强大。所以……

我认为他和我都采取了一种架构方法或认知方法。很好。所以我将列出一些我们可以讨论的要点，然后希望我们能够逐一讨论它们。如果我们错过了一些，那么至少我已经提出来了。所以倒序排列，10的45次方情景，你只是蛮力进化智能。事实上，你根本不会理解它是如何工作的。但尽管如此，你还是会拥有它。你可以将这些进化出来的生物从它们的模拟环境中取出

然后开始将它们插入聊天产品等中，并在你的经济中使用它们。它们将是聪明的。它们在那里建立了自己的文明。所以它们非常聪明，而且非常擅长泛化等等。你不会理解它是如何工作的，但你仍然会拥有AI系统。事实上，我认为这正是我们今天正在发生的事情。我们不明白。

这些AI系统是如何工作的。我们只是将大量的计算能力投入到巨大的数据集和训练环境中，然后在之后与它们一起玩耍，看看它们擅长什么。我对此感到沮丧的部分原因是，我认为炼金术太多了，而原则太少了。

100%。这就是为什么对齐问题对我来说显得如此迫在眉睫的原因之一，那就是我们甚至不知道自己在做什么。当我们甚至不了解……好吧，总之。就是这样。接下来。所以你提到……

汉诺塔、数学问题，这些都是当前AI系统似乎受到限制的方式，特别是有限且脆弱的，以及你认为我们并没有真正取得进展的幻觉方式。所以我会说，好吧，你知道，我也无法解决汉诺塔问题，我也无法在脑子里做复杂的数学题。我需要工具。我需要能够像你一样编程。我会简要地谈谈这一点。首先，你知道，

相对年幼的孩子如果感兴趣的话，实际上可以做得很好。即使是很大的汉诺塔？

即使是很大的汉诺塔。我认为有一个视频，一个孩子在YouTube上用两分钟的时间闪电般地完成了七个圆盘的汉诺塔。一个喜欢它的孩子。他可能12岁或15岁或其他什么年龄。我相信如果他想的话，他可以做八个圆盘，因为它是一个递归算法。我相信他已经学会了。所以我认为有些人可以解决这样的问题。如果他们想的话，有些人可以进行算术运算。我们人类确实会遇到记忆限制。但你不应该期望AGI也会如此。

实际上有一个……

我们应该暂停一下，讨论一下AGI的定义，对吧？它有各种各样的定义。我一直想象的定义是，它应该在很多方面至少与人类一样好，并且在某些方面更好。所以我不会满足于一个无法进行算术运算的AGI。我会说，是的，好吧，在这方面它与人们相当，但我实际上会期望更多，特别是如果我们谈论的是我们面临的风险

我认为我们真正谈论的是一种AGI，它可能能够完成人们无法完成的所有短期记忆任务，并且具有与人类一样的多功能性和灵活性。你可以争论这一点。我会说，最弱的AGI是它与乔·六帕克（Joe Sixpack）一样好，他真的不太擅长推理，充满了确认偏差，没有上过研究生院，没有批判性思维能力。你会说，好吧，这是AGI，因为它做了乔·六帕克所做的事情。

我认为大多数安全论点实际上都围绕着至少与大多数聪明人一样聪明的AGI展开。聪明人实际上可以做汉诺塔之类的事情。当然，我给你的另一个例子是国际象棋，对吧？六岁的孩子可以学会遵守国际象棋的规则。O3会做一些事情，比如让皇后跳过骑士，这是不可能的。所以，你知道，那里的失败是相当惊人的，甚至不需要专家来做。

是的。所以我想我会说，在我看来，我们正在取得进展，或者至少这些障碍不会成为长期障碍。例如，我认为LM——那是假设你的结论，最后一点。好吧，让我告诉你更多。让我告诉你为什么我认为是这样。所以我认为，是的，也许变压器本身可能难以做到很多事情。但你应该考虑一下变压器加上你可以围绕它构建的工具和插件系统，比如Cloud加上代码解释器等等。

我认为该系统可以解决汉诺塔问题等等，因为Cloud可能足够聪明，可以查找算法，然后实现算法，然后执行它。所以实际上，我很想知道你对此的直接反应。

我的意思是，你看，我一直提倡神经符号AI。我认为这实际上是一种神经符号AI。我认为这不是正确的。但神经符号AI的要点，我从2001年开始提出的论点是，你需要系统中的符号来对变量进行抽象运算。还有其他几个论点。但这是核心论点。当你让Claude调用解释器时，你正在对它创建的Python中的变量进行运算。所以你

你把它移动到系统的不同部分。所以纯神经网络没有对变量进行运算，并且在所有这些方面都失败了。符号系统可以很好地做到这一点。在这里，你使用神经网络来创建解决特定问题所需的符号系统。所以它绝对是一个神经符号解决方案。我认为速度限制步骤是它们并不总是

调用它们需要的正确代码。如果你能使它足够可靠，那就太好了。好吧。你可以想，我只说几句话。这种策略的第一次尝试之一是将LLM放入Wolfram Alpha中，这是一个完全符号化的系统，对吧？不是Wolfram Alpha，而是Mathematica。结果是

好坏参半，对吧？问题在于与工具的接口。如果你能真正可靠地使用工具，那么你将拥有一个有效的的神经符号系统。如果你能让神经网络可靠地调用它们想要的工具，或者说它们应该根据问题调用工具，那么你就可以了。我认为根据经验，很难让工具可靠地工作。

这很有帮助，因为我认为这将你的许多障碍都压缩成一个障碍，那就是可靠性。因为也许你会同意，如果我们能让他们……我们应该回到世界模型的部分。但继续吧。继续说。

好吧，是的。所以我会说，在我看来，在过去的几年里，AI的可靠性一直在提高。我想指出的一个证据是来自Meter的视野长度图，你可能已经看到我谈论过它了。我写了一篇关于我隐藏它的整篇文章。哦，好吧。有趣。是的。在我的Substack上。所以我对这张图的解释方式，我相信我们许多观众都已经看到了，但是他们有这个

你知道，他们有这套代理编码任务，这些任务根据人类完成任务所需的时间从最短到最长进行组织，然后他们注意到，2023年的AI通常可以完成从

这里到这里的任务，但不能完成超过此长度的任务。但是每年，交叉点都在延长。对此发生的事情的一种非常自然的解释是，AI正在变得更可靠。你知道，如果他们在任何给定时刻都有可能出现某种灾难性错误，那么，你知道，如果每秒的概率是1%，那么大约50秒后，它们就会

出现错误。但是如果这个概率下降一个数量级，那么它们就可以持续更长时间，依此类推。所以这里的想法是，我认为这是它们正在变得更可靠的证据，不仅是减少错误，而且是从错误中恢复。不是无限地更好。它们仍然不如人类可靠，但每年都在取得实质性进展。我看到你正在提出的论点……

对于这张特定的图表，我认为有很多问题。有些实际上与这个论点有关。一个是它都与编码任务有关。它不是一般的任务。对于编码任务，我从科学的角度非常担心我们不知道有多少数据污染。我们不知道相对于这些基准进行了多少增强等等。这让我想到我的下一个观点，那就是

我忘记了那个家伙的名字——来自80,000小时的人昨天在推特上发布了一些东西，这与那张图类似。我认为它也是由Meter根据代理生成的。所以编码的y轴是分钟到小时到天等等。对于代理来说，它是秒到几十秒等等。所以它是一个完全不同的y轴。什么类型的代理？对于编码来说，它是编码代理。

这是一个——可能是网络浏览代理或类似的东西。所以论点是，你得到了相同类型的曲线，但y轴上的缩放完全不同。所以对我们俩来说，这里都有一些东西，对吧？所以对你来说，这是一个普遍的——

你知道，随着时间的推移，可靠性的曲线是什么。对我来说，性能仍然是，你知道，在这些代理方面更普遍地来说相当糟糕。我不喜欢这个轴。我认为它非常武断。在我们对它的批评中，我们举了很多例子，但是这个任务需要多长时间？而且？它都达到了50%的性能。这只是一个非常奇怪的

你可以找到许多人类可以在三秒钟内完成的任务，根据图表，如果你查看图表，应该在2023年的模型中完成。这里有一个我脱口而出的例子，那就是选择国际象棋棋盘上的合法棋步。这需要一位特级大师，我不知道，100毫秒或类似的时间。但O3仍然无法以100%的可靠性完成这项任务。它可能能做到80%的可靠性或类似的水平。所以它只是——

从这张图上读任何东西都很奇怪。我会把Substack上的文章发给你。是的，谢谢。我还想提到的另一件事，这是一个新的主题，那就是我认为在很多情况下，

我对AI的辩护是，它们从未接受过这项任务的训练。我的意思是，对我来说，这就是问题的核心，对吧？我理解。它们在未经训练的任务上失败了。我的意思是，这是一个过于简化的说法。但如果我们谈论的是AI风险……我理解未来真正危险的AI必须能够在没有接受过训练的情况下完成任务。

至少我会说，人类在没有接受训练的情况下也能完成任务，程度也是一样的。所以以你的大师级例子为例，大师级选手可以在不到三秒钟的时间内以超过80%的可靠性完成这项任务。但他们也为此进行了大量的训练。他们做了很多这样的事情。而O3，我们不知道O3的训练过程的细节，但有可能在O3的训练过程中根本没有进行过一场国际象棋比赛。是的，所以我认为这不太可能。是的。

他们可能看过国际象棋比赛的记录。他们看过记录。他们看过维基百科上的明确规则。我知道他们接受过维基百科的训练。他们可能读过像鲍比·费舍尔下国际象棋的文章，这就是我学习下国际象棋的方式。所以他们有关于国际象棋的书籍等等。他们读过所有与国际象棋相关的内容。他们读过一句名言中的所有内容，公开和私人可用的资源等等。

那不是一句名言，但你明白我的意思。所以我认为他们可能实际上有很多关于国际象棋的数据。顺便说一句，从科学的角度来看，很难真正评估这些系统，因为我们不知道训练集中有什么。我同意。回到我1998年的工作，核心问题是它们如何泛化到它们接受过训练的内容之外？而我们对此缺乏透明度。所以——首先，我完全同意关于透明性的说法。回到训练的问题。

我想谈谈云宝可梦。

我还想再次谈谈国际象棋的事情。我之前不知道O3的这个80%的统计数据，但我很好奇这个统计数据是多少。我不知道确切的数字。我的意思是，这是一个事实。所以我没听说过这个。我让一个朋友调查了这件事，他很容易就能做到。我可以给你一些其他的例子。让我再举一个类似的例子，那就是我在井字棋中玩了Grok，我想出了一个变体。然后我可能会在本周末写出来。所以我是——

提出了一个变体。我们玩了，然后它提出了另一个变体，那就是我们只玩井字棋，你只能——我们玩井字棋，你只能在边缘形成三连才能获胜。我说好吧。我们来回走了一些棋。然后它在我实际上可以形成三连的时候为我建议了一些走法。所以它没有制定正确的策略。

我以前也没有玩过这个变体。但这很明显该怎么做。所以它没有识别出什么是三连，我认为这反映了一个概念上的弱点。就像你应该有足够的数据来理解什么是三连。所以它建议的其他走法没有识别出来。这是一个相当糟糕的失败。然后在我纠正之后，我们又玩了一次。你知道你会得到这些谄媚的答案吗？对不起。

所以我们又玩了一次，它又输给了我。然后是第三次。几周前我在推特上发布了所有这些内容。所以如果你把这些东西从典型的问题中移开，它们会更糟糕。如果他们对井字棋或国际象棋这样的领域有稳固的理解，那不会太难。我在推特上发布了另一个。

就像，我对国际象棋做了一些变动。比如，给我一个棋盘状态，白方有三个皇后，但黑方可以立即获胜。性能并不理想。就像，你掌握的知识对于专家来说超出了他们专门练习的范围，但他们对这个领域有足够的了解，专家们根本不会有任何困难。而这些系统仍然做不到。

所以我完全同意关于当前系统的这些局限性。但我想要说的是，趋势似乎正在上升。所以我预测，如果你在过去五年里测量了这类事情，即使当前系统可能仍然存在弱点，它们也会比两年前的系统弱一些，两年前的系统弱于——好吧，国际象棋就是一个例子。然后我会去找你。我本来想说最后一句话，那就是我认为我第一次注意到国际象棋的问题是在两年前。

非法移动可能真的，我认为马修·阿克尔是第一个，或者阿彻是第一个指出这一点的，我在推特上转发了它，说看，这是一个严重的问题，它仍然存在，有很多问题我觉得一直存在，但你已经完成了，你一直很好。是的，是的，有一点是关于基于基准的预测，我认为它有局限性，特别是路灯效应，其中

其中，好吧，当它达到100%时，这表明它已经掌握了这项任务，或者表明它已经解决了这项任务。问题是，它们通常有一些结构性缺陷，只有在后期，或者当你深入曲线时才会显现出来。

例如，在视频理解方面，你会想，哇，如果你看看几年前的基准测试，它们完全处于顶端。但是你可以在一年后提出几种其他的基准测试来挑战它们。所以我认为，人们往往会倾向于那些对AI系统来说很容易处理，并且正在发生一些有趣的事情的地方。这是对基准类型的一种选择压力。

如果一个人正在研究认知任务，例如你测试孩子智力时会给他们的那些任务，例如，如果你随机抽取其中许多任务，模型的表现并不好。也许在，这将是一个两位数的百分比，也许几乎有一半的任务，它们做得不好。例如，数一下这张照片中有多少张脸。O3做得不太好。

或者连接点或填充图片中的颜色。只是一个视觉能力的例子。所以有……

我认为当加里指出这些问题时，他并不是在运行挑选程序，他要做的只是不断地挑选并对AI进行上帝之手操作，直到它基本上成为AGI。我确实认为，从认知科学的角度来看，存在一个非对抗性分布，存在差异。你会看到许多这类问题。

我认为部分原因是说话方式不同，因为他没有把智力看作是

某种完全一维的东西，很多东西可能彼此相关，但还有其他一些重要的精神能力并没有在线。我们在GPT系列中看到，通过对大量文本进行预训练，

我们获得了一些智力的子组件。我们获得了阅读写作能力，并从中学到了大量的结晶智力或获得的知识。这个过程花费了几年时间。所以情况并非如此，人们通常会指出，一旦它在上面获得牵引力，它就会立即解决它，或者很快就会解决它。对于许多这些核心认知能力来说，它们花费了数年时间。数学推理是Minerva最近的一个例子。谷歌的Minerva系统在数学基准测试中获得了50%。

百分比，我很久以前做的一个基准测试，在2022年。我认为我们直到2025年才最终解决它。所以它花费了三年时间。我认为阅读写作能力已经达到了一个有趣的阶段，现在相对完整。四年后，我认为结晶智力也相对完整了。然而，仍然存在各种其他能力。我不指望通过视觉处理能力

视频在一两年内就能解决。不过，音频能力可能在一两年内就能解决。我们几乎没有看到长期记忆方面的任何进展，基本上。我认为它们无法真正有意义地在复杂交互的长时间内维持状态。所以一旦我们开始在这方面获得进展，我们就可以开始预测它。原因是……

对于流体智力，也就是我们在Arc AGI和Raven's progressive matrices测试中看到的，这似乎也仍然非常不足。所以我认为在考虑这些问题时，重要的是要区分……

一个人对认知的概念，因为如果在这些维度中的任何一个维度上存在严重的限制，那么这些模型在经济上或至少在许多任务上都会有相当大的缺陷。例如，如果一个人没有良好的长期记忆，那么将他们融入文化并教导他们在工作环境中如何高效工作并加载所有上下文将非常困难。

如果他们的反应时间非常慢，这也是一个问题。或者如果他们的流体智力低，这将限制他们的泛化能力。所以我认为这些基准测试的许多轴上的数字都在大幅度或持续地上升。

但与此同时，当这些基准测试结束时，可能会有另一个峰值，而且有很多这样的峰值。要成为AGI，你需要所有这些能力。对于其中一些能力，它们的能力还处于早期阶段，例如长期记忆。所以我认为，如果一个人在做预测，我认为对智力有更深入的了解，并有一个……

更复杂的解释，例如在认知科学中可以找到的解释，可以帮助预见实际上与行动相关的瓶颈。

我的意思是，我完全同意你。我还要提到物理智力和视觉智力。你提到了视觉。我们忽略了物理。我跳过了物理。物理和空间智力现在确实是严重的限制。所以如果你让O3标记一个图表，例如，它会做得相当糟糕。如果你让它推理环境，它会做得不好。

所以，我的意思是，我同意，就像你让它听起来像我认为智力是一个单一维度一样。我没有。我不知道你从哪里得到这个印象的。我同意存在所有这些限制。好吧，你说的是在所有事情都考虑在内的情况下可靠性。我认为你的预测没有意义。

与我们刚才讨论的内容有很多联系。这变成了二对一，我完全没有——来吧。我通常是一个桥梁型的人。但无论如何——我理解这就是为什么我们称之为基准加差距的原因，因为我们理解仅仅因为——你并没有真正解释这个短语。你能解释一下基准加差距吗？是的，基准是你采用所有你喜欢的基准，然后推断它们，并试图看看它们何时饱和。

然后差距是考虑你刚才提到的所有内容，并考虑仅仅因为你已经消除了这些基准并不意味着你已经达到了AGI。基准可能无法衡量所有这些其他内容。你必须尝试推理这些内容。另一种表达我的论点的方法是，我在2001年确定了一组差距。

正确与否，但我确定了它们。我认为它们在2001年是真实的。我的意思是，这些适用于多层感知器，而不是尚未发明的transformer。但我仍然看到完全相同的差距。我看到了一些数量上的改进，但没有看到任何对任何差距的原则性解决方案。所以那本书中有三个核心章节。其中一个关于变量上的运算。一个是关于结构化表示的。一个是关于类型和标记或种类和个体的。

我只是没有看到我当时描述的东西已经被解决了。我看到某些情况下它们可以被解决，但我看到的所有问题似乎都是那些相同核心问题的反映。所以如果我看起来像个脾气暴躁的老人，那是因为20多年来，实际上我在1998年就指出了这些问题，27年来，我并没有真正看到它们。所以我们将在三年内解决这些差距的想法听起来很奇怪。就像我认为你解决你刚才提到的几件事的估计

很慷慨。你说，我们在三年内解决了阅读和写作。视频更加不确定。让我说完这句话。但是你给出的数字是像这个三个或四个，那个三个或四个。

我认为，你知道，我的估计是，大部分分布都在10年以上。这是因为我看到了一些问题，如果我们说，我们在三四年内解决了视觉智能问题，我们会非常幸运。

如果我们在三四年内解决了视频类型的视觉智能随时间推移的问题，我们会非常幸运。我只是看到太多的问题，太多的差距，用你的话说，认为我们会同时解决所有这些问题。就像电影《万物皆有裂痕》一样。对我来说，要达到2027年，对于我25年来一直担心的那些事情来说，将是《万物皆有裂痕》。

很好。首先，是的，有趣的一点。听起来你好像不同意我，但后来你说，是的，三到四年。这就是我所说的。总的来说，基本上，可能存在一种漫画式说法，这可能并不完全是你，但漫画式说法将是事情会继续扩展。这将自动解决问题。这就是一直在发生的事情。你指出了一个问题。我反对的是“自动”这个词。

好吧，我只是对最终的年份数字感兴趣。就像我们对这仅仅是LLM还是神经符号之间存在潜在的争议一样。我不想和你争论这个。就像如果你愿意，我们可以说它是神经符号的。我们可以说它不是自动的，而是涉及一些新的想法。但关键是我认为这将在三四年内发生。是的。好的。所以我只是认为新的想法——

很难预测。我给你举我最喜欢的例子。在20世纪早期，每个人都认为基因是由蛋白质构成的。有人甚至因此获得了诺贝尔奖。他们都错了。人们花了一段时间才意识到这是错误的。奥斯瓦尔德·艾弗里在20世纪40年代进行了这些实验，这实际上排除了这种可能性。

并通过排除法发现它是DNA。一旦人们摆脱了错误的假设，分子生物学的发展速度就很快。我认为我们正在做出一些错误的假设。很难预测人们何时会超越并需要修复，我认为我们现在正处于这种情况。我的意思是，证明这一点非常困难。我可以提供很多定性证据来指向这个方向。但至少有可能我对

这是正确的。如果我们没有正确的一套想法，这取决于我们何时提出新的想法。我们可能会自动化新想法的发现，但LLM所做的绝大部分工作并不是发现新想法。它实际上是在利用现有的想法。所以我认为

时间表，有很多途径可以在2030年之前缩短时间，例如，但你指出的情况是，如果存在这些各种其他长期未解决的认知能力，并且这不是一个精心挑选的分布，这实际上是……

如果你受到认知科学或心理测量的启发，你会做的事情。我认为这两个立场都是合理的。但我认为，如果你将它们整合起来，可能会出现一个乐观的案例，即你将能够在本十年结束前消除一些核心认知能力。这并不完全确定。你这么说很有趣。我认为最乐观的，如果我们想用这个词的话，情况是

是2030年。就像在最快的情况下，它将是2030年。我们将需要解决多个我认为我们目前还没有准备好解决的问题。

我认为这不太可能，但我认为这是最大的可能性。我无法理解2027年。由于问题的数量，这似乎并不合理。我认为你说的也是对的。我们要整合这两种方法来进行预测。实际上没有人真正做到这一点。也许这是我们可以进行的对抗性/合作性合作。我还没有真正看到——

深入研究这方面的内容，例如新的发现。也许你的差距做了一点。所以让我们谈谈超人编码里程碑，让我们谈谈超人编码里程碑，自动编码方面，这并不是所有AI研发，而只是其中一部分。我认为我很高兴尝试深入研究这个问题，并让我们尝试对未来几年的情况进行预测，基本上。所以从我的角度来看，感觉就像

在过去几年中，你经常指出LLM的局限性，然后在一两年内被克服。哪些？我的意思是，有一些具体的例子。是的。对。所以，例如，任何特定的集合。好吧，国际象棋还没有解决。所以让我澄清一下我所说的具体例子是什么意思，然后我会回到你这里，那就是我给，你知道。

在推特上，这是一个句子，其中——这是一个提示，它得到了一个奇怪的答案。这些总是会被补救。有人告诉我——我不知道这是不是真的——OpenAI的人实际上会查看社交媒体，例如我的社交媒体，人们会修补它们。

从这个意义上说，有一些具体的例子，比如这个提示得到了这个奇怪的答案。很多都被解决了。这些更抽象的问题，比如下国际象棋，实际上还没有解决。更抽象的问题是，我可以给你一个规则不同的游戏吗？我在2019年在《重启AI》的第一章中谈到了这一点。这还没有解决。你是在说，据你所知，六个月后，

AI将能够解决国际象棋中的合法移动问题吗？或者你是在说……我认为LLM不会解决这个问题。我的意思是，我认为有人可以想出一个方案，让LLM在不进行非法移动的情况下玩国际象棋，方法是调用一个工具。我认为这是可能的。像……

在不调用工具的情况下，我认为在接下来的六个月内这是不可能的。我会非常惊讶。如果发生这种情况，你可以在六个月后嘲笑我。这很好。但也要补充一点，我们在《重启AI》中谈到的内容是，例如，如果你训练一个特定的系统，我认为我们用围棋作为例子，但如果你在15乘15的棋盘上训练它，

围棋是什么？是——对不起，21乘21？如果你在普通的21乘21的棋盘上训练它，它能够在矩形而不是正方形上玩吗？不同的变体。我和DeepMind的一位研究人员进行了一次谈话，他以一种非常有趣的方式玩国际象棋，没有使用蒙特卡洛树搜索，这就是alpha 0等等所做的。他用8乘8的棋盘训练它。我说，如果你只需要做7乘7，它会工作吗？他说，不会。

所以他做了一个没有树搜索的版本，所以它不是神经符号的。树搜索是类似的过程之一，或者至少它不那么神经符号化。令人惊讶的是，它玩得相当好，训练了数十亿场游戏或类似的东西。但即便如此，它也是无菌知识，因为它是为了这个目的而设计的，但它并不是国际象棋的一般知识。如果你要求它在棋盘上放置三个皇后，并且——

但仍然是三个白皇后，但确保黑方在下一次移动中获胜。他根本做不到。

我们在《重启AI》中强调了人类专家知识的灵活性，我没有看到任何进展的证据，或者可能有一点进展的证据，但相对较少的进展。我的井字棋例子就是这样。那么，你能给我举更多例子，说明一年后我将无法让现成的模型在不提供工具的情况下完成这些例子吗？我认为这……

我会这样说。我可以想出很多很多例子，分布偏移，所有我刚才做的事情。我们明年仍然会发现失败。我的意思是——你将能够想出新的例子，但你目前无法想出任何一年后仍然成立的例子。如果我以稍微更通用的方式来做，那么是的。我相信我将能够想出国际象棋的变体。

这不是正统的变体，但可能已经有一些已知的变体。国际象棋实际上有很多变体，或者国际象棋问题等等，这些系统无法做到。我可能能够想出井字棋的变体。所以是5乘5的棋盘，但你只能在边缘获胜。会有很多这样的问题。它们都是某种异常值，但我认为一年后，这些系统仍然会非常容易受到这些异常值的影响。

我认为你可能一年后仍然能够想出一些这样的东西，但这会更难。然后下一年会更难，依此类推。当然，它应该是单调的。我的意思是，另一种说法是，我认为我们害怕的可能不受约束的AGI是……

实际上不应该有很多这样的极端情况。是的。对吧？这就是为什么我关注超人代码或里程碑的原因。再说一次，我认为我们不会直接跳到这个阶段。你知道最近发布的LiveCode Pro基准测试吗？不多。告诉我关于它的信息。所以我不知道人类的数据，但我知道机器上的数据是0%。LiveCode Pro基准测试，LiveCode Bench Pro，对不起，有趣的是，它们都是全新的问题。

所以它们排除了数据污染。我已经看到两项仔细的研究排除了数据污染。另一个是使用美国数学奥林匹克竞赛的问题，在测试六小时后。他们在这些问题上的表现很糟糕。我认为如果你排除了数据污染，那么在

新问题上的表现并不好。对于编程，特别是编程AGI，这非常重要。如果你使用这些东西来编写一个网站的代码，那不是新的。有很多例子。但是如果你用它来做一些新的事情，你就会超出分布，仍然有很多问题。那前沿数学呢？那也是——那里有一些污染问题。OpenAI可以访问这个问题。

他们说他们没有用它进行训练，尽管如此。我知道他们做了。但是他们做了哪些与这些问题相关的增强，对吧？OpenAI并不是，我的意思是，你可以同意我的观点，它并不是一个完全坦诚的地方，关于他们做了什么。当然，但像Claude和Gemini现在在frontier math上的分数还可以吗？我实际上没有检查过。

但像——我认为他们有——好的，但现在每个人都在为考试而学习。他们都在进行增强。我们不知道增强是什么。关键是，如果你有AI，它不仅仅是为考试而学习了。你需要能够解决原创的问题。我的意思是，如果AI永远无法做到这一点，我们很幸运，因为它提供了一个阿喀琉斯之踵。

我想你指的是，如果我们推断出基准，超人编码可能仍然指日可待。我的意思是，我也只是——为了记录在案，我不同意你们。我认为在你们指出的这种难以衡量的维度上正在取得进展。很难衡量。我们衡量它的最佳方法是让你想出例子。

让我给你举一个例子，然后我们会回来。但我确实认为正在取得进展。让我给你举一个例子，然后我们会回到——是的，我的意思是——对不起，让我快速插入一下。

这个例子是无人驾驶汽车。在无人驾驶汽车方面，我们知道每年都在取得进展，绝对如此。但是分布偏移问题仍然存在。所以即使是Waymo，我认为它可能领先于此，他们刚刚宣布了纽约市。但是当他们去纽约市时，他们会在那里配备安全驾驶员。他们将进行地理围栏等等。驾驶解决方案的一般形式将是五级。不会有地理围栏。你不需要专门的地图等等。所以已经取得了进展。

40年来，无人驾驶汽车每年都在进步。但是分布偏移问题确实是阻碍它成为一个无处不在的东西，而不是旧金山的一个东西的原因。好吧，我们也在改进分布。我们已经变得更好。我昨天休假了。很棒，但我在旧金山这里休假。如果它正在变得更好，仍然存在一个问题，那就是它是否能够实现完全自动化，这才是关键。是的。

不幸的是，对于其他能力，可能是能力最主要的，或者说，它的两个主要能力是结晶智力、获得的知识和读写能力。但即使对于读写能力，模型在要求它们写论文时，如果按照GRE分数（满分6分）来评分，它们只能得到4.5分左右。它们并不是特别优秀的作家，而且你无法很好地自动化作家，

如果他们正在进行一些复杂的写作。人们仍然需要这样做。这有点令人惊讶，因为他们拥有如此多的数据。他们基本上拥有世界上所有的数据。同样，对于编码，他们拥有GitHub。所以至少，它有可能……

这种情况是，当你把它们推断出来时，它们会获得很多唾手可得的成果，但它跨越了某种阈值，可以进行更多自动化或完全自动化。这实际上可能需要解决一些其他的瓶颈，这些瓶颈是加里提到的其他认知能力瓶颈。我将……

暂停一下这个讨论。我认为我们做得很好。我们不会互相说服，但我们已经阐明了问题，这很好。我想至少再问一个问题，因为我们的时间有限。你认为我们在协调方面取得了任何进展吗？你认为技术协调是否有可能解决？我们离它近吗？让我们谈谈技术协调问题。我只想说一件事，那就是，虽然我认为在能力方面取得的进展不如你那么多，但显然有一些进展。对此没有争议。我会说，很多都是插值而不是外推，我们还没有解决外推问题。但是插值，我们取得了巨大的进展，主要是因为拥有更多的数据和更多的计算能力。

但毫无疑问，新系统比以前的系统更擅长插值。这对于劳动力来说有很多实际的影响，例如。有很多事情你可以用这些系统来做，而以前你做不到，这已经影响了劳动力市场。而我的直觉是，在协调方面，我们可能只有人类强化学习

有点帮助，例如，如果你问这些系统最明显的问题，比如，我该如何制造生物武器，它们会拒绝，这是一个小小的进步。但是，我们都知道这些东西很容易被破解。我的观点，你可以同意或不同意，就像，一个协调系统仍然不能真正做到我们想要它们做的事情。仍然存在某种学徒式的问题。有点

问题就像它们不太合适，它们没有按照我们的意愿去做。我们有系统问题，例如不要产生受版权保护的材料，但它们仍然这样做。不要产生幻觉，但它们仍然这样做。就像

它们，你知道，它们可以近似地满足我们的要求，但它们并没有真正做到我们要求它们做的事情。我甚至认为在国际象棋中不要走非法棋步也是协调问题的一种形式，就像协调问题的一个非常简单的缩影，而它们仍在努力解决这个问题。这是我的观点。你们呢？为什么我们不从你开始呢？是的，有一些不同的协调或可协调性概念，我会区分协调原型协调

超级智能和协调一种导致超级智能的递归。这些在质量上是截然不同的。一个是更模型级别的，一个是更过程级别的。所以我认为你不会解决那个过程级别的

完全消除风险的递归，预料到所有未知的未知，并提前以一种干净利落的方式解决一个棘手的问题，这表明需要解决地缘政治竞争压力，并为他们提供一种方法，以更缓慢的速度进行递归，或大幅度地阻止原型ASI的事情，我认为它们遵循指令

相当合理，还有一些其他的部分。是的，但这让我害怕。相当合理？我的意思是，你知道，当这些东西还在我们手中时，还可以。但如果你让他们引导武器之类的东西，在很多情况下，相当合理是不够的。是的，我同意。这肯定有一些安全关键领域。我认为，例如，在生物领域，我认为对于拒绝，例如，在一些高风险环境中或给出一些高风险查询时，这取决于具体情况。在某些情况下，我认为你实际上可以获得多个九的可靠性，例如生物武器拒绝。

然而，对于其他类型的拒绝，例如不要造成任何犯罪行为或不要采取犯罪或侵权行为，这要模糊得多。我认为这不是结构。即使是第一个，我也可以倒带吗？是的。你可能几周前看到了亚当·格里夫斯发布的东西。我不记得他依赖的是谁。

但他描述了其他人的工作，说这是一个非常容易破解的漏洞。我认为是克劳德。是的。所以在生产中，他们没有使用那些具有对抗性鲁棒性的技术，因为这些技术可能会以MMLU百分之一或二的代价为代价。所以他们没有这样做。这将是人类的墓志铭。如果他们没有挤出最后一点MMLU，我们会没事的。是的。

但实际上，所以我认为对于某些类型的恶意使用，有一些类型的解决方案，你可以获得一些九的可靠性。但是对于一般的拒绝问题，包括日常的犯罪和侵权行为，这对于代理人和使它们可行来说将极其重要，我没有看到实质性的进展。顺便说一下，想想阿西莫夫定律，我们在阅读

40年代左右的东西，你知道第一条是不要让人类受到伤害等等，而清理后的版本定律实际上是法律清理后的版本，说不要造成可预见的伤害，因为伤害太严格了，但可预见的伤害是我们对人类的要求，所以现在我们没有

这样做？是的，是的。所以我们没有……是的，是的。所以我认为对于大多数这些可靠性问题和安全问题，我们将继续看到新的症状出现，如果这些……正如我们在网络犯罪中所看到的，一种持续的猫鼠游戏。没错。而且我希望……

这场游戏会继续下去，我们不会达到这种状态，因为风险面会随着代理人的出现而不断发展，他们会呈现新的事物，我们将不得不处理那些会造成大量积压的当前案例，而我们根本没有适应能力。因此，对于协调递归和协调原型ASI，我们……

地缘政治竞争压力使得我们可能无法解决这两个问题。所以这是黑暗的。回到我们谈话的开头，这是一个站在火车前面的理由，尤其是一列特定的火车。所以假设有一列火车是关于聊天机器人，人们与聊天机器人玩得开心，并将其用于头脑风暴等等，这些都不是关键任务和安全关键的。

也许没关系。我们只是让人们这样做。而且已经有一些风险了，比如卡吉米尔·希尔前几天在《纽约时报》上写的关于错觉的文章，你可能看到了。但是真正安全关键的事情，或者最大限度地安全关键的事情，如果事情像你说的那样黑暗，那就是现在站在那列火车前面的理由，并说，看，如果我们不能很好地协调拒绝等等，以及对人类造成伤害，即使是对人类造成可预见的伤害，

这是一个理由，说，嘿，我们必须等到我们有一个更好的解决方案。如果需要500年，如果需要5年，就像在安全关键的事情上一样，这不是一个放慢速度的理由吗？是的。

我认为这是对这些事实的一种合理的方向或解释。但存在激励问题，以及，你知道，可能存在一个稍微不同的方面更好。当然，你可以通过激励来解决这个问题。是的，是的。这就是为什么在超级智能战略中，我们将……

建议一些不同的方法，例如，如果你越过这些界限，就威胁要先发制人，而不是今天就停止，因为这很难让机构参与进来。我会减弱我的说法，说这是一个干预的理由，我认为这个词是合适的。是的，那将是一个理由。是的，当然。对。是的，就像继续你用停止火车来比喻一样，

现在，如果我要站在火车前面，它只会把我撞倒。你需要有很多人站在火车前面，才能让尸体的重量真正减慢它的速度。我一直在推特上尝试。当我试图阻止火车时，有一些抵制。我实际上并不是主张阻止……

火车本身。但在这些安全关键的事情上，我确实可以看到某种干预的理由。正如你所指出的，它可能是激励而不是更多的时间。但我的观点是，我们不会解决技术协调，即短期技术协调问题——让我说完这句话。

用LLM，它们根本无法胜任这项任务。也许用神经符号，我们可能有机会。所以神经符号使你能够陈述明确的约束，这在纯LLM中非常困难。所以我认为有理由探索这条途径作为一种方法——我不知道这是否有助于超级智能，但至少对于这些系统在安全关键措施中的近期使用，可能会有所帮助。

关于这一点，最后一点是针对丹尼尔的，我认为在这两种情况下，使用“解决”这个词都是一个问题，因为它不是你事先可以做的事情。在这两种情况下，你都需要系统的适应能力和松弛，某种安全预算和能够比问题出现得更快地扑灭火灾的人。

因为随着人工智能的不断发展，它们会不断出现新的问题。同样，对于递归也是如此，我们只是看到了这一点，但却是以类固醇的形式。所以对于两者来说，这是一个资源问题。我认为它更少的是技术问题。技术可以提高处理这些问题的能力，或者为这些特定症状或出现的新故障模式提供更有效的解决方案。但我并不期望一个完全的增加

整体解决方案，暂停一定会给出。我认为在这两种情况下，背景情况都必须是你能够在比今天低得多的风险承受能力下继续发展。我同意。我们完全没有按计划解决协调问题。

我可以对此进行更多阐述，但我已经说了很多。所以我想我们应该结束了。所以也许最后说几句话。我将以最后几句话开头。也许我会说一些最后的话。我认为我们实际上在这里有很多共识。我们最明显的不同意见在于

预测，即使在那里，我们可能也没有人们想象的那么远。所以我把我的所有概率掩码都推迟了五年，基本上在之前没有任何概率。而你有一些在三年或两年后，我没有。我们都在2045年有一些。我甚至在之后也有一些，你可能有也可能没有。

我们有略微不同的方法论，我们已经讨论过了。你出乎意料地来帮助我，我喜欢。对我来说是一个快乐的时刻。但我们并没有相差很大。我认为我们已经承认了对方使用的一些预测技术的价值，即使我们没有。所以我们不是——

在那里相差很大。我认为我们完全同意我们没有很好地解决协调问题，我们需要做得更好，并且这其中有一个时间维度，正如你刚才所说，这就像，你知道，如果我们在200年后解决了这个问题，而我们在未来十年或二十年内拥有AGI或ASI，这对人类来说并不是一件好事。我认为

我们还同意，目前的公司并非完全值得信赖。这些是我们同意或不同意的事情。从更广泛的视角来看，我们非常一致。是的，我同意这一点。此外，我刚刚意识到我忘记问你关于场景的大问题了。你还有时间简要地讨论一下吗？如果你们能坐几分钟，我会这么做的。所以我这样提出这个问题。你知道，你读过《人工智能2027》。感谢你阅读它。

如果你要写你自己的未来场景，它会是什么样子？也许它从2027年的这里开始分叉？例如，它在2027年之前看起来基本相同，还是更早之前就分叉了？当它分叉时，你能像

所以看起来，是的，所以有几个不同的部分，我认为《人工智能2027》中事情展开的速度对我来说是不合理的，我认为到今年年底，我们在代理人方面将不会像你假设的那样领先，我认为最初的几个月实际上是一种共识，但你知道，速度肯定存在差异，我会说

所以拿《人工智能2027》，然后把所有东西的长度翻倍，或者三倍。你会怎么说？好吧，我的意思是——或者至少——是的。我认为你在文章结尾处赋予机器的智力水平——我记得其中一些实际上发生在2027年之后，我认为。

你知道，我不认为这在未来十年内非常有可能。而且我不认为在接下来的十年中它也很有可能，但这当然是有可能的。超人编码里程碑呢？你认为这在未来十年内不会发生吗？我记不清你如何定义这个里程碑了。基本上，想想……

像克劳德这样的编码代理，但想象一下，它们实际上工作到了你可以像对待软件工程师一样对待它们，与它们聊天并向它们发出高级指令的地步。它们将做得和一位非常专业的优秀软件工程师一样好。所以我觉得学徒工程师，我们实际上已经很接近了。好吧，我的意思是，顶级，我的意思是，顶级软件工程师，我认为我们并不接近。

我认为这需要理解问题，人类希望通过问题解决什么。这需要对各个领域有深入的了解。

我只是不认为我们离那有多近。所以我确实认为这些东西会继续定期改进。我们将从中获得越来越多的价值。它们将提高程序员的生产力，但围绕代码的安全性、代码的可维护性等方面有一些星号。但我认为它们不会取代最好的程序员。你不会得到一台像杰夫·迪恩一样的机器。

在未来十年中的任何时候。如果出现杰夫·迪恩级别的程序员，我会非常惊讶，对吧？你可能知道一些查克·诺里斯的故事，这些故事并不完全属实。但他能够观察到以前没有人见过的关于这些搜索的分布的问题，并想出以前没有人做过的大规模广告，

并相当迅速地制作原型，然后可能在一些帮助下，制作一些生产级别的解决方案。所以把杰夫·迪恩作为我们的例子。他应该成为我们的榜样。我不认为杰夫·迪恩很快就会从这些系统中出现。我就是不这么认为。然后是关于场景的更多内容。

我认为人类思维在面对场景时很糟糕，它非常认真地对待它们。生动的细节——这方面有很多心理学文献——压倒了人们看待事物的能力。我实际上想看到的是场景的分布。

所以当你让斯科特·亚历山大，一个才华横溢的作家，或者至少是一个非常有说服力的某种类型的作家，来制作一个生动的场景时，每个人回家后都会认为那个场景是真实的。但你和我都知道，那只是众多场景中的一个。有理由考虑这个场景。它有点像——更黑暗的一个是黑暗场景的一个非常生动的版本。但实际上，我们想要理解场景的分布。

这需要更多的工作。我相信你花了几个人年或类似的时间来整理这份报告。有多个人参与其中。你可能在上面工作了一段时间。所以这是一个很大的要求。但我希望看到的真的是场景的分布。

我们正在努力。我同意你指出的问题。我们目前有一个项目，是为了制作一个好的结局，就细节而言，与我们已经拥有的内容相似。然后还有一个小型项目，以较低的细节级别制作更零散的可能场景的分布，就像每页几页一样。是的，我认为这将会有所帮助。我个人的场景是，

在三四年内，神经符号人工智能开始起飞。我已经看到了这方面的迹象。AlphaFold刚刚获得了诺贝尔奖。这对神经符号人工智能来说是一件好事。它的会议越来越大等等。

我认为最终会发生状态变化。我发现很难知道何时会发生状态变化。但我认为在2035年，我们会看看LLM，然后说，不错尝试。我们仍然将它们用于某些事情，但这并不是真正的答案。我认为杨立昆也会这么说，尽管我们有分歧。我认为我们都认为LLM

LLM并不是通往AGI的途径，当我们到达那里时，它看起来会大相径庭。它可能会使用LLM。它们非常擅长分布式学习。它可能会取代它们，因为它们在能源和数据方面非常低效。所以有人可能会找到一种更好的方法来做同样的事情，即学习事物分布的模型，这是一种非常有用的认知技能。它不是唯一的，但它非常有用。但我们将有更好的推理和规划方法。我们将拥有更稳定的世界模型。

我认为这需要五到十年时间来发展。我认为当前模型具有的语义非常肤浅。它实际上是关于单词的分布。我们需要一个更深层次的。如果你连续谈论三个，你应该理解什么是连续三个。我认为我们缺少一些东西来做到这一点。我们会得到它。就像我不认为这是不可能的。而且你不认为在自动化人工智能研发后我们会得到它吗？我们会以——就像人类会想出让我们到达那里的想法一样。我的意思是，我想这与——

所以对我来说，自动化研发，就像有一个合理的版本和一个更遥远的版本。所以近期的版本是很多人在LLM上做了很多实验。我认为你可以自动化其中的一部分。但真正的新想法并不是它的强项。有人刚刚做了一篇论文，我会尝试查找参考文献，他们在其中研究了这些系统是否能够发展新的或能够推断因果规律。

而且它们并不擅长。就像我不期望LLM很快就能做到爱因斯坦级别的，观察一个问题，想出一个完全不同的解决方案。所有它们的解决方案在我看来都是盒子里的。我认为通往AGI需要盒子外的解决方案。它们可能会自动化盒子里的东西。在盒子里……

它们甚至可能比人做得更好。就像著名的，是第37步还是围棋锦标赛之一？它有点在盒子里。它仍然在围棋的范围内。你知道，它不像思考相对论那样超出了盒子，就像我们以前对物理学的思考方式完全不同。我认为我们需要一些爱因斯坦级别的创新才能达到AGI，当然也要达到ASI。而且我不期望至少

自动化目前的机器会做到这一点。好的。当我们到达AGI时，你认为起飞速度会有多快？到ASI？是的。例如，你刚才提到目前的系统在能源需求方面非常低效。这有点可怕。如果你真的认为在未来，你知道，十年内，从事神经符号研究的人类科学家会想出更高效的系统，这些系统也更擅长泛化。天哪，这

这将在各个维度上比我们目前拥有的要好几个数量级。我认为无论我对神经符号人工智能是否正确，我认为与我们相比，还有更多数量级的数据效率可以挖掘出来。我的意思是，你只需要看看人类的孩子。他们不需要那么多数据。啊，好的。所以你是说它在数据效率方面会高出几个数量级，但仍然只有与人类一样的数据效率？或者……

有可能找到更好的。我的意思是，人类在数据效率方面相当不错，但我怀疑他们是否达到了理论极限。在心理测量学中，有些事情人们确实达到了理论极限。所以我们可以注意到光子的存在或不存在，我认为你不能做得比这更好。所以有些事情我们达到了理论极限。有些事情我们没有。正如我在我的书《Kluge》中所论证的那样，我们在很大程度上受到缺乏位置寻址内存的限制。所以就像

你知道，我的女儿刚刚记住了105位π，我永远也做不到。但这与计算机所能记住的数十亿位π相比仍然微不足道。所以，你知道，在机器应该比人做得更好的地方，如果我们有正确的方法编写软件，机器有一些优势。

所以至少我们应该能够达到人类的水平，因为人类是数据效率存在的证明。人类在许多问题上都非常高效，并非所有问题。然后我们遇到了问题，例如我们有认知障碍，例如我们有确认偏差和动机推理。动机推理就像——

我希望这个论点是正确的，所以我玩一些小把戏。我们都这样做。我的意思是，科学家更好，因为我们认识到自己身上的这种行为并试图自我纠正，但科学家也这样做。机器不需要这样做。就像我们的一些东西，用弗洛伊德的术语来说，尽管我不是弗洛伊德主义者，但我们有自我保护的推理方式。机器不需要这样做。

对吧？就像，我相信我的政党。所以当我的政党做傻事时，我就去尝试，你知道，为它想出一个理由。机器不需要做那种事情。所以这样一来，你知道，上限肯定远远超过，你知道，

我曾经和丹尼尔·卡尼曼一起参加过一个小组讨论，他已经不在了，但他非常喜欢这些研究，这些研究表明，在某些领域，机器已经比人更好。这些问题基本上是多元回归，权衡多个因素，他是对的。我认为我反驳了一些机器不太好而人更好的地方。最后，他说了一些类似的话，人类的门槛很低，他的整个研究

好吧，不是他的全部——他有很多研究。但他的一条研究路线是表明人类实际上在各种推理方面都很糟糕。所以他说，人类的门槛很低。我们正在参加这个小组讨论。我说，是的，机器还没有达到它们。总有一天会达到的。它们会超过它们的。在我看来，这毫无疑问。这是一个何时以及如何的问题等等。

我们真的是一个低门槛，因为所有类型的认知偏差和错觉，记忆问题。我的书《Kluge》都是关于这类东西的。绝对有改进的空间。是的，这可能在十年内发生。我不，你知道，它可能在某些维度上发生，而在其他维度上则不会。它在数学方面已经发生了，你知道，

60年前或80年前。它会逐个维度地发生，也许当有突破时，会同时发生几个维度。但它会发生，它可能在十年内发生。再说一次，我认为它不可能在两年内发生。我认为我们现在缺少一些想法。我们缺少一些关键的想法。但是当我们得到这些关键的想法时，它们可能会发展得很快，就像分子生物学一样。一旦沃森和克里克弄清楚了DNA，事情发展得很快。40年后，我们现在可以做CRISPR之类的事情，或者

不是40年，而是70年，取得了显著的进步。我认为，人工智能的进步时期将超过过去几年。我知道过去几年对很多人来说感觉像是很多。但我认为，从现在起30年后回顾过去，

人工智能将远远领先于我们现在的水平。我的意思是，几乎在所有这些类型的预测中，对吧？我们会说，是的，发生了一堆事情，他们真的为自己感到骄傲。但我们回顾翻盖手机的方式就像，是的，那些很酷，但他们不知道智能手机。我同意你所说的关于我们一致意见的一切。我们继续不同意未来几年的情况。我认为

好吧，我认为这更像是A2027，与其说是逐渐减少并遇到你所说的瓶颈，这些瓶颈是公司无法克服的，不如说是一系列公司可以克服的障碍。我的意思是，这就是问题所在。所以，我们可以在两年后的今天再出一版，看看听起来怎么样。是的，是的。

好的，有一点值得澄清，因为有些人可能会感到困惑，我正处于思考人工智能时间线的过程中，主要是因为我试图以一种多维的方式反思什么是智能。在过去十年中，我们可能有点被阅读、写作能力和结晶智力所宠坏了。

大约两年的时间里，数学能力和短期记忆能力都有所提高。但是，由于我对这些不同的预测更加不确定，我仍在思考这个问题，我认为到2030年左右，拥有典型人类认知能力的系统，类似这样的系统，似乎仍然非常有可能，甚至比这更可能。

在技术层面，事情的进展方式存在一些差异。在AI 2027中，我认为没有什么真正通过机械可解释性或技术解决方案来解决这个问题。我认为你真的需要缓解地缘政治竞争压力。我认为促成这种情况的主要因素是

透明度以及进行间谍活动有多容易，以及它的可破坏性，我认为这些都是非常重要的因素，在某种程度上反映在那里，但并没有完全捕捉到。例如，关于可破坏性，如果中国有兴趣阻止美国，他们可以对一些电力设施进行某种网络攻击，但假设这不起作用。

他们也可以，基本上有很多漏洞可以利用。例如，他们可以从几英里外狙击发电厂、变压器，这将使数据中心瘫痪。所以我认为，而且可归因性较低。是俄罗斯吗？是伊朗吗？是中国吗？例如，是某个美国公民吗？所以我认为这会影响战略动态，我在超级智能战略中谈到了这一点。

而且我认为中国对美国的透明度会相对较高。现在，这只是黑客攻击Slack的问题。然后你可以看到Anthropic Slack。你可以看到OpenAI Slack。你可以看到XAI Slack，谷歌DeepMind Slack。所以你可以有很高的透明度，并黑客攻击顶级领导的电话。

所以，这在某种程度上描绘了一幅不同的画面，但我认为我们会同意，我们希望建立一个验证机制，以便对情报爆炸等事情设置红线。

我不会说更多有意义的话，但我要说的是，我认为这是一次精彩的谈话。我希望它不会被剪辑太多，因为它真的很有趣，我向任何看完整个节目的人致敬。我们有时会变得非常技术化，并且我认为我们确实阐述了当今的现状，这是我最美好的希望。我认为我们在这方面做得很好。谢谢各位先生。为摄像机握手。

好的。好的。