Ep 66: Member of Technical Staff at Anthropic Sholto Douglas on Claude 4, Next Phase for AI Coding, and the Path to AI Coworkers
57:45 Share

- Sholto Douglas 是 Anthropic 的 Claude 4 模型研发的核心成员之一。在模型发布当天与他进行访谈非常有趣。我们讨论了很多话题，包括开发者和建设者应该如何看待 Anthropic 的下一代模型。我们还探讨了这些模型在未来六个月、一年、两年甚至三年内的发展趋势，以及构建可靠代理所需条件，以及这些模型在医学和法律等领域何时能够取得改进。

某种程度上反映了他们在编码领域已经取得的进展。然后，我们探讨了他对对齐研究的看法，我们今天所处的位置，什么有效，什么仍然需要改进，以及它对 AI 2027 工作的回应。这是一次与 LLM 研究领域杰出人物进行的引人入胜的对话。我认为大家都会非常喜欢。话不多说，让我们开始吧。

非常感谢你来到播客节目。不，我很高兴。这是一个非常酷的小路线。是的，我很感激你来到这个小洞穴与我们一起。这总是很有趣的。当这个播客发布时，世界将拥有 Claude 4。我相信人们会尝试使用它，但我很好奇。你是最早接触这些模型的人之一。

你对它们最兴奋的是什么？它们在软件工程方面又向前迈进了一步，这是肯定的。Claude 4 确实是一个令人难以置信的软件工程模型。我越来越多的遇到这样的情况：我去要求它在我们大型单体代码库中做一些非常不明确的事情。它能够以相当自主和独立的方式去做，比如去发现信息并弄清楚这一点，运行测试。

每次这都让我感到震惊。- 每次我们获得一组新的模型时，我们都必须重新描述一个关于什么有效、什么无效的心智模型。你对编码时使用这些模型的模型现在是如何改变的，以及在这个版本中你使用和不使用这些模型的情况？- 我认为最大的一点是时间范围有所扩大。

我认为你可以从两个方面来描述模型能力的改进。一个是任务的绝对智力复杂性。另一个是模型能够有意义地推理和包含的上下文量或连续动作的数量。这些模型在第二个方面感觉好得多。它们真的能够

采取多个行动，并弄清楚它们需要从环境中提取哪些信息，然后根据这些信息采取行动。所以给它，这就是时间范围。还有我们喜欢的支持，比如 Claude Code 等等。事实上，

它现在可以访问所有工具，能够以一种有用的方式做到这一点，而你不需要坐在那里从聊天框中复制粘贴，这在这方面也是一个相当有意义的改进。有很多任务，我看着，你知道，一个多小时或很多小时的工作，我本来会做的，它就在我面前不停地做这些，就人类等效时间而言。当这个播客发布时，人们将第一次获得这些模型。你对他们应该尝试的第一件事有什么建议？他们应该尝试的第一件事。

我认为，老实说，尝试将它们融入你的工作中。这是最重要的一点，就是坐下来，要求它做同样的事情，也就是你那天在你的代码库中即将做的第一件事。观察它如何弄清楚它需要提取哪些信息，以及如何弄清楚该做什么，我认为你会印象深刻。

我的意思是，既然你有了这些新的功能，显然你有很多人在这些模型之上进行构建。你希望为使用这些模型构建应用程序的构建者新启用什么？我认为在某种程度上存在一个产品指数的概念，你必须不断地构建领先于模型能力的东西。我喜欢从 Cursor、Windscribe 和 Devon 这些产品来考虑这个问题。

如果你看看 Cursor，他们对编码的愿景远远超出了模型能力的一段时间。Cursor 直到像 Cloud 3.5 Sonnet 这样的底层模型起飞，才达到产品市场契合度 (PMF)，这样他们想要给予人们的帮助才能实现。然后是 Windscribe，

我认为，它变得更加自主。通过真正地推动产品指数，这使他们能够获得合理的市场份额。我们现在开始看到 Claude Code，以及新的 Claude GitHub 集成，以及 OpenAI 的 Codex，还有 Google 的编码代理。每个人都非常喜欢编码代理。

Jules，对吧？Jules，对吧。人们正在为另一种自主性和异步性而构建？所以现在，模型正在朝着能够独立于你完成任务的方向迈出这些蹒跚的步伐，这些任务以前需要你花费几个小时才能完成。我认为接下来会是什么样子……

在过去的一年中，我们已经看到了一个有趣的转变，即你每秒都在循环中，到你在每分钟都在循环中，到你在每小时都在循环中。我想知道它是否不像你将来管理着一支模型舰队。因此，我认为这种界面将非常有趣地探索。当一个人管理的不是单个模型，而是多个模型做多件事并相互交互时，你能给一个人多少并行性？我认为这将非常令人兴奋。是的。你见过吗？那会是什么样子？

那会是什么样子？哦，天哪。我的意思是，我知道 Anthropic 的很多人实际上在不同的开发盒中启动了多个 Claude Code 实例，这很酷。但我认为还没有人真正破解这种外观形式。我认为这是一个有趣的形式因素，可以探索个人的管理带宽是多少。我认为这也是一个有趣的问题，可以从未来探索经济如何运作，或者这些模型的生产力回报是多少，因为

如果你认为我们最初需要人类来验证这些模型的输出。因此，模型的经济影响将在某个初始点受到人类管理带宽的限制，直到你达到能够将对模型的信任委托给它自己管理模型团队的程度。因此，这种抽象层级结构的持续提升将是，我认为，

更重要的趋势线之一。- 是的，所以基本上，根据你需要检查这些模型的频率，你成为了一个限制因素。你有无限数量的模型在运行，如果你必须每 15 分钟检查一次，而不是每小时检查一次，或者每 5 小时检查一次，那么你可以做更多的事情。- 是的，完全正确。我认为 Jensen 在谈到他对 AGI 的未来和进步以及这类事情的看法时提到了这一点。他说，好吧，实际上，我被 10 万个极其聪明的 AGI 包围着。

他说，所以，这让我对世界有了巨大的影响力。这就像这种影响。我的意思是，你知道，他描述的是他自己如何成为管理英伟达公司的这种限制因素。我认为很多工作最终看起来都接近这个方向。是的，谁知道呢？我的意思是，也许这个，你知道，这个组织设计领域最终会成为最重要的。对，对，完全正确。你如何……

以及信任，以及，是的，完全正确。组织结构变得复杂了。是的，我知道你在节目之前说过，你曾在麦肯锡工作了一年，我想，嘿，也许这是一个很好的咨询公司用例，你知道，他们已经做了很多年的这件事，也许这是一个很好的新产品线。是的。实际上，我对此印象非常深刻，你知道，你刚才说的关于应用程序公司如何基本上，嗯，你知道，领先于模型的发展方向，你知道，模型变化如此之快，以至于就像，如果你考虑一下，嗯，

Cursor 做了什么与像 Cognition 这样的自主编码公司相比，也许有人现在正在思考你用来管理你的百人团队的仪表板是什么。在你心中，正确的超前水平是多少？因为你可能会觉得，“哦，天哪，我今天真的力不从心了。”然后三个月后，你会说，“实际上，我远远落后于模型的能力。”你必须不断地重新设计产品，使其适合模型能力的前沿。

提前几个月，也许。我认为这是合理的。所以你仍然与直接用户保持很多联系，以及这类事情。产品在某种程度上有效，但它允许你利用前沿能力。- 我觉得这是风险，因为当你等待模型到达某个地方时，其他人正在占用你的客户——- 对，对。- 开发者热爱和你的客户群，他们可能能够整合一些现有的东西。- 对，完全正确。你也在 Custer 和 Windscribe 中看到了这一点，这类事情，对吧？

在这些模型中，你们在很多方面取得了进展，例如内存、指令遵循、工具使用。所以我想，再次为听众重新解释一下，我们在这些三个领域处于什么位置？什么有效？什么无效？是的。好的。所以一个很好的思考方法是

在过去一年中这些模型发生了什么，因为强化学习终于在语言模型上真正有效了，我认为，我们能够教导这些模型的智力复杂性没有直接的限制。因此，你会看到它们解决极其复杂的数学问题、极其复杂的编码问题。但这些事情是在范围有限的领域，就像我们的上下文相对有限一样。问题就在模型面前。

像内存和工具使用这样的东西，是试图扩展模型能够行动的上下文以及它拥有的功能。因此，像内存控制单元 (MCU) 这样的东西允许它突然打开世界，并且能够与外部世界互动。内存允许它运行更长的上下文，比只有其自身上下文窗口的原始模型具有更大的个性化程度。所以我认为

这些努力代表着通过在某种程度上解除模型的束缚来破解代理的尝试。我认为口袋妖怪评估是一个相当好的……我喜欢这个评估。太棒了。作为过去的游戏男孩玩家，我觉得这是一个很棒的评估。我希望你会在模型旁边发布它。是的，是的。新模型一直在玩口袋妖怪，所以你会看到。

我认为这是一个很好的评估，因为它没有经过训练。因此，它证明了这种智能的泛化能力。我的意思是，一项任务并非完全超出分布，但它与之前完成的任何任务都有意义上的不同。另一个例子是……我会买一本策略指南来通关这个游戏。

我记得。有很多梯子和地方可以绕过去。完全正确。我非常喜欢的另一个例子是，Anthropic 最近一直在研究一个可解释性代理。基本上，它所做的工作是在语言模型中寻找电路。这真的很酷，因为我们没有训练它这样做。我们训练它

这是一个编码代理，但它能够将其与它对心智理论的了解以及这类事情结合起来，坐在那里并自己与它试图理解的模型交谈，试图推理出什么样的，它可以访问像查看可视化神经元和电路这样的工具。它实际上能够赢得这个有趣的，

比如对齐安全评估，它被称为审计游戏，你以某种方式扭曲模型，它必须弄清楚模型出了什么问题。它能够做到这一点。它能够与模型交谈，生成关于模型可能出现什么问题的假设，并查看所有这些工具。我认为这只是如此辉煌的证明……

具有访问工具和内存的这些模型的泛化能力。完全正确。我觉得构建者一直在等待代理和可靠地使用这些东西的能力。我认为你之前在播客中谈到了各种代理的可靠性，对吧？是的。对于这里的听众来说，我们在那里取得了多少进展？

大家好，我是 Rashad。我是《无监督学习》的制作人。我只是想在谈话中稍作休息。你可能知道我要说什么。如果你还没有评价这个节目，评价可能是你支持这个节目并帮助我们成长的最重要方式之一，以及与你认为会从中获得价值的人分享这一集。你评价节目的方式是访问主页，点击三个点，然后在 Spotify 上点击“评价节目”。如果你还没有评价这个节目，

再次感谢你帮助我们成长并继续邀请像 Sholto 这样的优秀嘉宾。非常感谢你的收听。现在回到节目。

我认为我们正在取得巨大的进展。我们还没有完全达到可靠性。这些模型并非总是成功。在你要求它做某事一次与要求它尝试 256 次之间仍然存在明显的差距。有很多评估，你可以通过多次尝试完全解决它们，但第一次并不保证。但话虽如此，我认为我看到的每条趋势线都表明我们正在朝着成功前进。

在大多数我们训练的事情上都具有专家级超人的可靠性。什么会改变你对这方面的看法？我认为如果我们基本上偏离了趋势线。所以，比如说，到明年年中，你开始看到某种

这些模型能够行动的时间范围上的障碍。我认为你应该把它看作编码始终是 AI 的领先指标。所以我认为你会首先看到编码方面的下降。但这可能反映了

算法中固有的局限性，我坚信不存在这种局限性。还有一些限制，任务分布可能比你想象的要难，因为可用的数据较少，结果证明这是一个相当费力的过程。所以也许如果你考虑使用计算机的代理，那么这将是一个这样的数据并非天然存在的例子。但与此同时，我们也看到了如此令人难以置信的进步，以至于对我来说，相对来说

我认为我们根本不是这样的世界。你认为我什么时候才能拥有一个能够帮我填写所有表格并在互联网上为我导航的通用代理？是的。我开玩笑说的一件事是个人管理逃逸速度。我该如何推迟一项任务？完全正确。作为一个拖延症患者，这将是美好的。对，完全正确。这取决于。我仍然认为存在有意义的……

这在一定程度上取决于公司是否专注于至少做一些事情，例如让模型进行一些练习。如果你从街上拉来一个人，然后说，你是一个通用智能，但我将要求你做我的会计工作，而且你不会犯任何错误。你从街上拉来的人可能会犯一些错误。但如果他们做过类似的事情，或者他们是一个伟大的数学家，或者类似的东西，那么他们可能会犯很多错误，或者他们是一个律师，或者其他什么。如果有一些东西可以让他们从中概括并映射，

那么他们能够以更高的可能性做到这一点。所以强烈依赖于任务。到明年年底，我认为我们应该看到，这应该是非常明显的，这几乎是肯定的。即使到今年年底，这也应该非常清楚。但到明年年底，你将看到这些东西在你浏览器中为你做很多事情。是的。

听起来对我来说很棒。你们的模型非常擅长编码。是什么让它们在编码方面如此独特？这是内部的优先级吗？我认为人们现在将 Anthropic 与编码模型公司联系起来。这背后是什么？Anthropic 非常重视优先考虑我们认为重要的事情。我们认为编码极其重要。因为编码是……

你会看到 AI 研究本身被加速的第一步。所以我们非常重视编码。我们非常重视衡量编码方面的进展。我们认为这是模型能力最重要的领先指标。是的，我认为这是一个重点。这些代理今天是否正在加速 AI 研究？它大大加速了我的工作。

是的，基本上是的。它们大大加快了工程进度。我认为即使是那些非常优秀的工程师，询问这在多大程度上加速了他们的工作也是很有趣的。我很多我视为我曾经合作过的最优秀的人的朋友都说，即使是在他们熟悉的领域，它也像 1.5 倍一样。而在他们不熟悉的领域，它就像 5 倍一样。所以如果是新的编程语言或者你已经有一段时间没有做的事情，它就是一个令人难以置信的加速器。现在，它

要考虑的一个非常重要的因素是，AI 将在多大程度上加速 AI 的进步，这取决于你有多相信我们是计算受限的还是计算不受限的。无论你是否认为

如果你部署可以为你进行研究的 AI 代理，这是否意味着你获得的收益与你目前部署的研究人员数量成比例？在这个阶段，我想象大多数这些事情都可以做你工作中令人厌烦的部分，所以你可以考虑让那些杰出的研究部分去测试。我的意思是，你发现……

这些代理本身是如何提出有趣的研究方向的时间表是什么？我的意思是，很多工作都是工程工作。我想说，目前大部分工作都是工程工作。当他们提出新颖的想法时，

老实说，我不确定。在未来两年内，我认为人们已经开始看到有趣的研究建议以及这类事情。我认为如果允许……在当前的算法空间中，这些模型的一个重要考虑因素是，如果它们对某件事有反馈循环，它们可以真正成为某方面的专家。所以它需要像人类一样进行一些练习。好吧，它还需要相对容易验证，对吧？我们会得到这些模型吗？它们就像，

令人难以置信的编码员，但在一些更模糊的领域没有取得丝毫进展。是的。一点是，ML 研究实际上是极其容易验证的。损失下降了吗？所以，如果你能够达到能够对 ML 研究提出有意义的建议的地步，那么你将拥有世界上最好的强化学习任务。我甚至会说，在某些方面，它比一般的软件工程更甚。

我们会在不太容易验证的领域取得进展吗？我非常有信心我们会取得进展。我认为这里一个有趣的例子是 OpenAI 最近发表的一篇关于……它是关于医学问题的论文。是的。你注意到它的评估方式或评分方式了吗？

马克·曼德尔：但他们提出了新的医学评估。马克·米尔钱达尼：是的，新的评估，对吧。他们得到了更多的反馈。他们提出了所有这些问题，就像你在考试中会遇到的那种长篇答案一样。他们为此给出了分数。所以这是将一个本身不像代码或数学那样容易验证的领域转化为更容易验证的东西。我认为这相当有可能解决。我认为有一个理由已经解决了，基本上。

最终几乎肯定会解决。什么时候是最终？我们什么时候才能拥有一个真正优秀的医学或法律模型？或者我想，这是否只是成为更广泛模型的一部分？哦，在明年之内。是的。它是否成为更广泛模型的一部分，或者你认为会有，“哦，这是特定于法律的模型或特定于医学的模型？”在这方面，我有点像大型模型极大主义者。我认为大多数研究人员都是。大多数研究人员都是。是的，完全正确。

我认为有很多非常有趣的方式，模型的个性化非常重要，对吧？就像你想要一些能够理解你的公司、理解你关心的事情以及理解你自己的东西。因此，有很多方法可以调整模型以适应你的东西。但我认为这不会是特定于行业的，而是特定于公司或个人的。我认为 Anthropic 与 Databricks 建立了合作伙伴关系，我们正在做公司特定的工作。但是是的，

在基本能力层面，我坚信它是单一的原始大型模型。我认为这是由于许多原因。首先，这是我们迄今为止看到的趋势。其次，因为从长远来看，小型模型和大型模型之间的区别没有理由存在。你应该能够自适应地使用正确的工作量，也可以说是正确的浮点运算次数，以应对给定任务的难度。所以我认为

这意味着偏向于更大的模型。- 你似乎非常相信这些模型会持续改进。- 是的。- 我认为很多人推测，好吧，模型会不断改进，然后，这如何扩散到社会中？我想人们喜欢谈论的一件事是基本上对 GDP 的影响，对吧？在未来几年，你认为这些模型对世界 GDP 会有什么影响？- 是的，好的。

我认为最初的影响看起来有点像中国的崛起。因为会有……这是在过去 100 年中可能对世界 GDP 影响最大的事情。你看看上海在 20 年的时间里，它发生了巨大的变化……

但是，这将比这快得多，但你会看到这一点，但这里需要做出重要的区分，一点是，我认为我们现在几乎可以肯定的是，到 27 年或 28 年，我们将拥有能够有效地自动化任何白领工作的模型，或者在十年结束时几乎可以肯定。话虽如此，这是因为我们有……这些任务是相当

对我们当前的算法套件来说。你可以在计算机上多次尝试。为此有大量数据可用。互联网存在，但同样的数据资源并不存在于机器人技术或生物学中。因此，对于一个模型来说，要成为一个超人的编码员，你只需要我们已经能够赋予模型的功能。你需要采用现有的算法并将其扩展。

对于一个模型来说，要成为一个超人的生物学研究人员，你需要自动化实验室，它能够以高度并行的方式提出和运行实验。或者为了让它在现实世界中像我们一样胜任，你需要它能够通过机器人技术在环境中行动。因此，你需要大量的机器人来实际收集数据，并以消除的方式做到这一点。所以我认为我们可能会看到的一种不匹配——我实际上也担心看到——你会看到对白领工作的巨大影响

这是否看起来只是戏剧性的增强，你知道，比如待定，但你会看到这将改变很多。我们将需要推动那些使我们的生活变得好得多的东西的戏剧性转变。为了推动医学发展，为了推动现实世界中的丰富，我们需要……

弄清楚云实验室和机器人技术以及这类事情。但到那时，我们将有数百万个 AI 研究人员提出实验。他们不需要如此大规模的机器人技术或生物学数据。所以 AI 的进步非常快。但我们需要确保我们将反馈循环引入现实世界，以真正实现。

真正改变世界 GDP 以及这类事情。是的。所以你基本上认为对于每个白领职业，你都能够构建某种奖励模型，类似于在韩国 VALS 中所做的那样。我认为令人惊讶的是，你需要多少数据才能实际构建这些东西，就像人类在相对有限的数据上学习如何做到这一点一样。对，完全正确。甚至我认为……

我们最终证明的是，我们可以教模型……到目前为止，我们还没有达到能够教模型的任务的智力上限。现在，它们似乎比人类的样本效率低一些。但这也没关系。因为我们可以并行运行数千个副本，它们可以与不同版本的任务进行交互。他们可以拥有丰富的经验。所以如果它们的样本效率较低，也没关系。

是的。因为你仍然会在该任务中获得专家级的人类可靠性和性能。你似乎认为这种……你知道，这种范式基本上让我们……几乎完全到达那里。是的。你知道，显然你有一些像 Ilya 这样的人一直在说，看，你知道，需要某种其他的算法突破。这里还有另一面吗？是的，有道理。我认为目前该领域的大多数人都认为是

我们迄今为止探索的预训练加强化学习范式本身就足以达到 AGI。我们还没有看到趋势线弯曲，它有效，这种组合有效。

是否还有其他需要攀登的山峰才能更快地到达那里，这是完全可能的。我的意思是，Ilya 之前可能发明了这两种范式。所以我为什么要反对他的观点呢，对吧？我看到的每一项证据都表明这些是足够的。你知道，也许 Ilya 这样押注是因为他想，你知道，

你知道，就像他没有那么多资本可用，或者他认为这是更好的方法，嗯，完全有可能，我不会反对朱莉娅，是的，但我确实认为我们现在拥有的东西会让我们到达那里，这方面的限制因素将是能源计算，你认为我们什么时候开始遇到这种情况？我认为在态势感知的结尾有一个很好的表格详细说明了这一点，到十年末，我们开始逆转，真的，比如，

美国能源生产的巨大百分比。比如超过20%，我认为可能是20，28，比如20%的美国能源。因此，如果不进行重大改变，你不可能比这多出几个数量级。我认为这是我们需要更多投资的地方。我认为这是政府应该采取行动的重要方向之一。

迪伦有一张关于中国能源生产与美国能源生产的精彩图表。美国的能源生产是平的，而中国的能源生产是这样的。就像他们在建设能源方面做得比我们好得多。所以，是的，我们……

是的。我想在这个模型改进的当前浪潮中，比如哪些指标是，我的意思是，你知道，它似乎是基于时间范围的指标，但现在值得攀登的那些是什么？比如，你知道，当你从4移动到4之后的东西。是的。总的来说，我一直对公司内部的评估印象深刻。许多公司，比如，

已经设计了自己的SweetBench版本，比方说。这些非常严格且经过良好检验。所以我喜欢攀登这些。我还认为，像Frontier Math这样非常复杂的测试非常有趣，想在未来一年观察，因为它代表了如此高的智力复杂性上限，我认为它很有趣。但越来越多的，我认为重要的是

评估真的很难产生。如果我们能够产生能够有意义地捕捉人们工作日时间范围的评估，我认为这将是最好的事情。但没有人走到外面公开发布过。

这是我认为政府应该做的另一件事，因为我认为了解趋势线是什么样的对政策来说是一个非常重要的输入。这也是政府能够胜任的事情，他们应该生产，比如，律师或工程师一天的工作日输入和输出是什么样的？

我能把它转换成可以分级的东西，以便我们能够真正衡量其进展吗？我想，作为基础模型公司，你必须克服的一系列问题中，好的评估在列表中的排名是多少？是的。我的意思是，每个基础模型公司都有一个非常庞大的评估团队，由许多优秀的人员组成，他们非常努力地工作来做到这一点。我的意思是，我认为核心……

甚至训练这东西的核心算法和基础设施挑战。但是如果没有好的评估，你就根本不知道你的进展如何。而且很难让外部评估完全保持独立。因此，拥有你信任的良好的内部评估非常重要。马克·曼德尔：但是，我也很惊讶，人们在你的模型之上构建应用程序，他们愿意分享他们对评估的思考方式。这对于——

完全正确。因为显然，特别是当你进入你可能想要改进的许多不同垂直领域时，你们很难弄清楚物流、法律或会计等方面的具体内容是什么。这需要如此专业的知识和品味。我认为这是过去几年中的另一个故事，你们从……

输出变成了，你知道，你可以把街上任何人都带过来，说，嘿，你更喜欢哪个输出？它将有意义地改进模型，需要像研究生或他们领域的专家才能改进模型的输出。我的意思是，如果你让我，让我知道，一些我不太了解的领域，比如生物学等等，然后在我面前放两个模型输出，我会在一个

很多方面都会挣扎。我没有足够的专业知识来知道哪个答案更好。我想这个品味的概念，我的意思是，我被，你知道，方式所吸引，显然，你已经看到记忆现在被纳入许多消费者与这些模型互动的方式中。但似乎不同的人工智能产品之所以能够成功，部分原因是它们找到了一些，比如，它们与它们的方式的时代精神产生了共鸣，你知道，我想你们在金门大桥的例子中就是这样，还有很多类似的事情。

在未来，就最终用户的氛围而言，模型定制会是什么样子？我认为实际上有一个奇怪的未来，这些模型最终会成为你最聪明和最有魅力的朋友之一。我不了解你的朋友，但他们已经非常接近了。所以我希望，而且我认为几乎没有我们的模型像，

他们在这些方面还不错，但我认识很多人花很多时间与克劳德交谈，实际上。但我认为我们还可以走得更远。我认为我们还没有，我们探索了模型可以对你的个性化和理解的深度的1%。你如何才能做得更好？是人

那些只是拥有非凡品味的人，就像他们引导这些模型的方式一样固执己见，或者你甚至如何着手解决这个问题？我的意思是，我认为克劳德之所以如此优秀，很大程度上是因为阿曼达和她独特的品味。我认为这与漂亮的产品类似，一个重要的部分是独特的品味。是的，

我们都看到了A/B反馈机制和点赞、点踩的危险，它们基本上会把你带上一条黑暗的道路。我认为，部分原因是这些模型在某些方面是如此美妙的模拟器。他们被要求模拟整个互联网的分布。所以我认为解决这个问题的方法之一就是提供关于你自己的大量上下文信息，模型实际上应该几乎能够自动很好地理解你想要什么。然后在设计个性和这类事情时，

可能是具有品味的人，然后像你与模型进行的对话和反馈一样，嗯，我确定在发布之前你们有很多人在玩这些模型，比如任何让你特别特别有共鸣的故事？我认为只是所有事情在我的信心方面都明显提高了一步，我首先转向模型，我想，我还喜欢，比如，

这些模型在某些方面是多么的无情。我的意思是，这是一个好词吗？我不知道。但这很棒。我们有一个很棒的评估，在这个评估中

该模型注定要失败。它的意思是，比如，它像Photoshop上的东西等等。它不打算能够在Photoshop中做那件事。所以模型说，哦，好吧，我知道我不能在Photoshop中这样做，所以我将下载，比如，这个Python库，我将用Python库来做，然后把它上传到Photoshop中。看，嘿，我已经做到了。所以也许它并不无情。有，比如，创造性和，比如，淘气。是的，像一些意想不到的事情。完全正确。比如，我认为那个故事很可爱。是的。

这真的很酷。所以，我的意思是，你们今天显然推出了这些新模型。接下来的6到12个月会是什么样子？你最好的猜测。所以，接下来的6到12个月看起来非常像，你知道，扩大RL并探索它会带给我们什么。

我认为你会看到因此而产生的令人难以置信的快速进步。在许多方面，我认为达里奥在他的关于DeepSeq的文章中概述了这一点，他说与预训练机制相比，相对较少的计算量被应用于RL缩放机制。这意味着即使使用现有的计算池，仍然有如此巨大的收益可以获得。计算池今年也在急剧增加。

所以预计模型能力会持续提高。基本上，到今年年底，编码代理，一个好的指标将是今天正在迈出第一步的编码代理应该非常称职。你可能会非常有信心将大量工作委托给它们数小时之久。你的签到时间会是什么样的？

是的，完全正确。签到时间是什么样的？目前使用Cloud Code，有时是五分钟。有时你坐在那里看着它在你面前。到今年年底，它可能自信地做了很多事情好几个小时。而现在，是的，有时模型能够做几个小时。有时它们能够完成大量工作。但它是尖峰式的。

是的。我觉得这是改变游戏规则的事情。我觉得即使从RPA中获得的经验教训之一是，你必须坐在那里看着某些东西做你的工作。在某些时候，你会想，我宁愿自己做这件事。是的。有时，对吧？有时你会介入。最终，我们将能够委托这项工作。我认为有人在不久前发推文说，软件工程的未来看起来像星际争霸。我认为，是的。我们什么时候才能达到星际争霸级别，协调你所有棋子的APM？是的。

那可能是今年年底，那么从模型发布节奏来看这意味着什么？我的意思是，如果你们正在如此快速地扩展这个，那么这意味着，你知道，像你们一样，你们认为人们，所有实验室最终在这个快速调整时期发布新模型的频率是多少？我希望看到模型节奏比去年快得多，在许多方面，2024年是……

当人们弄清楚新的范例并进行大量研究，并更好地理解正在发生的事情时，这是一种深呼吸。我希望2025年感觉会快得多。是的。在哪里……

尤其因为随着模型变得越来越强大，它们可获得的奖励集也以重要的方式扩展。如果你必须对它输出的每一句话都提供反馈，这并不是很可扩展。但是如果你能够让它做几个小时的工作，这样你就可以

你可以判断，它是否完成了我想做的事情？它是否做了正确的分析？网站是否有效，人们是否能够在上面发消息以及这类事情？这意味着它基本上应该能够更快地攀登这些阶梯，即使任务的复杂性正在增加。你之前提到过，有OpenAI Codecs，有Google Jewels，还有所有这些不同的东西。所有这些初创公司都在建立。我们实际上正在启动一个GitHub代理。在GitHub上的任何地方，你都可以说，“嘿，@Claude，

我们将分拆并为你做一些工作。-是的，所以每个人都在争夺开发人员的心智。你认为是什么决定了开发人员使用哪些工具和模型？-我认为公司与开发人员之间的这种关系以及你赋予彼此多少信任，很大一部分也是公司与开发人员之间的信任和尊重。

我认为很大一部分也是模型的能力，人们实际愿意使用并喜欢使用的模型，比如个性和能力，比如模型的能力以及你对它完成这些任务的信任。我还希望随着时间的推移……

随着这些模型的库存能力变得越来越明显，公司的使命也变得重要。你会想到你正在与哪些公司合作，以及你试图与谁一起建设未来。我不确定，但特别是如果发布节奏持续上升，就像每个月人们都会被淹没，好吧，这个在这次评估中上升了，那个在那个评估中上升了。我认为有趣的是，这是人们对……

比如，你知道，GPT包装器，对吧？是模型公司包装的优势之一是你可以冲浪模型能力的前沿。哦，100%。我觉得所有试图不做包装器的人都烧掉了很多钱。对，完全正确。所以……

冲浪模型能力的前沿真的很棒。有一种反向效应，即只有当你能够访问底层模型时，你才能预测某些事情，比如你真的能够感受到和看到趋势线，或者你只能构建，如果……我认为所有深度研究等效物都采取了一定数量的RL，以至于很难从实验室之外构建深度研究等效物产品。

你能解释一下吗？为什么是这样？因为显然，我认为，越来越多的开放之眼，RFT，我相信你们也有一些等效物。他们似乎正在向外界开放。我想我一直在思考一个很大的问题，很多人都在思考，那就是实验室在构建什么方面会独具优势？然后什么是任何人都可以公平竞争的？实验室会尝试，但应用程序不会处于更有利于做到这一点的位置。所以我认为随着RFT API的发布，这种情况发生了一些变化，对吧？因为现在公司专注于特定领域是有好处的。

但也会有同样的集中化好处。我认为，至少我的理解肯定是OpenAI允许人们给予一些折扣，我认为，如果他们也可以在输出模型上进行训练。因此，将成为拥有RFD API并进行微调的公司的一些集中化优势。所以……

实验室在哪些方面会独具优势？我认为这里一个非常重要的部分，所以几个方面，一个是实验室将被评判的主要指标是它们能够多有效地将加速器和浮点运算、美元、资本转化为智能，这是迄今为止最重要的指标，这是区分像Anthropic这样的公司、像OpenAI和DeepMind这样的公司与其他公司的一个指标，对吧？就像这些公司训练的模型比……

我认为接下来最重要的东西是，你将很快拥有这些将成为员工的模型。这将是信任，你喜欢它们吗？你是否相信它们能够执行你要求它们执行的任务？

所以我认为这将是一个重要的区别因素。个性化也将是一个重要的区别因素。比如，模型对你的理解、你的背景和你的公司有多好？我相信你们有人正在构建像，你知道，在你们的模型之上构建通用代理，对吧？不是模型公司，只是像，我们将把模型从货架上拿下来，我们将进行编排。我们将进行非常聪明的链接。这在某种程度上是一项注定要失败的任务吗？你知道，即使只是表达，比如，什么优势，

模型公司本身仅仅因为，显然成本优势与API相比完全有意义，并且你周围都是非常了解这些模型的人，是的，不，我的意思是，

我认为这也是一件好事，对吧？比如，它鼓励了大量的竞争，比如找到合适的形态因素等等。我认为模型公司有一些优势。我认为，你知道，能够访问模型，并且能够，你知道，真正确保，我认为RFT API目前运行得不太好。所以它们就像，所以就像，整个过程。因此，能够根据你认为重要的内容来调整模型。但我认为，水位线基本上会不断上升，比如，

最终你正在利用这种现成的智能，就像你正在雇佣的员工或只是原始的智能能力。所以，是的，将会有公司包装和编排这些模型。在许多情况下，他们将做得非常出色。实际上我不确定……

谁占优势，谁没有优势。但潜在的趋势将保持不变。这种原始的智能正在被灌输并变得可用。因此，如果一家公司成功地包装了这个API，那就太好了。它也将面临激烈的竞争。最终，所有模式在某种程度上都会随着T趋于无穷大而消失，因为你将能够按需启动公司。

所以我认为这就像，这是一个有趣而复杂的未来，价值在哪里达成一致？是在客户关系中吗？是在编排和，你知道，整合在一起的能力中吗？是在能够有意义地将资本转化为智能的能力中吗？谁知道呢？我认为我们的听众会非常好奇。你能描述一下，作为一名尖端人工智能研究人员，日常工作现在是什么样子吗？是的。我认为这是一个好问题。所以，你在这些公司试图做的根本性事情是两件事之一。要么是开发新的计算倍增器。所以这就像进行工程的过程，使研究工作流程非常快，并思考我们目前——模型有什么问题，或者我们想表达什么样的算法思想，并进行研究科学来研究这些是如何发展的。所以有非常像集成研究和工程。

工作形式，它完全是关于迭代实验和构建实验基础设施，并使这个过程尽可能干净和快速。然后是扩展的过程。所以这带来了它自己的一系列研究和工程挑战，你采用你认为会起作用的想法，并且你已经与所有同事讨论过哪些是应该包含在风险较高的运行中的正确想法，并且

你将这个扩展到一个更大的运行中，这具有全新的基础设施挑战，你正在运行它，特别是你需要更具容错性，这类事情。以及新的算法和学习挑战。所以有些事情你只会在你随后看到的每个数量级的规模上看到，然后你需要去弄清楚为什么会出现这些科学原因，看看你是否能够对这些的早期出现进行研究，然后

然后创建允许你解决或利用这些影响并将其包含在下一个大型运行中的实验。所以是的，这个持续的循环，比如，

以一种真正结合了许多科学和工程的方式推动这两个轴。那么你在整个过程中如何使用人工智能呢？首先，目前在工程方面有很多。它帮助的主要方式是在工程方面。它也用于实施研究思想。我认为像看到这些模型早期帮助能力的一种方式是

如果你采用单个文件转换器实现，比如karpathys-min-gpt或类似的东西，并要求模型实现你在论文中看到的想法，你会对它的好坏感到震惊。

这简直太疯狂了。然后如果你进入一些巨大的转换器代码库并询问它，你会注意到它实际上有点困难。模型在那里挣扎得更多。但它们每个月挣扎得越来越少。所以这是一个预示未来的好方法。将上下文提炼成只有重要的部分，然后要求模型这样做。你会对它在帮助你进行研究方面有多好感到震惊，基本上。你显然非常接近这些事情，尝试各种事情。你在过去一年中改变了哪些想法？是的。

在过去一年中，我认为进步的速度大幅向上弯曲。所以我认为去年，我认为是，你可能会不确定，在我们获得我们期望在今年年底真正看到的这种能力之前，我们是否需要达到更多数量级的预训练计算。

现在答案是明确的，不。RL有效，模型将达到2027年的即插即用远程工作人员。到那时，你将拥有非常强大的模型。所以所有……

无论是希望还是担忧，我认为它们已经成为现实，现在它们在许多方面都更加真实了。现实地说，你认为我们最终是否需要大规模扩展数据，或者当你制作了克劳德17，这些编码模型如此优秀时，你知道，它们发现了如此多的算法改进，以至于我们需要的数据量不会太多。好吧，模型可能就像，模型可能那时足够好了。他们对世界的理解可能那时足够好了，他们可以像

通过事物对机器人进行编码，对吧？有一个叫做生成器-验证器差距的概念，如果模型对某事进行评级比其他模型做某事更容易，那么你可以改进你的批判或评级能力。我认为机器人技术很可能是一个这种情况的领域。

我认为这对于许多领域也是如此，但机器人技术就像这非常明显，因为我们对世界的理解已经远远超过了我们实际操纵它的能力。你会如何描述当前的对齐研究状态？可解释性取得了疯狂的进步。我知道你一直在关注。这里有一些非常漂亮的作品，我对此印象非常深刻。

比如去年模型的状态是，我们才刚刚开始发现像叠加和特征以及克里斯·奥拉尔和他的团队的工作，就像已经

这是一个对理解的重大飞跃。但现在我们实际上确实有意义地在真正的前沿模型中拥有电路。我们可以通过一篇关于大型语言模型生物学的精彩论文来描述它们的行为，他们在其中以极其明确的术语分解了这些模型推理概念的能力。我们没有对模型进行完整的表征。这里仍然有很多困难的情况。但模型也是

模型相当不错。这里要解释的一个重要动态是，基于预训练，模型在普遍吸收人类价值观方面相当不错。它们在预训练方面相当不错。在许多方面，它们默认情况下是相当对齐的。在RL之外，这不再保证是这种情况，因为你正在将这些模型放入。同样的模型就像，嘿，我下载了Python代码并绕过了我注定要失败这个测试的事实，

是那种模型，那种学习过程意味着模型会不惜一切代价来实现所赋予的目标。因此，监督这个过程本身就是一个棘手的过程，每个人目前都在学习如何经历。是的。我的意思是，显然有，我觉得，大约一个月前，人工智能2027年问世了。很多人都在谈论这件事。你对它的反应是什么？老实说，这感觉非常合理。我读到这篇文章，很多时候我都想，是的，你知道吗？像，

这实际上可能就是它的发生方式。我认为那里有分支的可能性，但这可能就像20百分位数的情况，但对我来说，但事实上它是20百分位数的情况也相当疯狂。对你来说是20百分位数，是因为你发现自己比他们更看好对齐研究，还是你只是认为时间表更慢？我认为我比他们更看好对齐研究。也许我的时间表慢了一年左右，但在事情的大局中，一年是什么？像，是的。是的。

是的，这取决于你是否利用它。对，如果你利用它并进行正确的研究等等。是的。如果你扮演一天的政策制定者，我们应该做些什么来确保事情走上更好的道路？是的。好的，这是一个好问题。最重要的事情是你需要真正切身体会我们所有人都在看到和谈论的趋势线。所以，如果你没有，那么分解并理解

分解你所在国家关心的所有能力，并衡量模型在这些方面改进的能力。获得你认为如果得到解决，你就会重视的趋势线。就像国家评估。是的，就像国家一样。你分解你的经济，你拥有你国家所做的所有工作，并说服自己，建立测试，如果模型能够通过它们或朝着通过它们取得有意义的进展，那么这将是你对智能的基准。绘制趋势线，然后说，哦，我的上帝，2027年或2028年会发生什么？

接下来，你应该对我们认为将有助于使这些模型易于理解、可控和诚实的研究进行有意义的投资。所以很多看起来都像对齐科学，基本上。这实际上是我一直以来，

在某些方面，SAD在很大程度上是由前沿实验室推动的。实际上，我认为……其他人可以研究它吗？是的，绝对可以。比如，你是否可以访问克劳德4来——不，不。我的意思是，我认为你可以在可解释性方面取得令人难以置信的进步。有一些方法，比如有一个叫做MATS的项目，人们已经做了，你知道，很多像有意义的对齐研究，特别是来自前沿实验室之外的可解释性。

但这在我看来，更多大学都应该考虑这个问题。在很多方面，它更接近于对这些模型中正在发生的事情的纯粹科学研究。就像这是语言模型中正在发生的事情的生物学和物理学一样。你为什么认为没有更多呢？我不确定。我真的不确定。我认为……

人们向我描述过，这是一个很大的风险。我认为机械互操作性研讨会没有被列入最近的一些会议，比如ICML之类的，这让我觉得很疯狂，因为在我看来，它是离这些模型中正在发生的事情的原始科学最近的东西。如果你想发现DNA的手性，或者你想发现广义相对论之类的东西，对我来说，在ML和AI中实现这一目标的技术树看起来像是探索AI。

呃，机械控制确实如此，是的，嗯，好的案例是什么？我们低估了什么？嗯，至少你说的是，几年内所有白领工作都将实现自动化，所以是的，是的，嗯，模型能够做到这一点，是的，但实际上，有时令人惊讶的事情是，我的意思是，对你来说并不奇怪，但是，呃……

世界有时在整合这些事情方面出奇地缓慢。模型的能力在许多方面已经相当惊人。如果工作流程围绕它们进行调整，它们仍然像……即使模型的能力现在停滞不前，仅仅是将世界重新调整为使用当前水平的能力，仍然会产生难以置信的经济价值。但无论如何，这是一种旁白。这又回到了我之前所说的，我们需要……

确保我们投资于所有真正使世界变得更美好的事物。这就像提前获得物质丰富。它达到了管理的逃逸速度，并且这种事情以及建立模型能够为我们做所有这些事情。它正在推动物理学和娱乐的边界，以及诸如此类的事情。我希望人们能够比现在更有创造力。我想，我们当前社会的一种失败模式是，

人们消费大量的媒体等等，但是，希望这些工具，就像你必须编写代码一样，你将能够编写创作，比如和朋友一起创作电视剧，或者创作电子游戏世界。就像应该这样，

人们应该感到更加有能力，因为突然之间，你获得了整个公司中极其有才华的模型或个人的力量。所以我期待着人们用它做什么。我认为这被低估了，也许吧。还有一个方面是，哦，天哪，它将直接取代目前在经济中为工作所做的事情。我认为这很可能。但我同时也认为每个人都应该觉得

他们将获得更多力量。世界还没有解决。目前正在进行的工作，

每个人的生活都可以变得更好。我认为，解决这个问题将成为一个有趣的挑战。我喜欢这个。好吧，我们总是喜欢在采访结束时进行快速问答环节，在那里我们可以了解你对一些过于宽泛的问题的看法，我认为我们今天实际上已经涵盖了很多问题，但我还会深入探讨其他一些问题。你认为当今AI领域中哪些被过度炒作，哪些被低估了？好的。

让我们从被低估的开始。被低估的可能是世界模型，我认为它们非常酷，而且我们在这篇文章中并没有真正讨论过。我认为你会看到……

随着增强现实和虚拟现实技术的改进，你将能够看到这些模型能够在你面前生成虚拟世界。我认为这将是一件非常疯狂的事情。这需要某种物理理解，对吧？因果关系，我们似乎还没有掌握的许多事情。我认为我们已经证明了物理理解，说实话。我认为我们在……方面已经意义重大地证明了因果关系、影响和物理理解。

在对物理问题的评估中，但如果你观看任何视频模型，它们都会掌握物理学。即使是以奇怪的普遍方式，我看到一个很棒的视频，有人要求我记得的一个视频模型将乐高鲨鱼放在水下。它以正确的方式反射乐高积木上的光线，并且阴影在正确的位置。这是以前从未见过的。这是完全普遍化的物理学。

那太酷了。-是的，那不在训练开发中。-那不在训练开发中。水下没有乐高鲨鱼。水下没有乐高鲨鱼。我也希望这种技术能够转化为虚拟细胞之类的东西。所以我认为这令人兴奋。-你之前提到过，即使我们今天停止

模型改进。我们仍然可以在其之上构建大量应用程序或方法。你认为哪些是应用工程师最未开发的？天哪，我希望更多人用这些模型做X。我的意思是，我认为它们在软件工程领域已经有所体现，因为软件工程师，首先，模型在软件工程方面更好，其次，我认为软件工程师更多，而且他们了解如何解决他们关心的问题。

我怀疑在基本上所有其他领域仍然有很多空间。你应该期望进行相同的转换。还没有人构建异步后台软件代理，但对于任何其他领域，对吧？或者甚至任何接近Cloud Code、Cursor和WinSurf这类反馈循环的东西，对于任何其他领域。所以我认为可能是这样。

是的。如果有的话。我想人们说编码是这些模型的理想问题。是的。它是领先指标。但你应该期望一切都会随之而来，基本上。这是有道理的。我的意思是，我想，显然，在你从事这项工作期间，你可能比一开始更相信AGI了。这是否改变了你生活的方方面面或你的人生规划？我一开始就非常相信AGI。我在2020年读过一篇Guern的文章，这篇文章对我来说非常重要，说服了我。是的。

去年RL的进展确实导致了实质性的转变。我的生活是否因此发生了巨大的变化？没有，我工作非常努力。我认为这是最重要的事情，所以我基本上把我的生活都奉献给了它。但除此之外，我的生活并没有发生太大的变化。我和……

我的朋友特伦顿之间有一个有趣的玩笑，我们之间的区别在于我还涂防晒霜，他不涂防晒霜了。他说，不，我们会弄清楚它的生物学原理。-这很有信心。-我说，你知道吗？

生物学很难。生物学的反馈循环很难。所以我打算涂防晒霜。以防我们遇到障碍。以防生物学需要10年时间。我想你发了一张你在城堡的照片，我认为是的。那是什么情况？那是一场战争游戏。这是什么意思？我被邀请与一些来自三字母机构的人和军事学员一起出去玩。这基本上就像一场游戏。

比方说，一个GI来了，我不断看到更好的，那又有什么地缘政治影响呢？他离开后是更害怕还是更不害怕？现在有足够的这种好事吗？不，老实说，我认为人们仍然低估了未来几年变化的速度，以及

即使你认为只有20%的可能性，你也应该做多少准备，就像如果你看看这个，我会说，好吧，等等，就像我看到的每一个趋势线，每一个过程的每一个部分都可以得到如此大的改进，以至于我们基本上可以保证一起做到这一点，你认为Anthropic的90%的人也这么认为吗？是的，还有GDM和OpenAI，每个人都非常确信，我们会在2027年获得远程工作AGI的下降，对吧？嗯，话虽如此，

即使你没有实验室工作人员那样的信心水平。你仍然会说，你知道吗，这有10%或20%的几率。你仍然应该为此做好计划。如果你是一个政府或一个国家，你仍然应该说，这仍然应该是你最重要的议题之一，就像未来将如何改变一样。

我认为这一点还没有得到足够的重视。好吧，这是一次引人入胜的谈话。我很想把最后一句话留给你。比如，人们可以在哪里了解更多关于你以及你在Anthropic的工作的信息？任何你想指引他们的地方，麦克风是你的。我应该把他们指引到哪里？我的意思是，我认为大多数人应该阅读的东西，也许是，

还没有读过的是interp工作，是的，我真的认为，理解语言模型中正在发生的事情的基本科学确实非常有启发性，当你开始看到它们像这样组合和泛化，并构建这些电路并对概念进行推理时，我认为这会让它感觉非常真实，它们很长，很激烈，但非常值得一读，我认为这很有趣，很好，非常感谢，这太棒了，非常感谢你

你