Sakana AI - Chris Lu, Robert Tjarko Lange, Cong Lu
01:37:54 Share

此时，也许互联网上很大一部分内容都是由大型语言模型生成的。随着人工智能能力的提升，正如我们所见，它们被用于构思创意，斯坦福大学的人们一直在思考这类事情。大型语言模型可以产生与人类研究人员一样新颖的想法。本质上，我们可以使用人工智能科学家作为数据生成工具吗？我们可以获得比论文中发表的皮毛更深层次的知识吗？我们在大自然中看到的进化规模，

不一定能用GPT规模的模型实现，但我们总能尝试在更小的规模上进行进化。我认为熵对我们正在做的事情非常重要，我们需要这些真正新颖的想法，一些创造力。此外，另一种方法是寻找熵的替代来源。

Chris，欢迎来到MLST。很高兴来到这里。你能介绍一下自己吗？是的，我是Chris。Chris Liu。我是牛津大学Jacob Forster教授的博士生。我也在Sakana AI实验室做很多工作。今天也加入我们的还有Robert Lange。Robert和Chris一起写了一篇非常棒的论文，我们马上就要讨论它了。Robert，你能介绍一下自己吗？当然，这是你第二次或第三次参加我们的节目了。感谢你们的邀请。很高兴再次见到你们。

太棒了。是的，我是Rob。我是柏林工业大学的博士生，也是Sakana AI的创始研究科学家。我有幸与Chris合作了很长时间。我们最初是在实习期间认识的，从那时起就一直在合作。而且

是的。太棒了。我们还有Cong。Cong，你能介绍一下自己吗？是的。我是Cong Lu，我是不列颠哥伦比亚大学的博士后，主要研究开放式学习。我的导师是Jeff Clune。我是Jeff的超级粉丝。他很棒。是的。Jeff太棒了。告诉他我们很想邀请他参加节目。当然。我想他会很乐意来的。是的。太棒了。太棒了。Tufa Labs是一个新的AI研究实验室。我正在苏黎世创立它。它由Paz Ventures资助，涉及……

人工智能，所以我们是DeepSeq的瑞士版本，一个很小的团队，非常非常有动力，非常努力工作，我们尝试进行一些人工智能研究，从大型语言模型和O1风格的模型开始。我们现在正在寻找首席科学家和研究工程师。你可以在tufalabs.ai上查看职位信息。Chris和Rob，你们写了这篇论文，“用大型语言模型发现和优化偏好算法”。

你能做一个电梯演讲吗？是的。所以我们编写算法来训练语言模型以遵循偏好，对吧？使语言模型的行为与人类的偏好一致。

我们一直在手工制作许多算法，以了解哪些算法似乎最有效，以便在使这些语言模型得到优化方面更有效率或更快。社区中的许多工作都归结于找出哪些算法是最好的。

如果你真的看看我们是如何做到这一点的，很多都是反复试验，背后有一些数学直觉。语言模型在这方面也相当擅长。它们确实通过预训练拥有相同的数学直觉，而且它们也相当擅长编写代码。所以有一些问题，为什么我们不让语言模型尝试优化我们用来训练语言模型的这些算法呢？这基本上就是整篇论文的内容。

它现在是如何工作的？例如，我们有RLHF，对吧？它可以塑造这些语言模型的行为。该算法是由该领域的许多专家手工设计的，他们对这类事情有很强的直觉。你是在建议我们有可能自动化这个过程吗？是的，完全正确。基本上，这些领域的专家，他们有很多直觉，但也只是很多反复试验。语言模型也有

也许不如人类的直觉那么好，但足够合理的直觉，但可以比人类进行更多的反复试验。因此，这使我们能够搜索更广泛的算法空间，以便找到合适的最佳算法。Rob，这种方法是如何工作的？

基本上，我们之前一直在研究使用进化黑盒优化方法来发现算法。那时，我们通常使用神经网络来参数化损失函数，对吧？然后我们使用某种类型的元进化来优化这个神经网络的参数，本质上是这样。

这种方法的工作方式是采样候选解决方案并在问题上对其进行评估，然后将最终性能反馈给优化器。在这里，我们基本上采用了一种不同的方法。也就是说，我们使用语言模型来提出代码片段。想想你最喜欢的Torch目标函数，语言模型基本上会编写代码。它不仅编写代码，而且还会为函数命名，并说明它是如何想出这个想法的。

然后我们在进行偏好优化后，使用编写的代码进行评估，类似于基准测试。我们将结果反馈到语言模型的上下文中，并基本上查看语言模型是否能够发现优于DPO、KTO等的客观函数。

有趣的是，在这个过程中我们发现大型语言模型真的擅长混合不同的概念。所以如果你仔细想想，对我个人来说，我可能只读过机器学习论文的一个很小的子领域。而对于大型语言模型来说，它不仅阅读了机器学习，还阅读了物理学、化学，并且基本上可以以互补的方式混合和组合所有这些概念。

在论文中，我们看到这些概念的不同之处，例如平滑或正则化技术，基本上是在这个进化优化过程中组合起来的。总而言之，我们基本上将大型语言模型视为一种非常强大和智能的变异算子，可以帮助我们发现新的算法。

是的，这太酷了。我看到了很多类似的方法，当然也包括Arc挑战。Ryan Greenblatt著名的使用GPT-4.0生成了大量的Python程序，他生成了20000个、30000个程序，然后我们看看哪些程序是好的。还有Kevin Ellis的团队，我认为他现在在康奈尔大学，但他以前在麻省理工学院。和他所说的非常相似。所以，你知道，像生成大量的片段，然后重新混合，然后将重新混合的程序放大一个数量级，你知道，大约两个数量级左右。

为什么大型语言模型如此擅长这类事情？我的意思是，他们已经看过大量的代码，对吧？他们对什么有效，什么无效有一个很好的了解。因此，仅仅通过利用这个预训练的代码知识库，它就能更有效地探索这个空间。Rob刚才谈到我们过去是如何使用这种元进化技术，我们随机扰动一些代表某个目标函数的神经网络权重，然后采样这些函数的适应度，然后用它来更新一些元网络。

这非常低效。这就是为什么我们必须使用这些Jack风格的技术才能让事情运行得足够快以使其发挥作用。所以我们必须采样数百万个参数和数千个种群成员，诸如此类。我们所能做的只是随机排列这些神经网络权重。你可以想象，如果我只是随机扰动神经网络权重，大多数情况下我不会得到任何有趣的东西。

大型语言模型真正酷的地方在于，由于其训练的来自人类的数据，它们具有更结构化的探索。所以它的探索更像人类，进行更智能的探索。实际上，在我们撰写的论文中，你可以看到它确实进行了非常智能的探索，它会查看什么有效，什么无效，然后利用这一点进行Rob所说的混合。

所以它会像，“嘿，让我们试试这个。哦，那没用。让我们试试其他的。哦，这可能因为这个而有效。”然后它会继续建立在之前发现的东西之上，以试图找到最终的解决方案。- MLST由SenseML赞助，SenseML是一个专门针对AI工作负载优化的计算平台。它们开箱即用地支持所有最新的开源语言模型，例如Llama。你可以按需付费，或者你可以拥有一个始终运行的模型，或者在你不用时可以将其冻结。

他们部署的所有模型都开箱即用地支持OpenAI API规范，这意味着只需更改一行代码就可以切换到Sentinel，开始节省资金并使你的应用程序运行得更快。Rob，这些东西在多大程度上受训练分布的限制？所以，你知道，他们拥有我们曾经说过的一切，但我们想要创造力，对吧？我们想要范式上的新事物，对吧？

我们能做到吗？我认为这是一个非常有趣的问题。通常当我谈到这个话题时，我会从艺术中进行类比，对吧？所以人们常常认为毕加索是一个天才，对吧？他醒来后，脑海中就有了立体主义的所有想法和风格，然后他开始工作，对吧？但毕加索是他那一代人的孩子，对吧？当时有很多超现实主义艺术家，比如萨尔瓦多·达利或胡安·米罗，对吧？基本上，

毕加索在他的不同艺术家的凸包中找到了自己的风格，对吧？通常当我们谈论大型语言模型和用于发现的大型语言模型时，我们谈论的是插值与外推。我认为大型语言模型的力量，即使它们可能不一定能够进行

疯狂的外推，但它们仍然可以在所有预训练语料库之间进行插值，对吧？这就是我之前所说的。有化学、物理、经济学等领域，许多发现的概念都可能被引入机器学习领域。Chris，目前，你正在根据下游任务衡量成功，如果你愿意的话，但是否有可能改变架构以拥有更抽象的概念

优化形式，例如，对于公平性或偏差或我们可能认为重要的任何其他事情。是的，这绝对是正确的。我认为目前，是的，我们只优化预测未来偏好的能力。我们可以尝试将其推向偏爱公平性或更开放的想法，而不仅仅是我们正在关注的单个数字指标。在论文中，我们可以尝试分解，

不同模型的质量，例如蜘蛛图，你可以在其中显示它在推理或数学方面的能力，但你也可以添加公平性等内容，并尝试使用多目标优化。更有趣的是，将其从这个明确定义的单一数字指标扩展到我们在未来在AScientist的工作中所做的工作，在那里我们尝试生成有趣的论文，对吧

这是一个我们在生成式AI中普遍存在的问题。你看看Sora或DALLE-E或这些图像模型或视频模型，问题是，你如何判断它们，对吧？该领域没有很好的指标。现在很多东西都归结为品味或感觉。我认为这就是AI科学家或这些未来的元优化技术可能发挥作用的方式，它会输出很多东西，但我们需要浏览它们并选择我们最喜欢的。

是的，Rob，当我们衡量这些东西时，氛围有多重要？你认为这些指标是否过于乐观，是否饱和？它们有用吗？我认为每个机器学习研究人员都有自己最喜欢的氛围测试集，对吧？亲身体验超越MMLU基准的能力，对吧？我认为这非常重要，因为根据我的经验，许多模型

可以过度拟合它们，对吧？像常用的基准一样。我认为当你推广你新训练的模型时，这有助于在社交媒体上获得关注。但对我来说，实际上在我的问题上进行氛围检查通常更重要。例如，

是的，LAMA分数非常好。但是对于我想使用前沿模型做的事情，LAMA通常会遇到困难。这是我们在AI科学家身上也看到的东西。尽管如此，我认为这对社区来说是一个非常有价值的贡献，以便评估能力，并致力于改进这些方法。

非常酷。Chris，你们在Disco Pop中发现的损失函数，你说它表现出凸性质。你认为其中有多少是算法性能的必要条件？真正有趣的是非凸的。几乎每个损失函数都是凸的，因为你想要一个单一的最佳点。

这个函数奇怪的地方在于存在不连续性，对吧？它是非凸的。存在局部最优，然后存在全局最优。我们假设，我相信我们已经为这个想法提供了一些证据，也许这种非凸性

对于噪声数据很有用，你可以在局部最优中捕获一些坏数据，然后实际上在全局最优中优化其余数据。这是一个假设，我们在论文中有一些证据支持它，但很难严格证明这一点。一件非常有趣的事情是，在我们之前做的名为“发现策略优化”的工作中出现了类似类型的非凸性，其中有很多我们不太理解的特征。其中之一就是这种非凸性。所以

这个主题似乎多次出现，所以深入探索它会非常有趣。非常酷。Rob，当我们开始元学习时，你知道，损失函数或其他任何东西，因为如果你仔细想想，你可以取预测架构的任何部分，你可以在那里放置一个模型，你可以学习它。也许我们会失去可解释性，我们会失去原因。这重要吗？

我认为像我和Chris一样，我们都在做一些工作，我们发现损失函数的函数逼近器版本等等，或者进化优化器。然后通常，根据所发现的目标或系统的参数化，你可以事后尝试反向工程它。你可以尝试用一个解析可表达的

方程来捕获大部分方差，例如。这通常有助于事后解释。所以我认为，在发现真正强大且仍然可解释的系统方面可能存在局限性。但你甚至可以考虑这样的设置：设置系统以保持可解释性。所以这实际上是一个你试图进行元优化的基底是什么的问题。其中一些更容易解释。

事后比其他更容易。所以我希望我们最终可能发现的东西仍然是可解释的，但没有保证。只要你能凭经验证明它们在某种意义上是有界的，我认为这可能是你通常所能期望的。是的，一件非常有趣的事情是，我们花了大量精力试图反向工程我们在进行这种元进化技术时进化所发现的许多算法。

对于Disco Pop，这并不难，因为它会解释它在想什么。所以我们只是使用了它的解释，这就是我们分析的基础。很多时候，即使在学术界，人们也会提出算法，但可能并不完全理解为什么它有效。这取决于其他社区成员去反向工程某些算法为什么效果更好。

我认为这里的情况也类似，大型语言模型提出了这个损失函数，它可能有一个最大化它有效的地方。我们的工作可能是证实这一点，或者提出更多关于为什么它可能是一个好的损失函数的原因。我还认为，在Disco Pop与之前的元进化项目相比，我们得到的基底是代码。所以它是人类可读的。你不必——

摆弄神经网络。这在当前阶段可能会有所帮助，对吧？谁知道呢，也许将来会有数千行代码的目标函数，这将使解释变得更加困难。但你仍然可以尝试阅读它，对吧？因为代码是我们人类能够使用的媒介。但我们能否只关注这一点一会儿？那么代码是什么样的呢？

你是否看到过一些奇怪的例子，它非常复杂，或者语言模型是否已经凭直觉知道要给出合理易懂的答案？对。我的意思是，通常代码只有几行，也许只有5到8行代码。所以它通常很容易解释，但也很有创意。所以这个空间里有很多可能的损失函数

它通常是这些函数的某种组合，也许还有一些它在搜索过程中发现的有趣的额外损失函数。例如，我相信在最终的disco pop损失中，存在这种指数损失，我认为我以前很少见过这种损失。而且我认为它本身并不是很好，但它与其他损失函数结合使用时效果非常好，显然是这样。- 非常酷。你如何，你知道，你可以进行集束搜索，你可以提高温度等等。你是否尝试过所有这些东西？

我们在论文中没有对此进行非常彻底的解释，但如果我们试图强迫它更有创意，我们可能会得到更好的结果。是的，非常有趣。Rob，总的来说，你对将创造力委托给机器有什么看法？

我认为我们人类对自己的创造力有偏见，对吧？从某种意义上说，尤其是在我们稍后谈到AI科学家时，人们会问我，你认为这比人类更笨吗？但我认为，即使它稍微笨一点，通过自动化这些过程，我们也能获得巨大的吞吐量，对吧？所以即使这样一个

自动发现系统的效率比人类差50%，我们也可以更优雅地扩展它。我认为Disco Pop已经做到了这一点，但AI科学家也已经做到了这一点，我们正达到这样一个点，

基本上我们可以将金钱和计算转化为下一代人工智能的真正有用的见解，所以我们具有它的自指性质，如果人类应该是唯一的创造引擎，那么这将被大大减缓，是的，是的，Chris，你如何看待人类的作用？你认为是否存在一种中间方法，我们可以让人类参与监督这个过程？我的意思是，那会是什么样的？是的，我认为如果想更快地发表更好的论文，这将是诚实的

更好。也就是说，如果有人参与其中，它就像一个项目的监督者，对吧？所以现在我会说，这些模型可能和本科生、一年级博士生或非常年轻的初级研究人员一样好。我认为在这种情况下，监督者非常有帮助，他们可以帮助确定哪些问题很重要，他们可以帮助确定哪些策略可能更好，哪些策略可能更糟。

我认为人类可以在这种情况下发挥作用，也许将来博士生更像今天的教授，他们指导着一大群人工智能科学家或类似的人。我认为这种品味塑造在学术界非常重要。在某种程度上，我认为发表论文更像是一种艺术，而不是科学，你试图弄清楚人们会发现什么有用或有趣，而没有客观的衡量标准。

在这种情况下，许多问题与图像生成、视频生成的问题类似，我们可以生成大量的图像，但谁在乎其中的大部分呢？有人必须提出一些他们感兴趣的提示或其他东西，并将其提取出来。所以我认为AI科学家应该希望使用类似的东西，有人非常关心某些主题。所以他们希望尽可能多地获得关于该主题的研究，他们将是那些做出品味和设计的人。

因此，他们将是那些提出问题参数和他们想要哪种输出类型并为AI科学家指定一切的人，就像教授为实验室做的那样。

非常酷，那么无限回归的想法呢？假设你找到一个惊人的损失函数，你把它交给OpenAI，你告诉他们用这个损失函数从头开始训练GPT-4，然后你，你知道，然后你对许多代进行元学习新的损失函数，等等，会发生什么？你知道，它会变得更好，还是会以某种方式模式崩溃？我认为

可能比你所说的具体版本更广泛的问题，对吧？所以我认为鉴于这些系统现在无处不在，对吧，我们正在使用GPT等等生成大量互联网内容，并且它可能会在未来几代人中使用，很难判断是否会发生模式崩溃。但我认为，即使发生了模式崩溃，当前的系统至少在我日常使用它们的经验中，已经为社会创造了很大的价值。

如果这将在未来五年内发生，一旦我们达到那个点，我认为就社会而言，我们已经非常好了，以便在以后使用这些系统。

我认为在这种情况下，使用大型语言模型发现目标函数，然后在下游使用它，我认为存在一种分离，目标函数本质上只是一个隐式工具来塑造大型语言模型，而不是烘焙到大型语言模型中，它应该在下一代中给出这个目标函数作为输出。所以我认为，根据你发现的内容和反馈到循环中的内容，

与其他事情相比，这将有更明显的迹象。也许你对这个也有看法，Chris。我采访了来自谷歌DeepMind的Ilya，他写了关于连续几代模式崩溃的Nature论文。电梯演讲是，大约在第四代之后，你失去了分布中的所有熵。对于创造力，我们当然需要熵。所以在某个时刻，我们是否会失去对熵来源的访问？

我认为这是可能的，但至少在我们目前关注的规模上，似乎互联网上的熵足够多，人类仍在说随机的事情，并且很有趣或出乎意料。我认为

一种替代方法是寻找熵的替代来源。例如，你可以说，“嘿，我只是随机抽取两个领域，然后说，‘嘿，想出一个关于这两个领域的酷想法。’”现在我们将外部熵引入系统，这可能是一种我们可以继续处理可能的模式崩溃的方法。

是的，很难判断如果继续训练本身在互联网上输出的数据，模型会走向何方。像现在这样，也许互联网上很大一部分内容都是大型语言模型生成的。

是的。有很多东西要看。也许补充一点，我们从将大型语言模型视为进化算子、变异算子开始。我认为Chris刚才描述的是基本上更进一步，考虑概念、领域等的交叉。所以我认为可以从进化社区中汲取很多灵感，以有效地挤出大型语言模型输出的最大创造力。所以是的，我认为这是一个非常年轻的领域，但有一些工作是将大型语言模型与QD风格的

算法结合起来等等。我认为在从这些大型语言模型系统中挤出最大创造力方面，这些方法非常有前景。

我想我通常不喜欢将神经科学和中枢神经系统与深度学习进行比较，但至少对我来说，进化是导致许多不同形式的智能的过程之一。将这些来自自然生物学的灵感与合成生物学混合起来也可能会有所帮助。是的，这几乎就像我们在这里谈论一个抽象的概念，这是一个组合的哲学。

对。我们训练一个语言模型，它学习统计分布。我们第一次这样做时，有一个很长的尾部，我们捕获了很多复杂性，而这种复杂性会随着时间的推移而减弱。但是语言模型具有这样的特性，即使在第四代模式崩溃之后，

正如你所说，Chris，你仍然可以输入不同的输入，因为你得到了表示的组合，所以有一个锥体。输出空间仍然比输入空间大得多。然后是元级别，正如你所说，Rob，那就是我们在文化层面也有所有这些混合，这又创造了另一个复杂性的激增。

所以我想也许你可以争辩说，在某种程度上，我们失去模型中如此多的复杂性并不重要，因为它的使用方法是产生大部分复杂性的原因。是的。我认为输入分布本身具有足够的熵，例如，我认为我们可以使用当前的范式继续很长时间，我不知道模式崩溃是否会在实践中发生，只是因为像

人类所说、所问、所做的事情。这只是……

我认为会发生一些不可约的熵。我没有深入阅读你提到的那篇论文，我不确定他们是否在他们的采样系统中引入了任何外部熵。而在实践中，他们确实引入了。好的。他们只是从分布中随机抽取样本。是的。所以都是相同的分布，IID样本，完全一样。但是如果你可以使用人类输入的分布或人类熵的分布，

那么我们可能能够比论文预测的持续时间长得多。非常酷。你们考虑过在论文中添加课程学习吗？

在什么意义上？所以你正在生成所有这些代码示例。例如，你可以拥有一个库并进行检索增强生成，并将其用一堆东西作为种子，并学习如何将所有知识组合在一起的最佳课程。你明白我的意思吗？就像那里可能有一些研究途径。是的，当然。我的意思是，就像你说的那样。最后，我们提出了单个目标函数，对吧？但是存在你可以使用的不同可能性的档案。

我认为另一件非常有趣的事情，这可以追溯到我和克里斯也一直在做的一些相关工作，那就是看看你是否可以用时间依赖性来增强这些目标函数，对吧？并告诉它，好吧，你有一个训练范围，也就是这么多梯度下降步骤。然后看看 LLM 是否能够发现基本上执行此操作的东西。

自动课程隐式地，或者明确地说，如果你愿意的话。但在某种意义上，另一个方向是使用生成的客观函数的档案，并尝试使用馈入上下文的新的知识库（或其子集）来进行 LLM 发现的新运行，对吧？非常酷。所以罗伯，我们现在要谈谈你的论文，它是大型语言模型作为进化策略。

你称之为 LLM 黑盒优化论文。你能给我们一个电梯演讲吗？是的。我认为整个项目始于一篇不同的论文，我认为这是谷歌 DeepMind 的机器人小组撰写的，名为“大型语言模型作为通用模式机”。

所以在那篇论文中，他们有趣地观察到了这种现象，即在相当抽象的输入序列上进行上下文学习。例如，他们优化了猫竿控制的策略，其中状态基本上表示为整数序列。当我看到 LLM 可以进行策略改进时，我想知道，好吧，也许 LLM 也能够进行更通用的黑盒优化。

所以这的起点基本上是看看我们是否可以用抽象的方式来表示数值黑盒优化问题，这允许大型语言模型基本上应用上下文学习并优化这些函数。所以我们在论文中展示的是这确实是可能的，并且取决于

语言模型、提示设置和您提供的上下文信息的组合，您可以看到不同的性能结果。是的，目前这可以扩展到中等规模的问题。因此，与以往一样，进化优化不适合优化类似 Transformer 的架构。但在没有梯度可访问的情况下，您可以将其应用于，比如说，最多 50 维的优化问题。MARK MANDEL：非常酷。你能勾勒出架构吗？

是的，基本上它的工作方式是，我们使用一组提示策略，包括从少到多的排序，并提供在上下文中的函数上进行的适应度和评估。通过以某种改进的顺序对信息进行排序，LLM 可以推断出哪些步骤在之前的评估中是有益的。

然后继续前进，对吧？有趣的是，是的，我们看到这可以胜过用于黑盒优化的传统算法。我认为这可以追溯到我们之前讨论过的论文 Disco Pop，其中 LLM 似乎具有非常好的归纳偏差机制

用于进行智能探索和开发。是的，我认为这里另一件有趣的事情是，我们正在谈论使用语言模型。我的意思是，这些是语言野兽，你现在让他们为数字等非常抽象的事物提供直观的指导。我的意思是，我们可以认为 LLM 某种程度上是许多模态的通用表示形式吗？

是的。当我阅读这篇论文时，我真的很兴奋，因为我想，好吧，这不仅仅是随机范式，因为为了推断这些改进序列，你需要进行抽象推理。所以对我来说，

我认为只要你可以将事物表示为具有某种结构的字符串，LLM 就能够识别，在给定足够上下文的情况下，某种模式。我认为对于某些设置，这可能很有用。对于其他设置，可能存在更合适的算法。但对于黑盒优化和闭环优化代码，这无疑是一个有前景的范例。你谈到了随机鹦鹉。

你目前对这方面的哲学是什么？与我们之前讨论的内容类似，我实际上并不认为这有多重要。因此，鉴于它们是随机的，我们处于选择如何元生成新概念的驾驶员席位，并且它们可以使用某种提示技术在概念之间进行插值，我们可能只是通过这样做就能生成大量新知识，对吧？所以回到我之前做的艺术类比，我认为插值

在这一点上，在一个超大型高维空间中，已经相当多了，就我们可以为社会带来的价值而言。非常酷。非常酷。在你的论文中，你说在某些情况下，较小的模型实际上优于较大的模型。告诉我们这方面的情况。

在论文中，我们对不同的语言模型进行了比较，就像你做的那样，对吧？所以这是今年年初，去年年底。那时，我们正在使用 GPT-4。我们正在使用 LAMA-2 模型套件。我们发现，当在大量黑盒优化任务上进行比较时，较小的模型往往表现得相当好，除了 GPT-4 之外。

对我们来说，这可能是对 GPT-4 的混合架构、专家混合设置的非常隐含的证据，即单个专家可能实际上远小于 4000 亿个参数。是的，推断为什么较小的模型可能更擅长在抽象序列上进行上下文学习，这很有趣。

可能与这些系统的过度训练和训练不足有关。但目前，我只能对此进行推测。但这却是一个有趣的发现，因为这在谷歌的 LAMA 和 Palm II 模型中都发生了。你发现对这些教师算法轨迹进行微调使模型变得更好，对吧？而且

我认为不可能以其他方式做到这一点，会有其他方法吗？我的意思是，如果你真的可以访问整个模型训练架构，你能否以某种方式将这些知识灌输到预测架构的其他地方？我认为有

Johannes van Oswald 的相关工作表明，基本上 Transformer 模型可以学习如何进行梯度下降。他们明确地或某种程度上明确地为此进行了训练。这不像获取语言模型并将其部署并显示它进行梯度下降，而是训练一个 Transformer，然后隐式地产生梯度下降。所以我认为肯定有一些想法可以训练某种训练分布或训练范式，以使这些系统

更能够进行抽象和上下文学习。但我认为这也可能会带走一些创造力，对吧？这始终是关于你到底想自然地融入多少的问题，以及你认为或希望他们在自己的训练过程中会

被采用或发现。所以正如你所说，在论文中，我们使用了由教师算法生成的优化轨迹，并用它们进行了少量微调。这在某些任务上有所帮助，但在并非所有任务上都有帮助，对吧？所以我认为很明显，就像

我们某种程度上可能在训练分布中烘焙了过多的归纳偏差，存在这个问题，我的意思是，当我们处理数字或一般离散化时，即使像标记化也可能是一个问题，我的意思是

告诉我这方面的情况。当然。例如，当你查看 LAMA2 标记器时，某些数字在生成标记器的语料库中的表示比其他数字更多。对。例如，我认为数字 1 到 50 都用它们自己的标记表示。对于 1950 年到 2020 年也是如此。对。这很有道理，因为它们在训练语料库中更频繁。

但特别是如果你使用浮点数，这可能会导致一些伪影，例如某些数字比其他数字分配更多的标记。当你的目标是从 LLM 中尽可能多地提取上下文学习时，你希望拥有标准化的标记序列。

因此，这使得系统更容易推断模式，而不是标记数量灵活。因此，作为这样一个系统的开发者，问题就变成了，你如何设置表示或抽象表示以最大限度地从 LLM 中进行上下文学习？我们发现某些整数离散化比使用浮点数效果更好。但最近当我尝试使用它时，一些

新的前沿模型实际上也能够直接处理浮点模型数字。因此，随着我们使系统更强大和更健壮，这可能会再次发生变化。

是的，这些见解以后也可能过时。还存在这样一个问题，即语言模型在预训练期间学习所有这些丰富的知识。其中有多少是必要的？因此，其内在知识与例如进行思维链之间的平衡是什么？这是否意味着我们原则上可以拥有更小、更愚蠢的模型，但提示却非常巧妙？是的。

我认为这是一个非常有趣的问题，鉴于现在围绕小型语言模型的炒作，以及大型前沿模型是否将统治整个经济，或者小型参与者是否可以使用小型模型发挥作用的问题。我认为实际上，当涉及到非常具体的任务时，例如黑盒

例如优化，正如我们的论文所示，较小的模型往往表现良好甚至更好。所以我认为我们有可能最终进入一个小型模型可以更专业化的世界，我们不需要在上面花费那么多计算资源。但另一方面，

是的，你可能同时切断了某些类型的知识和事物，作为 LLM 的设计者，你可能会认为或认为这些知识和事物是无用的。但 LLM 最终仍然可能感谢在其训练数据中拥有某种东西，以便以后进行小的扰动、突变。对。所以我认为总的来说，就像

至少在 Sakana，我们有这样的概念，即学习总是会获胜。理想情况下，在一个理想的世界中，我们会找到一种不同的方法来让这些更大的系统表现得更专业化。我认为在 AI 中心，以及在 Disco Pop 中，都有一些提示工程在进行，这通常可以走很长一段路。

在你的工作中，你谈到了离散化连续参数。从哲学上讲，这意味着什么？你认为离散世界是理解现实的最佳方式，这就是我们理解世界的方式吗？在我们的例子中，离散化意味着搜索空间的某种分辨率。所以在二维空间中，你有一个网格，每个网格都由数字组合表示。

当你将其扩展时，体积呈指数级增长。因此，这种离散化存在固有的局限性，这使得它难以扩展到高维空间，例如。但如果你考虑一下我们如何训练或——

就像大型语言模型一样，我们基本上将所有东西都视为位，是的，我认为它存在局限性，因为你不能轻松地扩展到高维空间，并且使用浮点数和潜在的低维投影可能更容易或更好，但也存在优势，例如你以某种方式约束搜索空间，对吧，所以

我认为关于离散表示是否优于连续表示的问题，目前还没有定论。我认为整个深度学习革命表明，连续表示可能具有优势，至少如果你正在进行梯度下降的话。对于其他事情，可能有所不同，对吧？所以如果你进行黑盒优化或进化优化，离散结构可能更容易摆弄或扰动，对吧？

是的。你对这种进化元优化的复杂性有什么看法？我的意思是，如果你看看像 OpenAI 这样的许多超大规模公司，我的意思是，是的，他们正在进行这种疯狂的工程，构建一个全球分布式系统，但在某种程度上它更简单。是的。

对。你知道，他们只有一个模型，他们只是在做随机梯度下降等等。对于超大规模公司来说，部署你正在谈论的这些方法会是什么样子？我认为实际上，在这一点上，对于 GPT 风格的训练也正在进行某种类型的进化优化，对吧？从某种意义上说，有一个社区。哦，是的，是的，是的。博士生已经发现了某些默认超参数，并以非常具体的方式播种了搜索空间，对吧？是的。所以我认为……

我们可以讨论每个项目的进化优化，我们也可以讨论人们将时间和资源投入到这些系统中的集体智慧的进化优化。所以我认为，如果 OpenAI 必须从头开始，并且 Atom Optimizer 没有开源发布，他们可能不会像现在这样。所以我认为这是对这个问题的一个方面或一个答案。另一个是——

当你考虑我们的 Disco Pop 论文时，你实际上并不需要大量的候选解决方案来发现新的东西。克里斯已经说过这些提案正在使用非常智能的探索。所以我们甚至可以使用单个候选解决方案，对其进行评估，然后在循环中进行，基本上更新上下文，获得新的——

新的候选者。所以我认为我们在自然界中拥有的进化规模不一定是我们可以用 GPT 规模的模型做到的事情，当然，因为这太昂贵了。但我们总是可以尝试在更小的规模上进行进化，然后看看我们在较小规模上发现的东西是否可以推广到较大规模。例如，在克里斯和我之前做的工作中，我们研究了——

元优化进化算法本身，在元元循环中。我们发现你可以在非常小的任务上做到这一点，并且基本上在这些低维任务上优化算法，然后稍后将其转移到更高维的任务。因此，只要你以某种聪明的方式选择你发现改进信号的元任务分布，你就可以继续并将此转移到更复杂的设置。我认为

特别是当涉及到优化大型语言模型的数据混合以及更多地考虑如何设置激励思维链推理或更一般推理的数据时，进化优化尤其有空间。因此，你可以考虑这样的设置：你使用某种类型的 Transformer 或算法生成的特定任务分布来训练非常小的语言模型，然后

你优化该 Transformer 以使下游训练的 Transformer 基本上具有上下文推理能力。所以我认为，尤其是在合成数据和较小进化机制的背景下，有很多东西可以发现，这些东西可能会转移到更大的方案中。

我完全同意，这项工作真正令人兴奋的是，我们可以从小规模开始。我们可以发现完全新的做事方法。然后我们可以将其转换为经典方法（如果你愿意的话），然后大规模地进行生产。是的。

但我对生物学上合理的智能非常兴奋。我首先希望这种东西能够大规模运行。我希望这个世界的反人类主义者能够构建这个有生命、有呼吸的系统，它进行多层次的元优化。从软件工程的角度来看，这对我来说似乎是一场噩梦。

我想知道我们是否会永远跨越这个门槛。我不知道。目前很难说，对吧？随着摩尔定律在某种程度上继续下去，至少在伦理领域，我认为每个人都有可能拥有自己的个性化 AI 助手，对吧？我们将看到这些形式的集体智慧。我不知道。

我认为我也更喜欢这种未来，因为它允许更多个性化和用户适应。看到进化不仅在生物规模上运行，而且在合成规模上运行，这让我非常兴奋。因为最终，就像我之前说过的那样，自然进化是我们唯一确定的导致一般智能（以我们的形式）的过程。

对吧？所以我认为有很多东西需要学习和转移，但也可能有很多东西需要丢弃，对吧？你不想复制所有东西。我认为我从 Sakana 首席执行官 David Ha 那里也学到了一些东西，就像

他们有一篇名为“感觉神经元”的论文，他们基本上研究了 Transformer 如何工作、学习或元学习像素突变表示上的广义策略。所以人类在许多方面无法完成这样的任务，而计算机可以，对吧？所以有一整套任务，我们人类由于进化而印刻的归纳偏差实际上无法完成。

因为这需要我们花费大量时间来适应，因为我们已经处于认知系统的局部最优状态。而机器可以做到这一点，并且潜在地，是的，为了使这些机器不断改进，必须发生不同类型的进化。我不敢相信我们之前没有谈论过这个，但你正在为 David Hart 工作。是的。

David Haar 当然在谷歌大脑工作，对吧？他创建了一家名为 Sukana 的创业公司。这就是我们喜欢的 AI。节目的粉丝们会知道我们喜欢它。为 David 工作是什么感觉？总的来说，你们在做什么？我可以告诉你，我一生中从未如此快乐。就像，我没有伪装任何东西。在一个创意和非正统思想得到推广的地方工作真的很好。

而且，还有很多自由来执行它们。所以 Sakana 是一家总部位于日本的创业公司，由 David Ha 和 Lyon Jones 共同创立，后者是 Transformer 论文的合著者。是的，这真是一场冒险，不仅在技术层面学习，而且在业务层面学习——

是的，这家公司和这个疯狂的时代。所以我认为至少对我来说，将 Sakana 与谷歌等地方区分开来的是，我们正在尝试做其他人没有做的事情，对吧？我们不参与语言模型预训练游戏，但我们基本上试图

走其他人不一定非常愿意投入大量资源的道路。我认为我们因此填补了社区当前的一个巨大空白。但我对这项工作真的很兴奋。为什么其他人不做这件事？我认为我们作为一个社区，可能在某种程度上陷入了元科学的局部最优状态。

线性前进的道路只是尝试进行扩展，筹集风险投资资金，并通过预训练 SOTA 模型两周然后拥有一个新的 SOTA 模型来烧掉它。这很难，而且也不容易，因为你需要在某种程度上具有挫折容忍度，对吧？所以如果你认为推动扩展定律在某种程度上是一件容易的事情。这是一件非常线性的事情，对吧？在工程层面很难，但在概念上很简单。

简单地说。所以是的，也许这就是原因，但我只能推测。我认为 David 对我的博士学位产生了巨大的影响，就灵感而言，以及将 Jürgen Schmidhuber 的部分想法付诸实践，并自己做很多令人兴奋的事情。

对我来说，他是一个指导这项工作的好人。Leon 是 Transformer 的共同发明者，对吧？所以公司有很多技术专长，还有很多聪明和非传统类型的人在工作。

在那里工作。是的，我正要提到 Schmidt Huber。他研究过诸如哥德尔机和人工好奇心之类的东西。我的意思是，很久以前他就一直在思考这些事情。当然，David 也与 Juergen 做了很多工作。我想也许分界线是

我相信，而且我认为你也相信，我们应该向自然界寻求灵感，对吧？你知道，集体智慧是一个很大的因素。而且，你知道，这有点像仿生智能。而另一种观点是，智能是一种纯粹的、简单的

原则集，可以扩展，而扩展会给你带来一切，这似乎标志着我们可以谈论个体规模上的智能，我们也可以谈论集体规模上的智能，对吧，而且……星期二，Allison Gopnik 做了一个关于某种……是的，儿童发展以及社会结构如何真正……

为因果实验和了解世界提供了空间。如果没有其他代理可用，这是不可能的。我认为如果我们真的想要获得能够在终身范围内适应的系统，我们需要一些社会结构来提供安全保障，但也提供信息不对称。所以婴儿不能同时了解世界上的所有事物

但它需要父母基本上保护它免受世界上某些事物的伤害。如果你仔细想想，在我大概 10 岁之前，我认为世界是一个完全美丽和幸福的地方。我无法想象犯罪的存在。这些保障措施也使非常集中的学习风格成为可能，这可能只有

如果其他代理参与其中。所以我认为集体智慧在复杂系统中也是一件令人着迷的事情。我认为有一些智能部分只能通过

朝着那个方向前进才能解锁。- 无论如何，Chong，你写了这篇论文，“代理系统的自动化设计”。你能给我们一个电梯演讲吗？- 当然可以。所以这是 Jeff Klune 实验室的 Seung Ran 领导的一项有趣的工作，也与 Jeff Klune 合作。这项工作非常巧妙地符合这种由 LLM 推动的发现的寒武纪大爆发。所以与“Disco Pop”等作品也密切相关

还有像 Eureka、Prompt Breeder 这样的东西，也是来自 Fernando 等人的作品。这里的要点是，你知道，我们可以将这种由 LLM 推动的发现的当前范式带到多远

我们想在这篇论文中研究的用例是，LMAgents 现在无处不在。所以像我们稍后要讨论的 AI Scientist 这样的东西，这是一个我们痛苦地手工制作了数月的 LMAgent 系统。像 Cursor、像这些文献调查工具这样的东西，所有这些都是 LMAgent 系统，而且至关重要的是，所有这些都是 Python 代码。

LLM 现在已经到了这个地步，它已经变得非常元。我喜欢描述它的有趣方式是，LLM 代理现在正在编写 LLM 代理。与 LLM 编写偏好损失函数一起，它变得超级元。因此，随着 Sonnet 3.5、GPT-401 等能力的增强，这些系统现在可以发现数百行长的代码片段。

这涉及所有遗传系统。所以，你知道，我们有传统的结构，例如思维链、辩论、rag 类型系统来回答。我们想回答的问题是，我们能否从头开始设计所有这些，并根据例如 MLU 性能、基准性能来发展这些系统？

在极限情况下，我们希望有更抽象的东西，也许还有人类的偏好。但是我们能否从头开始设计所有这些系统？我们得到了一些非常有希望的结果，例如在 ARC 挑战中，

我们表明，从这种方法中产生的代理是非直观的，你知道，我们可能对如何设计 lm 代理系统有一些直觉，你知道，我们总是认为逐步思考可能是一个好方法，但也有奇怪的东西，例如，如果你不喜欢回应，我会非常生气，你也可以这样说，就像 lms 可以搜索这个一样

整个空间，所有提示、所有工作流程的图灵完备空间，发明新的工具、使用代码的新方法，这些方法可能是人类没有想出来的。还有所有这些主题。以及我们之前讨论过的所有进化类型的工作，重组的各个方面。我认为像

到目前为止还没有涉及到的是这种偶然性，所以你知道，通过随机抽样，比如说我们抽样一千次，例如，我们可以随机得到一些令人惊讶的好东西，我们可以存档，然后在以后的迭代中，像这个进化循环一样，我们可以像这样建立在它之上，作为通往未来事物的垫脚石，是的，我非常喜欢垫脚石收集，是的，我喜欢这个，所以首先是

你所做的就是现在使用代码作为原语，当然，ARC 挑战的解决方案，它们似乎被一分为二，其中一些是归纳代码生成方法，而另一些只是转导方法，你只是做这件事，你没有中间的显式函数，你说了一些其他的东西，这很吸引人，搜索图灵空间，所以这些模型不是图灵完备的

好的。但是它们可以生成代码，所以在某种意义上它们可以搜索图灵空间，是吗？我不知道。你怎么认为？是的，当然。所以，我想，朝着，我猜是转导的东西，你可以想象，在代码中，我们的代理，

它甚至可能不像LM调用那样，它可能，你知道，从Hugging Face加载一些扩散模型，在那里尝试一下，得到LLM，比如解析扩散模型的输出等等。而且，你知道，在极限情况下，我们在论文中稍微讨论过这一点，但是，

你得到了这个像图灵完备的空间。如果，你知道，呃，代码编写代码来训练另一个LLM。显然，对于当前的计算预算来说，这现在非常不现实，但理论上，你知道，它可以训练另一个LLM来训练另一个模型，想出新的东西，嗯，来解决这个问题。呃，

远远超出了纯粹的LM调用。我是一个巨大的，你知道，我有点神经符号化的人。我，你知道，代码具有组合性。是的。对。你知道，它，它，它是图灵完备的。它可以做很多神经表示无法做到的事情。但是，但是我们越来越看到神经网络可以做很多事情。

我的意思是，它们在我们可以理解的方式上是有限制的。它们不能复制，它们不能计数，你知道，它们在很多方面都很愚蠢。也许我们会找到改进它们的方法。但是现在很多以前有这种直觉的人，认为我们需要生成代码，现在只是说，让我们跳过吧，伙计们。让我们直接做这件事。我认为对于像，你知道，例如，像工具使用，像将网络搜索集成到像……

这些代理推理工作流程中，以及集成像计算器这样的东西，例如，如果某种代理计算需要大量的计算，比如乘以大量的数字，进行大量的复杂数学运算。就像可能当我们达到像超级智能水平的神经网络能够做到这一点时，但我认为这些事情。

显然更适合于编码，比如集成这些东西，可能也包括基于神经网络的解决方案，我认为这很可能是未来。是的，我认为这是一个公平的呼喊。我想到的另一件事是，

如果你想进行多步推理，符号代码更具组合性，对吧？因为如果你仔细想想，如果你只是做一堆像，你知道，转导操作，它们可能不会很好地结合在一起。但在具有工具使用的多代理系统中，我们想要的是许多合理的、可理解的、可以链接在一起的构建块。我认为这似乎更适合代码。

是的，当然。所以，我们的一种灵感实际上是像Langchain这样的东西，例如。所以有很多可重用的构建块，可以组合在一起。在我们发现的许多代理中，实际上是两种代理夹在中间。

在一起，也许你有一个代理做出初始预测，另一个代理对其进行细化。这两个块非常模块化，实际上只是来自档案库的先前代理。你如何平衡探索和利用？就探索而言，基本上只是大量的采样

和变异，所以我们明确地鼓励你，你知道，跳出框框思考，你知道，使用来自机器学习邻近领域的知识，呃，试图将这些概念

整合到你的下一个设计中。我认为还有很多工作与克里斯之前所说的关于改变上下文的内容非常相关。例如，你可以注入大量的熵。例如，我们有新的阶梯式积累算法，也来自杰夫的实验室，比如Omni，它基本上有一个无限大小的档案库，例如，你只需不断地采样新事物，希望有新的组合。

我们发现这种策略几乎可以无限地扩展。我们运行的系统可以发现新颖的工件，也许超过5000代，并且由语言模型判断，即使在第5000代，一些工件仍然与之前的工件明显不同。所以我认为将这种熵注入上下文会有很大帮助。

在平衡利用方面，我想，人们担心，如果我们过度拟合基准分数，例如？有趣的是，我们发现，即使是我们发现的这些庞大的代理系统，它们的迁移能力也非常好。所以在我们的ADAS论文中，我们试图使搜索尽可能高效。我们有一个高级代理，这是我们能找到的最强大的编码代理。

在内循环中，我们有一些像GPT-3这样的东西，非常便宜，运行所有评估的速度非常快。我们发现，例如，我们针对一些数学问题在GPT-3上优化了一个代理系统。它生成这个非常通用的、超强大的推理循环，然后转移到GPT-4，转移到其他数学领域，令人震惊的是，它转移到文学任务。所以就像思维链、辩论，

像基于rag的工具使用，这些东西都是非常通用的，并且适用于各种任务。我们发现我们的代理也同样具有很好的迁移能力。所以我们有这种极端的探索，我们认为我们可以扩展得非常远。我想在某些时候，我相信你会从试图扩展这个规模中获得递减的回报，并且，你知道，在某些时候，你试图从石头里挤出血液，并从基础模型中获得可能还不存在的性能。但是

据我们所见，你可以走得很远，发现非常通用的推理结构。你提到了辩论，这是一个很好的小题外话。我采访了Akbar Khan。我认为他的辩论论文是今年的年度论文。很棒的论文。这就像一个非常好的元话语。

不是吗，对于代理？也许解释一下这是什么。但我的意思是，还有其他类似的东西吗？我认为辩论总的来说是这样的，你知道，与其只是向LLM提问然后接收回复，你可以，例如，尝试进行多轮对话。所以，是的，

你基本上让代理以某种对抗性的方式建立起来，你知道，一个人提出答案，另一个人批评，这种循环每个人都批评，看看你是否可以在最后达成共识。我们看到这些结构实际上在我们代理优化的过程中被发现了很多。另一个我非常喜欢的，我们的

优化发现很多的是专门的专家。例如，你知道，在科学中，我们从跨学科合作中获得了许多成果，人们有不同的观点。我们的代理发现，你知道，你提示人们

有点像在辩论中，你提示代理专门批评效率，专门批评可读性，专门批评解决方案的准确性。然后这种有针对性的辩论，而不是一般的批评。老实说，甚至很难将我们系统生成的一些系统描述为像

20个调用全部链接在一起。中间有一个效率专家，一个可读性专家，一个准确性专家。之后还有辩论。我看着这些设计，我想，我甚至该如何开始想出这些结构？我觉得其中一个

主要希望是，因为我们在这个图灵完备的空间中运行，我们是否能够通过这种框架发现新的辩论，发现这种新的框架

这将导致，例如，明年的最佳论文奖。所以我非常喜欢构建代理系统。我使用actor模式。所以我总是根据我的直觉做这样的事情，你知道，所以一个actor有一个管理器，我经常有批评者，我有一个地址actor，你知道，像我有，你知道，人本主义actor，我有像谷歌actor等等。而且，你知道，即使我一次只处理一个actor，我也在构建这个分布式信息流系统。而且，你知道，

有时会出现问题，对吧？因为如果你仔细想想，这是一个活生生的系统。有时你会得到这些循环，或者你会得到故障模式，你会得到奇怪的东西。我想随着时间的推移，你会对拓扑结构、设计模式以及如何做到这一点建立直觉。你说你的工具可以自动生成这些模式。但我只是在想……

因为这些东西就像它们的代码，它们可以永远运行，你可能会得到这些奇怪的，你知道，退化行为。你对此进行验证了吗？或者发生了什么？针对这种退化问题的一个简单的解决方案可能是，你知道，设置一个时间限制。这也是我们想要添加到像ADIS这样的系统中的东西之一。就像，你知道，你不仅要返回一个像这样的答案，

最大化基准分数，而且还要有一定的成本，呃，也许还有一定的运行时间。而且，我真的很喜欢这一点。就像，你知道，我们真的在发现，我们如何在这里以一种有效的方式组织计算？这有点像，呃，

如果你把所有这些代理想象成公司里的员工，公司会发展出最能利用其现有代理的结构。我们也看到了这种事情的迹象。从极限来看，我认为像ADIS这样的东西，你可以……

你可以基本上尝试计算如何使用，比如说，1000个不同的actor，所有这些actor都被提示去做不同的事情，并以正确的方式智能地组合它们的输出。就像，我猜，你如何组织一个公司一样，例如。所以我们似乎偶然发现了某些有效的拓扑结构。

因为我们有这个知识转移瓶颈，对吧？对我们来说，高效地转移信息非常困难。所以，你知道，大多数公司都是等级森严的。但我只是想知道这是否是一种自然现象，因为如果你仔细想想，AI代理可以以非常高的带宽传输信息。

对吧？是的。所以也许我们可以鱼与熊掌兼得，在AI世界中，我们可以同时运行每种拓扑结构，并以某种方式共享信息。所以你认为它会类似于现实世界，还是会朝着完全不同的方向发展？绝对的。我认为这就是这种进化循环的重要性。就像我们并不确切地知道，我们只是将我们对如何最好地工作的人类直觉

导入到结构计算中，我认为它不会很好地转移。例如，你知道，像人类非常有限，例如，受到工作记忆的限制。就像，你知道，我认为我们的工作记忆大约是六个左右。

你可以在我们数学定理的结构中看到这一点。你可以在报告结构中看到这一点。但是AI代理，我真的不认为受到这种限制。例如，现在的Gemini具有数百万个token的上下文长度。理论上，这可能像一个有1000个下属的人类经理。

这种事情，比如整合像，嗯，来自成千上万的东西的输出，你知道，你可以想象，如果一个人能做到这一点，你会将公司的等级结构缩减，比如，我不知道，很多，很多层。而且，呃，这可能对每个人都有好处。嗯，我认为AI代理能够更好地使用这些结构。我认为，是的，我们需要进化。我们需要，呃，

基本上只是重新运行我们在人类社会中拥有的那种文化发现循环，来制作所有这些公司结构，比如写所有这些关于如何创建你的初创公司等等的博客文章，并让AI代理自己发现这一点。

我们如何将Kenneth Stanley的想法带到这里？因为我担心的一件事是，如果代理之间的带宽连接非常高，它会倾向于构建更单一的系统。如果Stanley现在在这里，他会说，我们需要让代理寻找新颖性，所以他们需要遵循他们自己感兴趣的梯度很多很多步。而且，你知道……

我想这是否是我们应该编码的东西，或者你是否看到这种事情正在发生，我们有这样的元素，你知道，我们确实说，你知道，跳出框框思考，但最终我们还是受到……基准分数的指导，而且……我们梦想中的一个例子是真正地……

呃，沿着这种完全开放性的道路走下去，放弃目标，比如跟随你对有趣事物的直觉，所以我们的一种想法是，你知道，我们现在有这个系统，用于优化代理来完成一项特定任务，我们可以有另一个系统，你知道，提出具有挑战性的任务，比如……所以真的不像专注于一个目标那样，真的试图做这种肯·萨利经常谈论的黄金转换……

我们可以有，比如说，一个提出者代理来设计越来越具有挑战性的任务？也许这个代理也进化了。我们可以进化系统来应对这些新的挑战吗？我们可以在循环中运行这个吗？而且，你知道，随着挑战越来越大，完全开放性的梦想，我们可以将这些东西一起共同进化吗？我认为这种方法有效。

它在未来获得计算能力来实现这一点时将会非常有成效。是的，我对此很矛盾。我喜欢阅读关于设计模式的软件工程书籍。我在我的代码中使用它们，你知道，像中介者模式或观察者模式。而且……

你知道，也许这是错误的。你知道，也许这些模型比我们聪明，它们可以想出更好的拓扑结构。我想到的另一件事是元代理本身就是一个LLM代理。所以你不能像，你知道，创建一个元元代理吗？好问题。也许我会在几个月后得到结果时回答这个问题。有趣。但是是的，完全正确。例如，

这实际上与克里斯和罗布之前所说的内容非常相关。他们正在进行元元优化。

我认为实际上最近有一项名为Stop的作品，在Calm获得了口头报告。其想法是，他们有一个非常简单的任务，你为其设计一个LM代理。你搜索此任务的更好程序。所以这里有一层。然后你还有一个代理试图改进搜索过程。

这就像超级像真正走向一种施密特-胡伯、哥德尔机器式思想。就像你改进内部任务，你改进外部循环，永远持续下去，递归自我改进。我倾向于认为在某些时候我们会像从石头里挤出血液一样。我不认为这是将要进行的完全递归自我改进循环

成为ASI，我们非常受模型能力的限制，但是你可以让这个元元优化达到这个模型所能带给我们的程度，然后做一些像梯度更新这样的事情，优化我们找到的最好的东西，继续这个循环。但这确实触及了智力的核心。我坚信它是相当情境化和专门化的。

当然，通过生成这些代理系统的经验，你会看到拓扑瓶颈，你会看到像，你知道，专业化的地方等等。所以，我的意思是，在这个设置中，拥有ASI对你来说意味着什么？我认为我的愿景与我之前提出的非常相似，只是

就像人类文化和社会一样，我们不断为自己找到新的和有趣的挑战，并朝着这些挑战努力。我认为这种目标转换，没有预定义的目标，

对于这一点来说确实至关重要。而且我想看看我们是否有一个系统，它基本上可以不断地提出，比如积累一个技术树或技能树，它可以做的事情。然后只是不断地构建这个，希望永远持续下去，就像人类社会和文化一样。

所以也许不仅仅是……即使是这种东西会发现什么也很难说。这远远超出了基准优化。所以它就像人类文化。很难预测下一波……

你得到了下一波创新，然后是建立在那些东西之上的东西，然后你知道，大约10年后，它看起来像魔法和巫术，完全无法想象，所以我无法预测……那最终会是什么样子，但我认为这是我们需要实现完全像ASI能力的系统，让我们谈谈你今天要介绍的另一篇论文，智能Go探索，你能解释一下吗？

这篇论文。智能Go探索也是与Seung-Ran Jeff合作的，与他们合作也很棒。我们来自，我想我们从这个Go探索算法开始。所以在强化学习中，问题通常是探索，我们如何找到通过环境的良好路径，让我们进入良好的状态？

Go探索是2017年的一项非常有影响力的工作，我相信，其想法是，实际上与这些进化算法非常相似，你有一个已发现的有趣状态的档案库。例如，你不断地从档案库中选择状态进行探索，采取随机行动。然后你将你发现有希望的状态放回档案库中，并循环直到你找到一些好的东西，然后你可以巩固这些轨迹

之后。Go探索的一个关键障碍是你必须在你的环境中有一个非常好的有趣函数。例如，Montezuma的复仇，这曾经是强化学习中的一个重大挑战之一。

GoExplorer是最早解决这个问题的算法之一。你必须有培根，就像，你知道，下楼是好的。找到钥匙是好的。在环境中拥有更多的代理是好的。随着现代基础模型的出现，我们有了这个令人难以置信的机会，那就是，

许多这些游戏符合人类的直觉。我们对有趣的事物有一种直觉。我们进入一个电子游戏，我们知道我想前进，我想获得新东西，我想收集以后可能对我有用的有趣东西。我们可以使用它作为有趣性引擎来代替手工设计启发式方法吗？

所以我们着手去做这件事，基本上是受到像Omni这样的作品的启发，Omni基本上也试图使用语言模型对有趣性的直觉来进行任务选择。但这有点像利用它的有趣性直觉来发现环境中的新状态。我们通过遵循基础模型对有趣性的直觉，在各种困难的探索RL环境中获得了非常好的结果。

我认为，对于复杂的探索环境来说，基础模型将是未来的一大挑战。你可以想象，例如，甚至将科学发现重新定义为通过非常大的搜索空间进行探索。你需要存档阶梯式步骤。所有这些都与AI科学家这样的LM发现工作密切相关。

而R1，我想，是将这种原则应用于困难的探索强化学习环境的非常具体的应用。是的，这让我难以置信的是，LLM在创造力方面如此出色，因为Sabaro Kambahati过一会儿就要来了。当我上次和他交谈时，你知道，我对他有点说，我认为LLM存在创造力差距。

确实存在推理差距，而且时代精神正在转变，所以我与欧洲的很多人交谈过，他们说，不，实际上它们确实具有创造力，并且在某种程度上确实具有推理能力，只是有点像，你怎么认为这是如何工作的，它如何将其表示泛化到像Montezuma的复仇这样的东西？当然，所以Montezuma的复仇是我们之前没有尝试过的东西，但我们真的想尝试，但是

LLM在游戏中拥有如此多的人类先验知识，比如什么很重要。在像Montezuma这样的游戏中，关键是探索更多，收集有用的物品，下楼，据我回忆。

我认为这些探索的先验知识真正地融入到模型中。我们知道这些事情是好的，人类对此类事情有一种直觉，我认为基础模型已经获得了许多这些知识。因为这些游戏在LLM的训练数据中得到了超级表示，或者对这些游戏的讨论得到了超级表示，所以我们做得很好。

那么另一个问题是，例如，假设你采用了当前的LLM，然后，我不知道，你把它们放在，比如说，一个科学领域，一个将在10年后出现的科学领域，你知道，没有人甚至知道这些术语了。我认为这将是一个非常不同的问题。

然后，你知道，它更像是你必须重新训练并将你的直觉转移到这个新的环境中。我认为，你知道，如果你带一个古希腊人来，并把他放在这里，可能需要他一年时间才能适应21世纪。但我认为最终他们也能够做出同样的，发展出同样的对有趣性的直觉。

虽然需要一些努力，但我一会儿要问你们关于科学家论文的一件事是，如果你知道如果你回到牛顿时代，或者其他什么时代，你给他一本21世纪的物理学书籍，他不会知道该怎么处理它，他不会理解它，对吧，因为它使用了所有这些术语等等，但这归结于抽象，你知道，有一些基本的，你知道，原则，解释了宇宙是如何运作的

即使你查看一些Arc解决方案，其艺术之处在于用语言描述问题是什么样的。

你知道，就是这样，所以也许在提示中，你正在进行某种类比推理。但即使要进行蛋白质折叠和未来的科学发现等等，肯定也存在某种地图，可以用语言模型可以理解的方式来描述它。100%。是的，我认为这完全是关于为手头的任务调整正确的抽象。而且像

你知道，像未来的科学一样，我认为这些通用的推理结构有点像，比如辩论，我想，在各个时代都转移得很好，只要你能对当前的问题做出正确的抽象，我认为我们可以应用很多，

我们已经学习到的这些结构。目前，它只是文本，对吧？其他模式呢？我们最初的版本只是文本，但现在我们也有基于图像的环境。所以现在我们表明，我们的算法实际上可以在例如视觉网格世界中运行。在许多方面，实际上，我认为这可能更容易。例如，对于玩游戏的人来说，

这些网格世界的一些技术表示非常复杂。就像，你在下面，你在地图的中心，你看到一个门在东边一个街区，钥匙在西边两个街区。即使对于人类来说，这也很难推理。但是你得到了这张图像，例如，棋盘的图像。你可以非常清楚地说左边有一些东西，你只需要向左移动。 前面有你以前从未见过的有趣的东西，所以我认为

在电子游戏中仍然有很多关于VLM推理的工作要做，但有一些非常好的最新工作试图为这些游戏设定LM基准，希望我们能看到未来的工作试图对这些模型进行RL，以使它们更适合它们。我认为已经有大量的工作实际上正在调整VLM等等，用于这些RL环境。

而我们的东西实际上只是建立在它之上。就像你有一个VLM可以在环境中行动一样，例如。我们的东西是一种更高级别的循环，它基本上说，缓存你发现非常有趣的东西。它可以组合在任何代理架构之上。我只是在想未来，所以当我们在现实世界中使用这样的算法时，

我认为它变得不那么关注目标，而更关注品味、风格、一致性、伦理等等。也许即使在当前的设置中，你知道，它可能会赢得游戏，但它可能不会以一种非常美观的方式去做。

令人愉悦的方式。那么你对一致性以及将风格、美学和价值融入算法中的看法是什么？我认为，嗯，像遵循语言模型一样，对有趣性的直觉。就像我们在论文中一样，我们然后将其投影到像，你知道，在环境中获得高回报，

例如，语言模型可能会发现很多它认为有趣的东西，环境中的大量轨迹，但随后它可能需要通过一个过滤器，例如，对风格的人类理解。我们可以设计奖励函数来对它创建的东西进行评分。我认为这真正体现了我们强加于这些系统上的价值观，例如人类监督，如果我们，我想这有点像，你知道，你让一个研究生，例如，在一个科学问题上工作，或者其他什么，他们找到了10条不同的路径。然后像主管一样，例如，选择一条让研究生进一步追求。另一件事是，它可能不是

目前这还是个问题，因为我们处理的是相当抽象的推理形式。但对于现实世界的应用，你认为我们是否会在某种文化偏见和语言模型将其导向特定方向方面遇到问题？是的，百分之百。例如，

一种失效模式，我们假设的失效模式，例如，这是一个非常牵强的例子，但如果语言模型只训练绿色，而环境中所有有趣的路径都是绿色的，那么你就会期望像智能Go-Explore这样的东西会真正放大你的客户端偏见，而找不到

正确的东西。我认为这与对语言模型进行去偏见的工作密切相关。也许有一些去偏见的训练元素，某种监督。我们必须收集这些事情的纠正数据。但我们必须持续监控这些事情。而且我认为也没有正确的答案。例如，

我想，偏见无处不在。我想我们需要适应性地纠正它，就像我们看到它发生一样。你们编写了AI科学家，用于完全自动化的开放式科学发现。这在推特上广为流传。我的意思是，这被世界各地的报纸报道过。这非常令人兴奋。但也受到了批评。但我们不妨从开放式部分开始，例如，

告诉我们这篇论文的内容。一句话概括，我们试图使用大型语言模型来撰写新的论文，希望最终对社区有所帮助。我认为重要的是，它基本上源于我们之前讨论的所有工作。在许多方面，就像这个Go-Pop展示了我们可以编写代码并在那个层面进行发现一样。基本上，Chris有这样的洞察力或直觉，也许我们可以超越。也许我们可以自动化整个循环，从想法生成

到编写实验代码，执行它们，然后最终根据日志和数值结果撰写论文。我认为这是我在元科学层面上的关键见解之一。这完全是关于时机和认识到这些系统可以实现什么。我认为——

是的，影响在某种程度上还有待观察，但我们都很兴奋，因为我们有很多时刻都被我们发现的东西迷住了，我认为这是一个关键主题，我们不断地感到震惊，例如，我认为实际上，Christen的推特帖子有一些早期的例子，早期的东西并不是那么难以想象，例如

提出一个实验，运行它，写几段话。你知道，你需要什么才能得到一篇还算合理的论文？只需将这种事情重复几次，更深入地探索一些东西，尝试将所有这些与故事联系起来。我想，AI科学家的一件事是，正如Rob所说，这与时间有关。因此，我们已经看到，

随着AI能力的提升，我们看到它们被用于构思。斯坦福大学的人们一直在思考这类事情。大型语言模型可以产生与人类研究人员一样新颖的想法。有审查代理，有编码代理一起工作。为什么不把所有这些都串联起来呢？

我认为我们证明了将所有这些串联起来的这种概念验证。但现在有数千名研究人员正在研究每一个组成部分。因此，在明年，我认为随着

所有这些知识回到我们身边，我们再次将它们串联起来，我认为我们将看到美好的事物。是的，我认为Song也喜欢将此称为科学生成式AI的GPT-1时刻，对吧？而且我觉得这不仅仅是社区走到一起，改进每一个

系统的模块，而且，是的，未来前沿模型能力的提升，对吧？所以，是的，我认为对于这些类型的系统来说，我们正处于一个伟大的寒武纪大爆发时期。一件有趣的事情是，我查看了很多论文，至少从表面上看，它们看起来很棒。它们看起来很棒。我的意思是，如果你深入研究它们，你会发现一些问题。但一件有趣的事情是，

如果你让语言模型生成整篇论文，例如你让它用LaTeX生成一篇关于零冲击的完整科学论文，它将……

纯粹是陈词滥调。它在表面上类似于一篇科学论文，但它看起来很糟糕。然后下一步是，这是我们许多人都会做的事情，因为我们学习如何使用语言模型，对吧？所以我们使用光标，我们生成一个草图。我们选择一些文本，然后说，给我更多，你知道，你引入一些源数据，双击它，生成一个表格，改进它，改进它，改进它。你所做的事情有点像，你知道，谷歌地图的类比，你放大，

然后瓦片越来越小，我们监督这个过程，我们只是添加更多细节。所以这几乎意味着语言模型不一定不能做到这一点。它们只是不能一次性做到所有事情。

你需要做的是，你知道，放大，放大，基本上你所做的是利用更有效的计算，在需要的地方进行计算。而你们的工作表明，我们有可能实际上可以自动化整个过程。没错。你所说的如果有人参与其中也会非常酷。我们也想推动它们。我们可以完全自主地做什么？我认为最初的想法部分来自于Disco Pop，例如，

其结果本身就可以成为一篇论文，对吧？例如，如果你可以描述为什么它有效以及所有有趣的事情，发现损失函数可以成为一篇论文。我真正缺少的只是撰写，对吧？大型语言模型擅长写作。所以这很容易组合在一起。所以我想，是的，虽然生成的论文和细节存在问题，但我认为基本能力是

几乎或大部分都存在。好的，关于双重拥护者。我在Hacker News上阅读，最受关注的评论是这个。因此，整个社区和社区内部的人们并非仅仅通过阅读论文就能学习。我们通过构建事物、运行我们自己的实验、弄清楚其他环境如何适应、与同事讨论来学习。

这就是为什么从世界知识标准到获得博士学位需要八分之一的生命的原因。这在生成式AI中是一个相当普遍的论点，它与其说是输出工件，我们说我可以回到过去，给牛顿一个物理学的东西，对吧？这是这种文化模因知识转移。这是进行科学、进行探索的物质体现的过程。你认为我们仍然需要这个吗？百分之百。

我真正想看到的是，我们下一代的AI科学家能够整合所有这些数月甚至数年的科学探索所积累的知识。

例如，作为博士生，即使我们在一个项目上失败了六个月，又在另一个项目上失败了六个月，我们对什么不起作用、什么起作用有如此多的直觉。我认为很多东西也隐藏在科学界之外。我们只发表积极的结果。例如，像AI科学家这样的东西非常有价值。从这个意义上说，我们可以使用AI科学家作为……

作为一种数据生成工具，例如广泛的探索，例如关于什么可能有效、什么可能无效的直觉。我们可以获得比论文中发表的冰山一角更深入的知识吗？我们可以做到吗？我们可以将其提炼回系统中吗？我喜欢思考的一件事是，例如，你知道，我们有像O1这样的系统，开源的像R1这样的系统，基于RL，你知道，

例如在数学和编码等方面的真实奖励上的表现，我们可以追逐基准分数，即使它们存在所有问题，我们能否优化AI科学家来更好地完成这项RL任务、这项扩散任务、这项NLP任务

这将使它能够将所有来自探索的知识，所有失败的实验都融入到过程中，并真正朝着我们在博士过程中会经历的步骤前进。

我认为也许可以补充一点。在我们发表的AI科学家论文中，以及更普遍的系统中，实验是相当线性的。所以你有一个想法，你用代码实现某种消融或其他什么，你运行那个消融，然后你得到一个结果。如果结果不好，你基本上仍然会写一篇关于它的论文。

但如果我考虑我自己的科学过程，它往往是这样的：我花了80%的时间尝试假设，拒绝它们，提出一个新的合理的假设，并进行因果建模。然后，最后我花了剩下的20%的时间来写论文，获得更多经验结果等等。

因此，我们真正希望在未来看到的是这种更迭代的方法，即具体的假设检验，将该实验的知识整合到下一个实验中。我认为一旦我们解锁了这一点，并转向一个更开放的系统，该系统可以真正推理使用某种地面真实代码评估收集的结果，例如，我认为我们将取得重大进展。

我想这取决于对科学是什么的哲学理解。所以科学的目的，我的意思是，显然是认识论觅食，基本上。所以我们正在发现新的知识。目的是增强人类的知识，还是仅仅增强知识本身？我在生成式编码中看到这个奇怪的事情，

它现在变得如此优秀，以至于我可以完全自动化地编写软件，我甚至不明白它是如何编写的。但是当出现问题时，我们有这个理解信用卡问题，那就是我现在需要回到第一性原理来理解已经编写的代码。我们是否冒着AI科学家会创造所有这些知识的风险，而这些知识对我们来说仍然很奇怪，很难理解？是的，我的意思是，我认为……

老实说，这是学术界论文的重点。所以Rob谈到他花了这么多时间建立直觉，以及80%的实验等等。如果这只是存在于Rob的脑海中，那就不算是科学，对吧？他最终必须把它写成论文与大家分享。然后希望我们可以对他在那里获得的直觉有所了解。

这是这里评论的反面。另一组评论是，为什么我们要让这些东西写整篇论文？真正的核心可能只是一两句话的信息。我认为最终的产物是，我们之所以写论文，是因为这是科学界设计成人类可解释的，也是科学家彼此交流的方式。

因此，理想情况下，一篇非常好的论文应该能够清晰地解释这个想法，让我们能够理解它。因此，理想情况下，如果论文评审员非常优秀并且类似于人类，那么论文应该相当不错。

如果论文非常复杂，我们无法理解它，那么无论它在理论上有多好，它都会被评为一篇糟糕的论文，我想。也许沿着这些思路。所以我们也有一个产物是生成的代码结果，对吧？所以不仅有论文，而且基本上还有一个可重复的管道来生成结果。

我认为更普遍地说，也许有点反叛，一旦AI科学家系统能够让论文在会议上被接受，例如，我们真的到了一个我们拥有

可能像一个等式一样的东西：金钱计算API调用等于论文。我认为我们作为科学界，真的需要重新思考论文是否是正确的意义或正确的媒介，或者我们是否需要更多地思考科学贡献在其

核心是什么，对吧？例如，如果你考虑残差网络和残差连接，这就像一个两行代码的更改，它基本上已经扩散到机器学习的几乎所有东西中。我认为这些类型的东西，一个想法的传播程度，比仅仅让一篇论文在会议上被接受更能衡量科学贡献。

是的，这非常有趣。出于某种原因，我可能很清教徒和老式，我觉得有一种，你知道，有一种模因平面和输出平面，你知道，所以论文是输出平面，软件是输出平面。是的，我们实际上可以增加……

你知道，论文和代码之间的文化传播，通过你所说的我们可以有一个基本的交易日志，以及产生输出工件，我们也可以有一个关于推理的日志，因为你知道存在缺失信息问题，存在为什么的问题，你知道，为什么我们这样做，也许我们在论文中解释了一些，但并非全部都在那里，但我们可以有一个交易日志，我们可以与所有其他AI科学家分享，一切都很棒，对吧，但我仍然觉得有一些，你知道，你说你有一个高

你不会把它写在论文里。你把它分享给你的朋友。你与DeepMind和各地的人交谈。并且存在这种奇怪的文化模因平面，在某种程度上没有被系统捕获。是的，我同意。但是，就像Song所说的那样，我们基本上缺乏这些类型的日志来直接连接，例如，对吧？从某种意义上说，你知道，

我们的系统设置是为了只对积极的结果进行信用分配。但是如果我们有所有负面结果的日志，并且我们用它来训练系统，它可能能够更好地进行推理和假设检验，在一个迭代循环中。所以我认为AI科学家肯定也做出了一个贡献，那就是

大量的日志和大量关于失败的事情的数据。所以，是的，看看这些类型的生成数据和合成数据生成机制如何被反馈以提高基础模型的科学发现能力，将会很有趣。

模型关于你所说的文化方面，例如Rob谈到的可能在论文中的部分，理论上，AI科学家的日志比Rob能够与他的朋友交流的内容要全面得多，所以在某种程度上，AI似乎也能够做到这样的事情，这是真的，但相反的是，存在斯坦利效应，即你实际上不希望它那么容易传播，你实际上想要创造岛屿，是的，我认为介于两者之间，我的意思是

我认为有很多不同的方法可以解决这个问题。但我认为这里有不同的粒度级别，论文可能是最精细的版本，然后

谈论那些不起作用的事情就像稍微不那么精细的东西，然后像原始日志一样，也许最不精细的东西，我还想补充一点，我非常兴奋的一个愿景是完全由AI驱动的会议，基本上，我们现在已经可以生成论文了，在一个开放或封闭的循环中，基本上，

我们不仅做了AI科学家，而且还开发了一个AI审稿人，它对论文进行评分，并在2022年iClear之前的论文上进行了验证。你可以想象使用开放式审查API，上传由AI科学家生成的论文，并进行由大型语言模型驱动的个人审稿人

辩论以及AC决策，然后举办一个只有AI生成内容的会议。然后你会有最佳论文奖和口头报告。这种过滤基本上提供了一组或子集的这些想法，然后人类可以使用这些想法来再次验证，并查看它们的传播程度如何。所以我认为这种开放式研究、过滤和人类高级控制的愿景让我非常兴奋。

是的，当然。我们能否也捕捉到作者和其他作者在会议上的辩论？我们能否获得这些对话，论文之间是如何相互关联的？在许多方面，它们与Chris和Rob所说的非常相关。我们如何看待这些想法然后传播到下一个AI会议？然后最终，也许最好的分数……

贡献的质量可能类似于，你知道，像AI时间检验之类的东西。什么对下一代AI科学家在论文写作方面的影响最大？你认为我们是否最终会到达一个地方，

我的意思是，Tim Rock Tashaw在他的论文中谈到了这一点，你知道，像ASI可能只是如此陌生和难以理解。仅仅从一种通货紧缩的观点来看，这个AI科学家社区可能会发展出一种奇怪的亚文化。而且，你知道，如果你……

人类应该搭便车还是我们会觉得它很奇怪？希望这项工作的基础将是Rob谈到的审稿人管道，其中有一些与人类论文、人类反馈和想法的比较基础。理论上，我们可以尝试删除它，或者也许尝试从审稿人那里提取一些关于一些核心科学贡献的本质，这些贡献可能超越了当前的人类文化、语言或理解。

但有一些问题，例如，“我们为什么要这样做？”可能有一些原因，例如，如果它开发出一些我们完全无法想象的技术，这很难向人类解释，但这需要大量的信任，这可能需要很长时间才能建立。但我也认为，从更哲学的角度来说，自然界中有一些东西是我们认知系统可能无法理解的，对吧？所以我认为有

我们能够计算和做的事情是有局限性的，而像AI科学家这样的系统可能能够理解更多，但我们可能无法理解输出。所以我认为这有利有弊，但原则上，这在我们科学中的其他工具（如望远镜等）中已经存在。我们无法

拥有这些设备所具有的分辨率，但我们仍然可以尝试理解之后的结果。——这非常类似于我们自己不理解的抽象级别，但我们有一个，你知道，像一种很好的界面，我们可以利用它。我想，也有一种很好的

一种很好的证明，你知道，从古代文明到现在，我们确实是超人的，不知何故，我们仍然设法构建了正确的抽象，并且仍然能够尽可能好地理解和使用事物。

我认为在这个方向上还有一个重要的观点是，我们都认为，AI科学家和发表AI科学家在当前的时代非常重要，这样社区就可以走到一起，讨论许多这些哲学问题，例如科学的核心是什么？未来的博士生是什么样的？我认为

尽早进行这种讨论很重要，伙计们，很荣幸也很高兴，谢谢你们，非常感谢，非常感谢，我很高兴，这太棒了