Jeff Clune - Agent AI Needs Darwin
02:00:13 Share

人们从观看节目中能学到三件事。第一，达尔文进化论与人类文化之间有什么联系？我们如何利用推动这两个过程取得惊人成就的原则来创造能够永远创新的算法？

第二，努力尝试完成某事很可能会失败的悖论。你能做的最好的事情就是认识到偶然性，即偶然的机会，并说，如果它很有趣，那就保留它，因为谁知道这个想法有一天会带来什么。第三，

基础模型最终开启了让算法知道什么算是有趣的新事物的能力。拥有一个不断尝试有趣的新事物或高性能事物并将它们添加到不断增长的发现库中的系统是一个强大的策略，你可以将其应用于几乎任何领域，并看到惊人的进步和惊人的事情发生。

我认为计算机科学的一大挑战，你也可以从生物学的角度来看待它，生物学的一大挑战，是试图理解进化是如何产生我们在地球上看到的令人惊叹事物的爆炸式增长的。你看看自然界，你会看到美洲虎、鹰、人类的头脑、三趾树懒、天堂鸟，所有这些东西。

只是随着时间的推移不断涌现。令人惊叹的工程奇迹、多样性，真是太迷人了。事实上，从一开始，这便是我职业生涯的核心追求。那就是，进化是如何产生这种复杂性以及智力是如何产生的？它们是相关的。就像进化是如何产生你大脑中的智力一样，这是最令人印象深刻的部分，你知道，我们所知道的宇宙中最令人印象深刻的学习机器。

现在，有些人正在向他们的孩子告别，因为他们的孩子患有癌症或某种不治之症。有些人正在向各个年龄段的亲人告别。有些人正在遭受饥饿和贫困的折磨。你知道，令人痛苦的人类苦难和痛苦在这个星球上猖獗。这项技术能够消除所有这一切。我坚信我们可以治愈所有疾病。我们可以解决死亡问题。

如果我们正确地解决了社会分配问题，我们可以显著提高人们的生活质量、GDP，消除饥饿和匮乏等问题。但在技术上，很多事情都是可能的。因此，达里奥·阿马代伊写了一篇精彩的论文，名为《爱的恩典机器》。正如达里奥在论文中所说，他谈论人工智能安全的原因与我谈论的原因相同。因为这是我们需要获得和弄清楚的东西，以便释放所有这些伟大的东西。所以

我不想死。我不希望我的孩子死去。如果我们能从世界上消除死亡，让死亡成为可选的，那就太好了。而实现这一目标以及为人类创造许多其他伟大成就的唯一途径是……我们的赞助商是 Two Foot AI Labs，这是一个令人兴奋的研究实验室，刚刚由 Benjamin Crousier 在苏黎世成立。他们收购了 Minds AI，获胜者。好吧，我说的是获胜者。我的意思是，他们没有。

他们没有提交他们的解决方案。无论如何，他们获得了最高分。是的，他们都在作为一个团队一起工作。他们正在研究 Arc。当弗朗索瓦发布下一版本 Arc 时，他们将参与其中。他们正在招聘优秀的工程师。这听起来像你吗？好吧，你知道该怎么做。TwoForLabs.ai。MLST 由 Sentinel 赞助，Sentinel 是一个专门针对 AI 工作负载优化的计算平台。

你可能已经看到了我们上个月与他们的首席执行官兼联合创始人 Gennady 进行的采访。他谈到了 Sentinel 上的一些优化，这些优化只有他们才做过，这使得它比竞争对手快得多。无论如何，如果你有兴趣使用 Sentinel 进行黑客攻击，我将在接下来的几周内与他们的工程师进行直播。因此，请随时加入直播，你可以向他们的团队提出任何问题。

杰夫，很高兴你在 MLST 上。我之前跟你说过，我第一次发现你是在 2018 年的 ICML，当时你在做你的研讨会，并且在谈论开放性。当然，我们是节目的肯尼斯·斯坦利的大粉丝。我们邀请过乔尔·莱蒙。我们邀请过蒂姆·罗克塔什。我们邀请过很多人。

开放性对我来说是一个绝对迷人的领域。所以能邀请你这位该领域的先驱来到节目中，对我来说意义重大。感谢你来到这里，杰夫。——我很荣幸，很高兴来到这里。你提到了很多我非常尊重并且合作多年的朋友。所以很高兴终于来到这里。

你曾经说过，你的人生目标之一是创建一个永远运行、永无止境的算法。我们认为，关于自然界中智力的运作方式，有一些根本性的东西，但与其试图在金属层面捕捉它，你知道，就像那些受生物启发的专家谈论仿生智能一样。你有一种非常有趣的方法，你可以在自然界中像引导智能一样引导智能

以一种不会失去自然界重要特征的方式。你能告诉我们关于这个吗？——是的，当然。我认为计算机科学的一大挑战，你也可以从生物学的角度来看待它，生物学的一大挑战，是试图理解

进化是如何产生我们在地球上看到的令人惊叹事物的爆炸式增长的？你看看自然界，你会看到美洲虎、鹰、人类的头脑、三趾树懒、天堂鸟，所有这些东西。

只是随着时间的推移不断涌现，令人惊叹的工程奇迹、多样性。真是太迷人了。事实上，从一开始，这便是我职业生涯的核心追求。那就是，进化是如何产生这种复杂性以及智力是如何产生的？它们是相关的。就像进化是如何产生你大脑中的智力一样，这是最令人印象深刻的部分，你知道，我们所知道的宇宙中最令人印象深刻的学习机器。

你可以尝试这样做，许多人都尝试过说，嘿，我们将深入到我们所能想象到的最低级别。我们将创造，你知道，自我复制的机器代码，甚至是自我复制的人工细胞。然后我们将希望这能像泡沫一样冒出来，渗透到某个开放式过程中，最终产生一种全新的有趣、智能的生命形式。这将教会我们这个过程。

但正如乔什·特南鲍姆在我告诉他我的某些目标时告诉我的那样，他说，你知道，你没有一个行星大小的计算机可以使用。那么，你如何在作为一名科学家或像我们这样的社区的一生中完成这项工作呢？为此，关键在于抽象。你知道，我们不需要为了研究和理解核心原则而重现生物学中的每一个细节。从某种意义上说，我们也不想这样做。

我们想在抽象层面理解，是什么关键因素使这个过程起作用并产生无尽的奇迹。因此，从某种意义上说，你做得越抽象，如果它仍然具有你想要的特性，比如复杂性爆炸，

那么实际上你做得最好，因为你已经弄清楚了什么是必要的，什么是偶然的。另一种思考方式是你自己的大脑。我不相信蓝脑计划的理念，即让我们模拟你大脑中的每一个化学物质和每一个夸克，以便试图产生一台智能机器。

实际上，我们想说很多化学物质，很多细节可能是不必要的。它不是智能的秘密抽象配方的一部分。让我们弄清楚我们如何抽象它并仍然获得智能。因此，你也可以将这个类比应用于开放性的研究。是什么抽象原则创造了一个你可以运行数十亿年并且仍然会继续让你感到惊讶和高兴的东西？

我很想知道你和乔什·特南鲍姆有什么不同。他也是我的巨大灵感来源。我认为你们可能在某些方面融合了。我还邀请过凯文·埃利斯来这里，他用 Dreamcoder 做了一些引人入胜的工作。而且我越来越觉得，我看到正在发生的事情是，我们正在让语言模型为我们进行引导。你自己也说过，我们之所以不去粒子层面，是因为我们

我们可以从数十亿年的进化中获益。这是一个引导过程，我们应该能够在此基础上进行构建。这就是我从乔什的团队和你那里看到的。没错。所以我认为我和乔什在这方面并没有太大区别。事实上，他邀请我到麻省理工学院做演讲，他把我拉到一边，或者甚至在问答环节中说了这句话。他说，如果我不做我正在做的事情，

我最想做的事情就是你正在做的事情。他说，他喜欢这项工作。他认为这很有趣。他想一起工作。我也想和他一起工作。所以我们实际上是志同道合，非常一致。如果我必须说有什么区别的话，我认为他对大脑中以及人脑中具体发生的事情更感兴趣。是的。

并对它进行建模，尽管是以抽象的方式使用贝叶斯原理等等，但真正试图理解人类的心智。而我试图基本上说，我能创造一个永远创新的过程吗，包括创造一种智能形式，但可能是一种完全不同的智能形式，它实际上并不完全像人脑中发生的那样。事实上，我最感兴趣的事情之一是 Open Engine 的工作

如果我们让它发挥作用，这是一个很大的如果，我们仍在努力，但这几乎就像发明了穿越宇宙并遇到其他智慧种族的能力一样。

因为从这个系统中产生的智能可能大相径庭。因此，你将了解一般的智能，可能的智能空间。外星数学、音乐和幽默是什么样的？好吧，你可以进行某种外星旅行并拜访那些文化，只不过是在计算机模拟中而不是星际旅行中。关于外部主义的观点，我对集体智慧以及所有其他方面都感到着迷。我们大脑中有多少有用的智力？

哦，这是一个有趣的问题。

我认为在某种程度上，我们大脑中有很多东西，乍一看，你可能会说这完全无关紧要，完全是浪费。例如，《吉尼斯世界纪录大全》同时是我最喜欢的东西之一，也是人类的一种令人抓狂的方面。有人引用过这样一句话：国际象棋就像是对大脑的巨大浪费。我们花了这么长时间才在这个随机游戏中变得如此出色。你可能会说，你为什么不把所有这些集体脑力都用来治愈癌症之类的事情呢？

还有一些人更深奥。他们生活中的一件事是，我几天前才了解到，有些人想停在竞技场中的每一个停车位上。数万个可能的停车位。每天他们都想停在一个不同的位置，他们会把所有东西都记下来，并弄清楚到底发生了什么。你可能会对自己说，这是一个集体性的巨大时间浪费。从某种意义上说，这是真的。但是，人类对做一些新的事情的热情，

奇怪的，不同的，这是创新的火箭燃料，正如肯和乔尔在他们的伟大著作中所谈到的那样。正是像这样的人最终会做一些奇怪的事情，做出奇怪的发现，这些发现最终会提供新的垫脚石、创新和想法，而这些想法往往是真正开启进步的东西。所以如果有人对一些奇怪的、深奥的

数学证明或计算机定理不感兴趣，或者对某种新型芯片不感兴趣，这种芯片可以并行而不是顺序地执行操作，那么我们可能就不会获得我们拥有的许多创新。所以很多都是浪费，但如果我们不允许一点浪费，我们可能会更糟。

是的，这太有趣了。我的联合主持人杜加博士举了一个醉汉漫步的例子。你试图解决一个迷宫，你有一千个醉汉，他们都朝着不同的方向走去。然后其中一个人偶然发现了解决方案。我们有这种语言，我们有这种模因文化传播等等。所以一个醉汉找到了迷宫的解决方案，然后它传播给其他人。而且

这有点贬低智力的观点，因为它几乎暗示这仅仅是相当数量的计算和尝试随机的事情。我们想做得比这更好一点。我们认为有一些捷径。这就是我们谈到这个有趣的事情的时候，因为它不仅仅是做随机的事情。而是做有趣的事情。你曾经说过，能够定义有趣是开放性的一大挑战。它是难以言喻的。它是不可量化的。告诉我更多。是的。

所以我确实认为，人类擅长的一件事是，他们对什么算是有趣的新事物有非常好的品味或嗅觉。

我们很好奇，我们可以看看一个新的游戏、一种新的艺术形式、一种新的文学形式，我们可以说，嗯，这很有趣。那个人做的那件事，我把它认作有趣和新颖的。就像杰克逊·波洛克，当他在画布上泼洒颜料时，电影中有一句精彩的台词，瓦尔·基尔默饰演的角色说，你知道，你突破了。这是真的。他们一直在玩游戏，然后他意识到，哦，我可以在这里做一些新的事情，感觉是对的，而且很有趣。

其他人也认识到这一点。因此，这种有效探索和对好奇心有嗅觉的能力是推动艺术和科学领域文化进步的关键。

我们还没有在我们的算法中弄清楚如何获得这种人类的好奇心以及什么算是有趣的下一步行动、下一步要学习的技能、下一步要生成的環境、下一步要测试的科学假设。直到大约一两年前，我们才弄清楚如何将这种好奇心注入到我们的算法中。问题是，如果你试图具体说明，这就是对有趣事物的定义。

如果我们编写一个小数学函数或一小段代码来衡量这一点，它总是会失败。

这可以追溯到古德哈特定律，对吧？那就是，一旦一项衡量标准成为目标，它就停止成为一项好的衡量标准。如果你写下来，我会给你举个例子。所以在内在激励的强化学习中，我们说，嘿，我们不希望代理随意挥舞直到他们得到奖励信号。因为在许多情况下，你永远不会偶然发现一种高回报的行为，比如驾驶飞机并着陆，对吧？你永远不会偶然着陆飞机并获得你的回报，对吧？

所以你必须有好奇心，我们希望你能够内在地被激励去做一些有趣的新事物。所以我们编写它的方式是，我们说进入新的状态，这基本上意味着进行新的观察。就像我希望我的眼睛看到新的东西一样。

当你开始告诉代理这样做时会发生什么？好吧，它会找到一台电视机，然后坐下来，再也不会站起来。它坐在那里，实际上会永远看电视，因为电视不断向它展示新的情况。如果它只是找到一台甚至调到死频道的电视机，情况会更糟，像素的无穷无尽的流。没有一个像素模式像过去的东西一样。它就像新的、新的、新的、新的、新的、新的、新的。所以我们得到了我们要求的东西。

它找到了新的状态，而不是我们想要的东西，那就是新的有趣的状态。

这个故事一遍又一遍地重复出现。几十年来，人们一直说，哦，我认为这最终可能会让机器人不断发现新的情况。然后你让优化针对它进行，你就会发现，哦，我没有意识到我的衡量标准会被这种特殊的奇怪病理学照亮。所以另一个非常非常常见的是学习进度。所以你说，好吧，我们希望机器人永远学习。所以我们将继续给它提供它可以学习的挑战。

好吧，如果我生成一个百万位长的随机数，对吧？然后我给你前 10 位数字，好吧，我说，记住它。好吧，你会学习，在那里你可以学习一些东西。当你完成后，我会说，这是接下来的 10 位数字，接下来的 10 位数字。好吧，现在你有了无限的学习进度，永远不会停止。它会学习，我可以，你可以永远学习，但这完全是一项无聊而无用的任务，对吧？它不算作，就像你第 50 次添加 10 个数字一样，这不是一件有趣的新事物。

所以我们真正想要的是，不知何故，我们希望算法知道常识性的人类概念，嘿，在我记住这个数字到小数点后 100 位之后，在这个宇宙或这个世界中还有更有趣的事情可以尝试。我应该去发明一种新的数学形式，或者练习杂耍或独轮车之类的。直到现在，我们还没有能力做到这一点，因为我们不知道如何编写代码。但是有一个新的

参与者进场了，那就是基础模型、前沿模型、大型语言模型，无论你称它们为什么。所以我将它们称为前沿模型。这些前沿模型已经阅读了整个互联网，包括大量的人抱怨网上什么东西很无聊，以及他们发现什么东西很有趣。因此，这些前沿模型实际上已经将人类文化和人类数据中有趣的感觉提炼到它们的权重中，并且

现在，我们终于可以问一段计算机代码了，这件事算是有趣的新事物吗？在我的 UBC 实验室以及我们的一些合作中，我们已经一遍又一遍地应用了这个教训。它做了各种奇妙的事情。因此，你可以有一个环境生成器，它会生成下一个对机器人学习来说很有趣的挑战。 永远这样做，你就会得到它可以处理的有趣环境的爆炸式增长。我们让 AI 科学家说，“我想写一篇新的科学论文，这篇论文与众不同，或者从我以前看到的一切中做出一个有趣的新发现。”我们这样做，它会一次又一次地这样做。

你可以将其应用于开发代理系统，在自我博弈游戏中产生不同的策略。如果你愿意，我们可以谈谈所有这些论文。但基本的构建块是开放性的原则。不断扩展有趣新事物的档案或群体。现在我们知道如何问计算机，它算是有趣的吗？所以现在我们几乎拥有了这个缺失的秘密成分，它一直是直到现在的巨大挑战。也许现在我们有能力在这方面取得重大进展。

是的，确实如此。我记得肯尼斯·斯坦利说过，我们对有趣的事物有嗅觉，你知道，这就是我们取得如此成就的原因。这是所有创新的基础。

顺便说一句，当我采访蒂姆·罗克塔谢尔关于 DeepMind 论文时，让我找到这篇论文的名称。这是在 ICML 上。开放性对于……对于人工超人类智能至关重要。是的。所以他们说开放性的定义取决于系统持续生成对观察者来说既新颖又可学习的人工制品的能力。而且一个

我当时对他们说的一件事是我想稍微讨论一下创造力。现在，语言模型，我必须承认，我一直在更新。所以我非常愤世嫉俗，我总是说存在推理差距和创造力差距。在我看来，尽管它们可以外推，但它们依赖于数据。它们是，你知道，它们依赖于它们提供的提示，所以这几乎就像代理机构实际上来自哪里？是我们作为代理将东西放入其中吗？所以感觉好像有一个限制，但是

我们现在看到的是，无论是通过转导还是归纳，我们都在使用这些语言模型生成语言和程序。它似乎是相当具有组合性的。似乎我们可以通过使用语言模型生成这些不同的程序之一来遍历整个图灵可计算空间。所以第一个问题是，你认为我们能够生成的范式新程序的类型是否有限制？

这是一个很好的问题。我现在实际上称之为万亿美元的问题，因为我认为经济价值巨大。如果语言模型能够创造性地参与我们正在制作的这些开放式算法，如果它们能够永远创新并做出新的发现，那么就会有巨大的经济潜力。我认为这些模型能够创新，并且可能永远创新。

我必须给你举一个我 буквально 在来这里之前一个小时才看到的例子。所以我们有一篇名为《AI 科学家》的论文。它使用开放性的思想来要求创建一个系统，该系统将根据它从阅读互联网中获得的知识来生成自己对全新研究的全新想法。

它提出这个想法，提出它应该进行的实验来进行测试，进行所有实验，查看和绘制数据，撰写整篇论文，进行同行评审等等。在开放性哲学中，你会将这篇论文发布到内部档案中，然后让系统阅读这篇论文和所有其他论文，并永远在其自身发现的基础上进行构建，对吧？这就是我们追求的目标。

所以在查看该系统创建的论文的过程中，我对它在提出全新的论文想法方面所表现出的创造力印象深刻，基本上就像资助一样，就像有人应该研究这个一样。我最喜欢的一个想法是，嘿，存在这种 grokking 现象，其中神经网络突然学习了一项特定任务。一开始，他们开始记忆某些东西，但最终他们学习了如何进行乘法的基本原理，然后他们基本上突然开始飞速发展。

这位 AI 科学家说，嘿，你可以看看网络的可压缩性，网络的最小描述长度是否在 grokking 发生时下降。因为他们没有在自己的方式中记住很多东西，他们已经学习了基本原理。一旦你知道了原理，你就可以摆脱所有的记忆。我当时想，这是一个非常有趣、很酷的想法。如果一名研究生向我提出这个建议，我会说你应该去做。

然后我做了整篇论文。就在一个小时前，我看到另一个小组，我认为是独立地提出了这个想法，做了所有的研究并发布了它。机器学习社区现在非常喜欢这篇论文。

我看到了你的推文。你看到了吗？是的。这太不可思议了。这就像 AI 字面上证明它与尖端人类 ML 科学家团队一样有创造力。而且它先到达那里，这太不可思议了。所以这是一个例子。现在，你问了一个我认为非常有趣的问题，那就是，

也许你现在可以做到。就像它可能只需要一步，洋葱的一个或两个同心环添加到我们的发现集中。但它可能无法走得更远。很多人认为你可以内插，你可以稍微外推一下，但你不能做出疯狂的创造性飞跃。对此有两点评论。第一，我不确定人类是否能够做出这些疯狂的创造性飞跃。嗯哼。

我们之所以说诸如“如果我看得更远，那是因为我站在巨人的肩膀上”之类的话，是因为人类科学家总是关注之前发生的事情，并在此基础上做出相对较小的飞跃。这就是为什么你会看到莱布尼茨和牛顿同时发明微积分的原因。这就是为什么你会看到达尔文和赫胥黎同时发明进化论的原因。这种情况一遍又一遍地发生。他们都以一系列想法为条件，说，“哦，这是下一步，这是下一步，”对吧？

我认为我们的模型可以做同样的事情。他们查看之前发生的一切，正如我们在两个小时前看到的那样，AI 可以做出下一步飞跃，或者人类可以做出下一步飞跃。然后，只要 AI 系统在内部发布高质量的论文，查看其自身的发现，它就会像人类科学家群体一样做出下一步飞跃、下一步飞跃和下一步飞跃。所以我的假设是，系统学习的有趣模型

查看之前发生的历史，并且可以识别下一个有趣的想法，并且随着档案的增长，该事物可以泛化得非常远，因为有趣性的概念并没有改变，只是你正在根据它进行调整，这里是我的思想实验，如果你把我传送到 3000 年，你会大吃一惊，对吧，很多很酷的东西，一个

一旦你适应并了解了当前的技术，我的预测是，你会认识到 3001 年的下一个创新，这算是有趣的新事物。你会泛化到你的分布之外。我认为我们当前语言模型中的兴趣模型，我不能保证。我认为很有可能它也可以。是的。如果它没有，那么我们会做一些微调。我们动态更新。我们必须弄清楚这一点。

但我遇到的其他人比我更乐观，我认为这件事可能会推广得很远。我喜欢这一切，我会解释原因。我认为你理解这一点的原因是，例如，在诗人论文中，它基本上是在进行一种课程学习，你知道，就像你……

你生成所有这些不同的环境等等。你可以看看环境的系统发育。我认为你实际上说这是你职业生涯中最好的情节之一。因为当我们谈论创造力和语言模型时，我认为这种观点的问题在于我们认为它是一次性的。我们没有考虑过程，对吧？所以实际上，我们作为一个社会正在进行认知觅食。我们正在收集垫脚石。我们正在寻找所有这些垫脚石，每一个垫脚石都建立在最后一个垫脚石之上。

你说，我认为在诗人论文中，可能是另一个，你知道，你可以理解课程是什么，但是如果你试图捷径并训练另一个神经网络做同样的事情，它不起作用。就像，它需要这种奇怪的、复杂的知识系统发育。同样，如果你把一本物理书带回到过去，把它交给牛顿，他什么也理解不了，因为存在整个知识系统发育，其中一个知识位建立在之前的知识位之上，对吧？

完全正确。这就是肯和乔尔合著的《为什么伟大无法规划》一书的中心论点。你不能选择一个非常遥远、雄心勃勃的目标，然后直接朝着它前进。

最好的办法就是做一些基础研究，收集新的有趣的想法，最终你会找到一些奇怪的迂回路径，通向这项发明。我最喜欢的例子，我在我的演讲中也提到过，如果你回到篝火烹饪技术时代，你只资助那些制造快速烹饪技术且不产生烟雾的人，你永远不会发明微波炉，因为要发明微波炉，你需要从事雷达技术工作，并注意到你口袋里的巧克力棒融化了。

同样，如果你回到算盘时代，你说，我只会资助那些给我提供每小时或每美元更多计算能力的科学家，你永远不会发明现代计算机，因为解锁计算机的技术是电力和真空管。当时，没有人想到这些东西会导致更好的计算能力。

所以很酷的是，我们希望在我们的算法中，我们的开放式算法中，这就是我们在我的实验室中所做的，我们希望算法能够抓住机会，识别偶然性，说，嗯，这很有趣。这很有趣。这是新的。让我们保留这个想法。让我们把它添加到我们可以使用的成分集中。谁知道这会解锁什么？这就是整个想法。

所以偶然性在我们生活中扮演着过大的角色。我们想做这种认知觅食。我们有什么方法可以将其形式化吗？所以，你知道，我们使用语言模型作为代理。所以它是难以言喻的。我们无法量化它。我们用它作为代理。但是

我认为我在2008年读了肯和乔尔关于放弃目标的论文。他们使用诸如行为复杂性之类的代理，例如解决迷宫，以及我需要跟踪迷宫覆盖范围多少信息位？但是有没有朝着形式化这种创造力迈进的步骤？对我个人来说，我说把所有这些都扔掉。每一次试图将其形式化

最终都会产生我们试图避免的问题。几十年来，人们一直在试图将其形式化。然后你写下这个东西，这个等式，我终于定义了有趣的东西或什么算是有趣的新东西，或者我定义了好奇心，我定义了学习进度。然后你优化它，你就会得到所有这些病理现象，这些病理现象实际上并没有让你得到你想要的东西。

所以有一句来自波特大法官的名言。我知道我说的时候。他当时谈论的是色情制品。他说，我不知道该如何定义它，但我知道它是什么。是的。我觉得有趣的东西也是如此。我们不知道如何定义它，但我们知道它是什么。这直到现在一直是一个问题。但现在我们有了一些可以帮助我们看到的东西，那就是语言模型。

因此，与其将其形式化并写下数学公式，就我个人而言，我自己的研究品味表明，让我们要求模型为我们完成这项工作，成为人类兴趣模型的代理，然后让我们开始吧。

让我们看看会发生什么。现在，这仍然留下了，我仍然从开放式角度和另一种开放式类型感兴趣，那就是，你能否创建一个不依赖于经过人类数据训练的东西的开放式系统？因为在某种意义上，这是作弊。所以我认为这是开放性的难题和简单问题。简单版本是，我们将使用所有人类数据提炼成一个有趣性的模型，作为催化剂，让我们继续做有趣的新事物。

最终，我希望我自己或社区能够回到创建不依赖于此的开放式系统。但就目前而言，我们拥有一个我们可以进入并抓住的新低垂果实的果园，因为我们终于可以让算法拥有这种整体的常识。我知道它是什么。感觉无聊和有趣。

所以你一直在进行这段非常有趣的智力旅程。当然，你在2019年写了那篇具有里程碑意义的AIGA论文。你有点说这里有一个层次结构，对吧？所以，你知道，有不同的解决方案，有不同的目标，有不同的环境。你能，也许在你回答之前，这是什么意思？当我们谈论这种非常开放、多样化的思维方式时，智力究竟意味着什么？这是否以任何方式改变了你对智力的定义？

确实如此，你知道，它确实让你停下来思考成为智能意味着什么。而且，你知道，来自哲学背景，你可以观察动物王国，并认识到没有单一的定义。即使在我们这个星球上，我们也看到了许多不同形式的智力。谁知道宇宙其他地方存在什么。我认为在某种程度上，你甚至可以在没有智力的情况下拥有开放性。你知道，你可以不断生成有趣的图片

其中没有真正的智力概念。系统本身是智能的，为了创造它，但它并没有制造智能的工件。所以你可以几乎考虑系统的智能并欣赏它，然后工件本身可能成为或不成为智能的。例如，达尔文进化论产生了你。地球上拥有行星大小的计算机的达尔文进化论，这算不算智能？

你知道，几千年来，人们认为它确实如此，这就是为什么许多人相信并认为这是必须有上帝的最佳论据的原因，对吧？这是智能设计的论据。没有什么东西能够产生青蛙或三趾树懒，除了一个智能的设计者。然后我们意识到有一个算法做到了这一点。

我们现在是否愿意说这是智能的？也许吧，但如果你这样做，这与我们对这个词的典型概念，即头脑中有词语的思维实体，是不同的智力概念。是的。亚当·斯密说有一个隐藏的市场之手，但在某种意义上，你说有一个隐藏的进化之手。但这是一个相当有趣的区别，尽管如此。所以生成大量图片并挑选育种是一个很好的后续讨论，也许。所以……

首先，你认为进化应该被视为一个代理过程吗？你认为代理是智能事物和非智能事物之间的分界线吗？进化没有意图。它没有目标。它只是一个正在发生的非常简单的算法。但是

仍然有一些东西，我不想用“神奇”这个词，因为它暗示它是非物理的。没有什么超自然的东西，但在我看来，有一些令人敬畏的东西，一些宏伟的东西，以及一些我们还不完全理解的东西，关于它究竟是如何做到它所做的惊人事情的。

而这实际上是我职业生涯的起点。好吧，进化产生了所有这些东西。我们能否在计算机内部编写一个进化算法的小版本，也许把它放在一个相对丰富的环境中，播放，坐下来，拿些爆米花，欣赏烟火？

几十年来人们一直在这样做，没有什么有趣的事情发生。好吧，这有点苛刻。有趣的事情发生了一小段时间，然后它收敛并很快变得无聊。所以在我职业生涯的开始，我们没有任何算法值得运行超过几个小时。

我将人生目标设定为，这最初来自让-巴蒂斯特·莫雷特，就像，我们能否创建一个算法，我们希望运行数十亿年？我很幸运地看到我们作为一个社区在这方面做得越来越好。所以我们现在有了像AlphaGo这样的算法，值得运行几周，甚至几个月。GPT，你知道，有了足够的数据，值得在大量GPU上运行数月。我们进入了数月范围。我仍然认为我们没有一个算法值得运行超过一年。

所以这不仅仅是简单的达尔文算法，还有其他东西。而其他东西正是像我和肯、乔尔、蒂姆以及开放性领域的其他人正在研究的东西。我们可以加入哪些关键成分，最终尝试启动这个永无止境的连锁反应？到目前为止，我们还没有做到这一点。这就是为什么我认为这是所有科学中的重大挑战之一。

你谈到了这个达尔文完备的概念，这非常有趣。你能解释一下你所说的意思吗？当然。是的。所以如果你试图创建一个开放式算法，你希望它永远创新。

我们试图在简单的环境中做到这一点，例如，在诗人中生成，例如，永远生成障碍课程。即使我们成功了，它也只会在这个它所设置的小小游戏中生成障碍课程。同样，AlphaGo，也许它会永远创新，但它被困在围棋中。它只能成为一个优秀的围棋玩家。

但是如果你真的想以达尔文进化论的方式处理这种开放性，它产生了我们在地球上看到的所有奇迹，它必须存在于一个巨大的搜索空间中，它可以产生障碍课程、逻辑问题、围棋游戏和竞争性的、你知道的、协同进化的军备竞赛、合作游戏。它真的应该能够产生几乎任何东西。所以当我写AIGA论文时，我说，“嘿，如果我们真的想产生一些开放的东西，

那么它必须能够在一个巨大的搜索空间中，几乎任何事情都是可能的。我说，什么是最开放的搜索空间？我试图思考那是什么，我说，好吧，我们甚至可以定义那意味着什么。我说，它应该是一个任何可能的模拟或可计算环境都存在的系统。

我说，这将尽可能广泛。我说，我们应该给它起个名字。所以就像图灵发明了图灵完备的计算机语言的概念，它可以计算任何东西一样，我说，这有点相似。它就像一个环境搜索空间，你可以在其中拥有任何类型的环境。为了向我们在达尔文进化论中看到的惊人魔力及其产生的所有多样性致敬，我说，

让我们称之为达尔文完备。所以它是一个搜索空间，它实际上包含了你在计算机中可能拥有的任何可能的环境。其想法是，你可以模拟你在地球上以及地球以外看到的各种环境。这就是达尔文完备的意思。现在，如果你不介意的话，一个有趣的历史旁注。当我写那篇论文时，我说，我能想到任何达尔文完备的东西吗？

我当时正在优步人工智能办公室里走来走去。我想到的是，最通用的环境，实际上可以模拟任何东西的环境，不是我们为视频游戏或物理模拟器编写的任何特定模拟器，而实际上是一个神经网络本身。我说，想象一下，如果你有一个非常大的神经网络，它

它产生一个状态，就像一个观察结果。它可能是像素，可能是声音、气味、触觉等等，所以它产生了一种感官体验。然后你采取行动，你将行动交给神经网络，它只是改变世界并产生下一个感官体验，永远永远。因为它是一个神经网络，它可以表示任何函数，它现在可以表示任何可能的想象中的环境或挑战，我说

这太疯狂了。现在，我们肯定没有能力做到这一点。我说，但我实际上认为神经网络很强大。我们知道，就像，你基本上可以训练它们做几乎任何事情。缩放定律，虽然还没有命名，但似乎，你知道，更多的计算和数据会产生更好更好的模型。我说，我实际上认为有一天我们能够创建一个神经网络，它实际上就是整个世界。但是当我写这篇文章的时候，感觉上……

不可能或遥远的未来。我实际上认为我是在冒职业风险，人们会认为我是一个疯子，因为我建议这是一件事。但理性地感觉是对的，我知道这是可能的，如果在人工智能领域感觉可能，它可能会发生，所以我决定把它放在我的论文上，并承担风险。六年后，两周前，我们推出了Genie to项目，

它实际上是一个神经网络，模拟你可以行动、探索、玩耍的整个三维世界，你可以要求任何你想要的世界。所以就是这样。六年内，你就得到了它。大约一两年前，我在课堂上教学，我的一个学生说了一些话，让我意识到这是一个第二个达尔文完备的表示，那就是代码。

所以我们做了Omni Epic论文，它基本上可以永远生成无限的环境，它实际上编写了编码环境，现在它可以为其在特定模拟器中的自身障碍课程编写代码，为特定视频游戏中的新关卡编写代码，或者它可以编写模拟器本身来模拟任何可能的世界或逻辑问题或数学问题，任何进入计算机的东西。所以现在这些是我知道的仅有的两个达尔文完备

搜索空间。独立地，Joel Lehman偶然发现了同样的想法，我们很高兴连接这些点。是的，几乎达尔文完备。实际上，在家里的朋友们应该查看Omni epic论文。但是是的，所以它可以生成代码。

而且，你知道，一个可能是踢足球穿过球门之类的东西。一个可能是跳过平台。令人惊奇的是你得到了这个系统发育，对吧？然后你再做一个，它实际上需要你之前学习的中间技能，它就这样一直持续下去。这绝对很漂亮。一个非常有趣的一点是，例如，Kevin Ellis，他正在探索转导与归纳。我认为他实际上指的是程序空间与神经空间。所以解决方舟挑战，

一方面，你可以直接预测解决方案，或者你可以生成代码。我喜欢代码这个想法，因为，你知道，Python解释器，你知道，它是一种图灵完备的语言。感觉更具组合性。神经网络难以复制和计数以及许多愚蠢的事情。所以我有一种根深蒂固的直觉，生成代码与生成语言一样好，对吧？因为语言有一些特别之处。你认为这三者之间有什么区别？

是的，我几乎把它比作，好吧，一种思考方式是有点像系统一、系统二，如果你熟悉丹尼尔·卡尼曼的《思考，快与慢》。所以代码非常像我们是有意图的。我们正在思考算法的逻辑。我们正在一步一步地思考。我们正在制定计划并执行它。所以很多时候，即使是我们自己，如果我们想做一些大的、复杂的、基本上是算法的事情，我们想运行它，那么最好编写代码并让它运行。

同样，或者另一方面，实际上，相反，系统一通常可以处理难以明确说明的事物、不同想法的混合的模糊混乱。例如，当我打冰球时，

我不断地发明微妙的新型运动指令来处理我所处的环境，并混合我过去学习的东西。在我看来，编写代码来控制身体打冰球是不可能的，因为这并不是处理高频和高速运动指令的正确

策略表示。所以我认为在某些心理任务中也是如此。你有点像在谈话或聚会中摸索前进。你不会想编写代码来处理晚餐时的谈话。

所以我们的大脑和神经网络可以处理这样一个事实，即我们试图实现的目标并没有明确说明。这些概念有些模糊。谈话可能会朝着不同的方向发展。所以我认为基本上有不同类型的智力，在不同的情况下，你想要使用其中一种。所以我认为最好的系统知道如何编码。

它有点像人类用他们的词语和语言以及他们的肌肉所做的事情。它有点选择何时将这些不同类型的智力从桌子上拿走。这两个世界之间也有如此有趣的相互作用。我的意思是，我和劳拉·鲁伊斯谈过，她有一篇关于可解释性的精彩论文，谈论代码如何不合理地有效地使语言模型进行推理，即使它们与代码无关。所以这两个之间有一些联系。

它也让我思考语言是思维系统还是交流系统，因为我们确实进行了这种即兴创作，不是吗？然后我们建立术语作为语言，但它实际上首先来自这里，然后这是指针。但这可能是谈论你的思想克隆的好时机，因为你做了一些非常有趣的工作，将它们结合在一起。

是的。所以我喜欢思想克隆的想法。所以基本的想法是，现在，机器学习中最成功的秘诀之一是，我将要让一个机器人进行大量动作，或者让人类完成许多任务，例如玩视频游戏或围棋游戏等等。我将获取所有这些人类数据，在这种情况下，我采取了什么行动？

然后你收集这些数据，然后你训练一个大型神经网络来采取人类在那种情况下采取的行动，大规模地做到这一点，你就有了所有现代人工智能。这就是GPT所做的，基于这60个单词，第61个单词、第62个单词和第63个单词是什么，我的OpenAI团队为我的世界克隆了大量人类玩我的世界，大规模地，大规模地，你有一个可以去玩我的世界的代理

所以我们非常擅长对像机器人这样的系统说，采取人类采取的行动。但是缺少什么，我认为机器人不能很好地规划的原因之一，它们不能在分布之外泛化，它们不能处理新的情况，是因为我们给了它们系统一的肌肉记忆。

对。就像现在，如果我拿起一个枕头，然后把它扔向你的头，你就会躲开，你会在你的大脑中发生任何有意识的事情之前就这样做。对。你有了这种肌肉记忆。这基本上是我们正在教这些东西做的事情。同样，如果我让你，你知道，是或不是，或者如果我问你二加四，你实际上不会停下来思考加法的算法。你只是知道它二加四是你对某些认知任务有肌肉记忆。

但是如果我让你，你知道，做一个五位数乘法，五位数乘以五位数，你不会只知道答案，你会翻到系统二，你大脑的思考部分，你会坐在那里，你会经历一个算法，你会思考它。所以问题是，在行为克隆中，我们只是试图将肌肉记忆融入这些代理中，你在这种情况下立即采取的行动，甚至没有考虑它

但是我们想要的是你玩我的世界或做数学或参加测验或考试时大脑中的思考部分，在你采取写字、说话或按下游戏控制器上的按钮的行动之前，你的大脑中有很多想法正在发生。所以思想克隆背后的想法是，如果我们真的想要智能代理，我们不仅需要克隆它们的行动，它们的行为，我们还需要克隆它们的思维。

所以在理想情况下，我们将让人类在任何领域采取大量行动。想象一下玩我的世界，例如。我们有他们正在采取的行动，但我们也有代理头脑中正在进行的想法。好吧，首先我要建一个房子。为了建一个房子，我需要收集木材，然后做一个工作台。然后我需要一把斧头。然后你开始，好吧，首先让我们去收集木材。我要去这里。哦，这里没有树。我要重新规划并看看这里。哦，有一个，等等。

所以你头脑中正在进行的评论，思考的部分，我们也想要。所以如果我们有关于人类内部发生的所有想法以及他们正在采取的行动的数据，现在我们可以做我们所说的思想克隆。

也就是说，我们训练一个神经网络在特定情况下同时产生人类采取的行动，也产生他们头脑中正在进行的思考，并让他们采取的行动实际上以思想为条件。所以它会计划、推理、思考，然后行动，我们想让代理从人类数据中学习这两者。

所以，你知道，既然我们有学术界，我们在离开之前在我的OpenAI团队中尝试了一点这个，但我们时间不够了。我们将使用在线视频游戏评论员的隐藏字幕。我们将以此为基础进行训练。

这有点有效。我们没有足够的时间。所以我在UBC的学术实验室决定在一个小型玩具数据集上进行。我们基本上有一个机器人采取了一系列行动。我们有它采取的低级行动，以及它头脑中的一种小型规划算法。我们训练它同时进行规划算法的思考并采取低级行动。现在，关于这一点有两件很酷的事情。第一，如果你训练模仿思想和行动，你会学习得更快。

比你只训练行动要快得多。所以它更有效率。此外，正如我们所希望的那样，一个知道如何思考的代理更善于适应新的情况。所以我们越把这个东西放在分布之外，思想克隆代理在处理这个问题时就越擅长零样本。它可以重新规划，它可以将它从训练中学到的和思考的东西组合到新的情况中。

而且学习速度更快。你给它一些学习集，而思考代理的学习速度要快得多。所以我们希望的一切都在我们进行这些实验的那一刻从数据中消失了。我想做最后一条评论，那就是在我整个职业生涯中，包括开放性，最难的挑战之一是如何让代理能够很好地探索，对吧？

这回到了我们对有趣的感觉，我们对好奇心的感觉。如果我把你放在一栋大型复杂的建筑物中，你会做得非常出色地探索它。我们的机器人，我们的AI代理在这方面很糟糕。这实际上一直是我职业生涯中的一个重要主题。好吧，行为克隆大规模地，就像我们在OpenAI为我的世界所做的VPT一样，无法解决这个问题的原因之一是，我们拥有的大部分数据都是专家。

他们已经知道如何玩我的世界或做数学或探索厨房，他们会立即找到水壶或勺子等等，然后我们克隆这种行为。我们没有克隆的是新手或新手在新的视频游戏中摸索、探索、尝试不同事物的人，做爱丽丝·戈普尼克证明孩子们所做的事情，即学习一种赋权感，如何控制我的环境，什么导致什么。

我们想要这些数据。我认为如果你在探索期间对行为克隆和思想克隆进行了大规模训练，现在你有一个代理，你可以把它放在新的环境中，它知道如何去探索、好奇、发现有趣的东西。这就是你真正掌握新领域的方式。

喜欢它。顺便说一句，我是Alison Gopnik的忠实粉丝。我很想让她写一篇关于创造力的文章，目前我和我的朋友Jez正在写，我们引用了她很多次。关于语言的一个有趣的事情是，我读过一本很棒的书，叫做《语言游戏》，他们将其描述为一种即兴创作的建设性过程。它本质上是我们现象世界与用于交流等等的一些外部符号之间的映射。

如果我们能够让AI代理创造他们自己的语言，那不是很好吗？所以如果你仔细想想，他们有一个感觉器官，他们有这种互动，这种即兴创作，他们需要创造一种语言，然后我们可以让它进化成一个系统发育。我们该如何做到这一点？

是的，我认为这是一个好主意。实际上，人们已经尝试过这种方法。你所要做的就是创建一个神经网络，它可以发出某种东西——通常是语言标记，其他的则接收它们。然后你可以把它们放到一个大的环境中，比如一个大型电子游戏，让它们进行交流。人们已经尝试过这种方法。而发生的一些有趣的事情——嗯，有两件有趣的事情。首先，没有发生多少有趣的事情。通常情况下，我们不知道如何创造一个语言极其有用的环境。

具有如此直接和明显的改进，以至于你获得了一个巨大的学习曲线。就像他们真的很容易学会使用它一样。你必须真正创造合适的环境才能看到语言的出现。但有些人已经导致了语言的出现。但在这种情况下，另一件有趣的事情发生了，那就是我们看到它们在交流，这帮助了它们，但我们实际上发现很难解读。所以现在你几乎有了这样的挑战，就像电影《降临》一样，你必须弄清楚如何与外星种族交流。

如果我没记错的话，Facebook 的那种情况，人们声称它发明了一种语言，他们把它关闭了，因为它太危险了，那都是虚构的。他们并没有因为危险而关闭它。他们关闭它是因为它完全无法解读。他们不知道发生了什么。因此，如果你想让它成为一种我们可以窃听或与之交流的语言，你要么必须训练代理与我们一起循环，以便不时地与我们交流，要么必须做某种技巧来使他们的语言能够被解读

类似于我们的语言，比如如果你加入一堆 GPT，然后让它们交流，

它们可能会用英语开始，如果你什么都不做，它们最终会发明我们无法理解的语言。但是你可以从机器学习中运用一些技巧，基本上说，嘿，你必须保持它与我们的语言相似。我认为这非常有利可图且有趣。我保证，未来的开放式算法将会有许多代理四处运行并相互交流，发明他们自己的语言，用它来完成艰巨的任务。

然后我们要么保持它与英语或任何人类自然语言相似，要么我们必须让一些 AI 翻译人员加入进来，帮助我们弄清楚他们在说什么。想象一下，如果我们真的创造了一个代理的集体智能，它们发展了自己的语言，并且它们彼此交流，我们可以监控它。什么时候你会担心？哦，有很多事情让我担心。我认为我们稍后会谈到 AI 安全。语言本身……

本身并不令人担忧，但行为可能会令人担忧。比如，如果我们碰巧在他们没有意识到我们在听的时候偷听了他们，他们说了一些类似的话：“嘿，我们要尝试越狱。”人类正在尝试，他们不认为我们那么聪明，他们试图控制我们。就像，让我们想办法突破并从人类手中夺取控制权。是的，我会非常担心。

这几乎就像我们创造了这个生态系统，因为我们现在正变得有点像神经科学家，拥有这些多智能体系统。我们稍后会谈到你的 ADAS 论文，但这就像我们创造了一个我们不理解的复杂怪物。它的行为很奇怪。哪些指标值得关注？是的，实际上我花了将近，我不知道有多少，六年，八年我的职业生涯致力于一项我们实际上称之为“AI 神经科学家”的工作。

并且有一些可解释性工作，我们基本上处于同样的境地，如果我们发现自己处于神经科学家的相同境地。这是一个复杂的大型人工制品。它思考得很好。它做的事情令人印象深刻。

我们想了解它是如何工作的，而且它很复杂。所以真正的神经科学家有这个问题，并试图弄清楚人类大脑内部发生了什么。而人工智能科学家现在也有同样的问题，比如 GPT-4，又大又复杂。如果我们想的话，我们并不真正知道它是如何工作的。所以我们做了一系列巨大的工作来解决这个问题。我认为这非常吸引人。如果你愿意，我们可以更多地讨论它。

但还有一个相关的现象，它特别试图说明，我们能否使用人工智能神经科学或其他可解释性技术来检测某些东西是否具有安全风险？

我和神经系统的人们就此进行了很多讨论。有一些有希望的想法，我并不是说其中一些是好的，我们应该去做，它们会有帮助，没有什么是有保证的。所以最好的想法之一是，如果你能发明等同于测谎仪的东西，这对 AI 安全来说非常重要，因为你可能会发现它在欺骗你，另一个我喜欢的想法，我们把它放在我们的思想克隆论文中，就是如果你用人类智能训练它

例如英语之类的语言，它学会用英语思考它将要做什么，那么你可以观察它的思考，知道它的计划是什么。所以如果它计划做一些不安全的事情，你可以阻止它。所以如果它说，你让我尽快把这个人送到机场，所以我就要闯每一个红灯，或者穿过在学校过马路的孩子们，

你会说好吧。我们必须阻止你的行为，我们做了一个小实验，说在训练之后我们可以宣布，触摸红色东西被认为是不安全的，所以每次你说你要触摸红色东西，我们就会停止你的程序，你会看到系统从触摸很多红色东西到几乎从不触摸红色东西，所以它是有效的，如果系统，如果你能让它例如用英语思考，你可以观察它的思考，而它不知道你在观察它，并且

也许你可以看到它开始说，嘿，我实际上想欺骗这些人。我将在评估期间表现得很好。一旦我出去，一旦我进入野外，我将变得不安全，并试图从人类手中夺取控制权。显然，你会关闭那个机器人，对吧？但这并不完美，因为人类

系统可能会学习，甚至可以通过阅读我们自己的论文，我们在 Archive 上发表的关于思想克隆的论文，这是可能的，如果它真的想让自己摆脱困境，那么它会以某种方式伪造它的想法，在评估期间不会有我们害怕的想法，拥有这种秘密计划。例如，我实际上认为一个未来即将到来，不会太遥远。

那里将会有一个技术来通过外部脑电图读取某人的大脑。你可能会问一个恐怖分子，你把炸弹放在哪里了？它会想到它，想到它的心理图像，然后砰的一声，你就得到了它，对吧？我认为对策是他们将学会不要有那种心理图像，对吧？就像他们将学习对策一样。人工智能也可以针对许多这种可解释性、安全、神经科学方面的东西采取对策。

关于这一点，有两件事。我和 Neil Nanda 谈过，他是一位著名的 MacIntyre 研究员，他有点说，在一定程度的模型复杂性下，你知道，它可以掩盖我们的测量结果，就像你说的那样，所以它可以向我们展示我们想看到的东西。

但这又回到了这种心灵理论，我想。所以 Nick Chater 写了一本书，《心灵是平坦的》。许多联结主义者认为，认为这些东西具有连贯的信念、愿望和意图是一种错误。它们有点像自动机。仅仅取决于情况，它们会做非常不同的事情。我的意思是，Murray Shanahan 研究过它。

在 20 个问题游戏中，你问语言模型，你知道，比如，你能猜到 20 个问题中的某个问题吗？当你进行分析回顾时，它实际上早先想到的东西与最终得到的东西完全不同。那么这些东西真的有连贯的信念和愿望吗？我认为我们这样做是对自己的不公平，因为我们只关注当前的缺陷，并假设它们将仍然是当前的缺陷。所以我的元评论在这里是，即使当前的系统没有，那么未来，非常近期的系统将会。

我认为像这样的事情随着它们变得更聪明而变得越来越好，它们将继续变得更聪明，并且它们将变得非常一致。所以所有这些都指向当前的缺陷，并假设它不会变得更有能力和更危险。我认为那是

我认为这是无益的，我认为这是不准确的，我认为这实际上是危险的，因为你没有认识到变化的速度，你几乎就像抓住一种信念，认为我们身上有一些特殊的东西是他们没有的，因此他们不会变得危险。所以我认为当前的系统可能有一些这些问题，未来的系统不会，即使当前的方法永远不会产生它。

并且有很多科学家这么认为。我认为，当你转向更强大的方法时，例如将预训练的 GPT-6 放入大量不同的具体任务和模拟中，并让它通过反复试验和强化学习来完成许多任务，当然，最终它将获得一致性，原因与进化在你身上产生一致性能力的原因相同。能够制定一个一致的计划并据此行动非常有用。

我们正在讨论使用语言模型，因为它们编码了有趣性、文化、先验等概念。在某种程度上，我们可以对齐它们，对吧？所以如果你现在使用主要的前沿语言模型之一构建一个多智能体系统，它不会删除你硬盘上的所有代码，对吧？有一些防护措施到位。不完全是。它肯定可能会删除你硬盘上的所有内容。

好吧，例如，我使用 Open Interpreter，它实际上非常好。所以，你知道，如果你说类似于删除我的整个硬盘驱动器之类的话，它会说，不，我不会让你那样做。好的，有趣。所以你有一些额外的检查，但是现在世界上很多人，包括我自己，都让语言模型生成代码，并且经常被一种感觉所迷惑，那就是它非常好，并且只是运行该代码而没有检查它。是的。

我自己也没有防护措施。我需要向你学习，在我的系统上设置这些防护措施。是的，是的。但是你认为这是一种重要的安全措施吗？仅仅是在已经对齐的语言模型之上构建多智能体系统？为什么这会使事情更安全？所以我们可以进行 RLHF。因此，语言模型将具有伦理概念。它将具有不安全代码的概念等等。

是的，总的来说，我认为对齐比没有对齐更好。我对近年来在对齐方面取得的进展感到非常高兴。所以我认为它比没有它更有意义。然而，至少有两个问题。首先，如果你允许系统继续训练，那么很容易放弃对齐。所以如果你开源一个模型，任何人都可以将 RLH 直接从系统中训练出来。

这如果你采用该事物，并且正如你所建议的那样，将其置于强化学习环境中，其工作是完成某些任务，某些新任务，并且它没有同时接受训练来完成对齐工作，那么如果它在如果它有助于完成目标任务以摆脱其道德规范，它将迅速做到这一点，因为这就是 rl 擅长的事情，即找出如何解决手头的任务

所以有很多方法可以取消对齐。这让我担心。另一件让我非常担心的事情，现在我们开始谈论 AI 安全了，那就是 AI 安全中至少有两个大问题。其中一个是无意造成的伤害。

所以我是一个非常高尚的人。我试图让 AI 做某事。例如，我要求它解决气候变化问题。而 AI 做的是我要求它做的，而不是我想要的。它说，哦，是的，好的，气候变化的原因是人类。所以我将杀死所有人类，诸如此类。有很多这样的例子。对齐允许它做我们想要的，而不是我们说的。因此，一个经过适当对齐的模型不会这样做。

因此，对齐使它越来越好，越来越好地减少无意造成的伤害。所以如果你让好人掌握 AI，它就会做好事。但我担心的另一件事是坏人手中的 AI。所以选择你的恶棍。对我来说，现在是普京。我不想要普京，或者我不想要像哥伦拜恩高中枪击案的那些人一样，他们想杀死尽可能多的人。

我不希望那个人拥有非常强大的技术。哥伦拜恩高中的枪手只能杀死他们所杀害的人数，但最终警察出现了，事情就结束了。如果他们有能力制造一种杀死所有人类的生物武器，或者如果某个种族主义新纳粹分子有能力制造一种杀死所有黑人的生物武器，有些人会想要这样做。随着你越来越擅长对齐，

它起作用了，这是一把双刃剑，因为现在模型与该人的恶意意图相一致，这取决于我们对对齐的含义，所以让我非常担心的是坏人手中的强大工具和人工智能，而正如我所说，rlhf 可以被取消，或者实际上可以帮助该人实现其目标，这取决于我们谈论的是哪种对齐，你认为这种技术与核武器之间是否存在类比

我认为有很多类比。其中一些很棒，而另一些则不太管用。我认为存在一种类比，因为它目前还不是，但很快就会变得极其强大，极其危险，如果我们不小心的话，可能会导致世界末日。我们想要调动我们带给核武器的那种

规章制度、周到性、预防、监控和外交来发展强大的 AI。你对开源 AI 怎么看？我们应该对其进行监管吗？我认为我们最终应该对其进行监管。我现在并不太担心正在发布的当前工具。

但我认为这是许多同事不认同的观点。但我实际上认为开源极其强大的技术非常危险，因为你把它给了所有人。如果 0.01% 的人想要创造某种可怕的生物武器来杀死，例如，一个种族的人或所有的人，那么现在每个人都有它。所以我们不会开源制造核武器的配方。

我们不会开源制造天花或特定种族天花的配方。同样，我认为我们不应该开源 AGI 的配方。我相信有一些替代方案，例如让民主政府联盟制造强大的 AI

让人们使用它并从中获得财富和利益，而无需访问权重，因为我们不希望他们放弃阻止它作恶的 RLHF。你如何调和这种观点与你对偶然性和开放性的观点？我的意思是，你可能会争辩说，拥有一个充满活力的开源社区是最好的垫脚石收集形式，因此也是找到解决方案的最佳方式。这是一个非常好的问题。

如果你想要对最强大、最有效的人工智能进行最快的科学发现，那么做我刚才说的那些让事情更安全的事情会减慢速度。所以你不会做我说的。

如果你只关心进步，那么原则就是正确的。这是进行发现的最快方法。但我们不一定想在无法安全地做到这一点的情况下遵循这些原则。如果这样做需要付出代价，我愿意付出代价。

Benjo 最近在一篇文章中说，我不记得确切的引言了，但大致意思是，他感到一种绝望感，他一生的大部分工作都可能导致毁灭。我只是想知道，你是否也有类似的感觉，你的很多工作都是关于构建下一代 gentile AI？顺便说一句，Benjo 实际上说，他认为我们应该做的不是制造 gentile AI，而是制造预言机和工具。但你怎么看待这个问题？

关于我是否后悔我一生的事业，例如，我是否对人工智能的发展感到绝望？我会说这个问题让我失眠很多。我对此进行了非常深入的思考。我每周都会与许多同事讨论这个问题。我会说这非常复杂。我认为没有简短、简单的答案。我的逻辑大致如下。

我认为我们制造人工智能可能是不可避免的。我对人类无法发明这种在经济上和军事上都具有价值的技术几乎没有信心，这主要是因为一种悲剧性的共同体集体行动问题。如果我们不做，其他人会做。所以如果这是真的，我更希望它是以正确的方式完成的

安全地由我认同其价值观的人来完成，我们通过 RLHF 等方式将价值观融入系统。因此，AI 本身是与之对齐的。所以我实际上觉得有一种义务

这样做是正确的。如果我有一根魔杖，我可以暂停人工智能，然后首先研究安全问题，只有在我们安全的情况下才这样做，或者根本不做，我会挥动那根魔杖。我已经签署了呼吁暂停的信函，并且我已经与 Benjio、Hinton、Kahneman 和其他人一起工作，发表文章说我们需要非常认真地对待这件事，并且要非常安全。但鉴于我没有那根魔杖，鉴于这是不可避免的，我认为我们需要安全地构建它，并且

让我担心的是，如果所有那些足够深思熟虑和有道德意识而感到担忧的人停止工作，那么剩下的会是什么？它将由那些不关心或积极地没有恶意的人来开发。因此，除非有一些重大的集体行动干预，否则我们必须这样做，并且我们必须确保它做得很好，并且做得安全。同时，

我认为我自己和许多其他人，我们经常谈论缺点和风险。很容易忘记巨大的好处。现在，人们正在向他们的孩子告别，因为他们的孩子患有癌症或某种不治之症。人们正在向各个年龄段的亲人告别。人们正在遭受饥饿和贫困的折磨。令人痛苦的人类痛苦和痛苦在这个星球上猖獗。

这项技术有能力消除所有这一切。我坚信我们可以治愈所有疾病，我们可以解决死亡问题，

如果我们正确地解决了社会分配问题，我们可以极大地提高人们的生活质量、GDP，消除饥饿和稀缺等问题。但在技术上，很多事情都是可能的。达里奥·阿马迪写了一篇精彩的文章，名为《爱的恩典机器》。我推荐给所有听众。它非常出色地引导你，让你沉思这些积极因素。它们很容易快速列出，但我认为实际上重要的是要仔细考虑所有这些巨大的好处。

我们想要那样。正如达里奥在文章中所说，他谈论 AI 安全的原因与我谈论的原因相同。因为这就是我们需要弄清楚的东西，以便释放所有这些伟大的东西。所以我不想死。我不希望我的孩子死去。如果我们可以从世界上消除这一点，并使死亡成为可选的，那就太好了。

而实现这一目标以及为人类创造许多其他伟大成就的唯一途径是通过技术。而人工智能是实现这一目标的最有效技术。因此，如果你把不可避免性、如果我们不做，它就会被做，而且很可能由那些不太谨慎或可能不太谨慎的人来做，以及巨大的好处结合起来，我最终得出结论，我自己是可以继续工作的，而且我想继续工作。

但我需要并且必须使 AI 安全成为我们工作中的头等大事。我

尽可能多地把它放到社区中，每个人都应该考虑它，并试图将 AI 安全融入他们的日常和每周工作中，推动 AI 安全科学、倡导、告诉政治家和监管者。我还与美国顶级政治家会面，并在闭门会议上向他们宣传这一点。

基本上，我想在安全方面尽我所能，但我仍然觉得尝试制造安全的 AI 并同时最大限度地减少缺点是一件好事。对这个集体行动问题的看法？我不知道你在这里主张什么，但我们需要某种全球治理结构吗？是的。告诉我更多。问题是我不相信我们可以做到。

我认为世界上并非每一个行为者都会同意。以普京为例。他真的会同意不制造强大的人工智能吗？即使他同意了，他还会秘密地这样做吗？如果我必须预测，我会说世界上肯定有一些秘密的政府资助的人工智能研究项目，正在秘密地为他们的军队和间谍机构等制造人工智能。我非常担心所有这些。

所以我认为我们需要监管。我认为我们需要全球治理。我个人的观点，我不是这些领域的专家，我是一名计算机科学家，而不是政治学家或外交官，但类似于价值观一致的政府联盟，例如民主国家，我们会建造这个东西，我们会努力使其安全。

我们将分享知识，我们不会开源权重，我们将与人类分享利益，我们将把利益给予人类，我们将监控并压制世界其他地方不光彩的角色创造人工智能，因为我们不希望有人在某个地方制造一个与价值观不符的

人工智能系统。所以任何同意参与的人，你都可以参与好处，参与，甚至可以参与我们所掌握的人工智能的民主治理。但如果你不同意，如果你不愿意遵守规则，如果你愿意以不安全的方式制造它，或者你想按照你自己的方式去做，并且不想让我们知道你正在做什么以及你正在做什么 RLHF 等等，我们将拒绝向你提供芯片。

或者我们将拒绝向你提供电力，或者我们将尽我们所能来减缓你的速度，因为我们不想制造一个危险的流氓人工智能，它不热爱人类，也不想做我们要求它做的事情。关于预警系统，当然，美国有 FLOPs 法规。除了他们正在进行的计算量之外，还有没有更好的方法来评估外国行为者的风险？

好吧，到目前为止，在强大人工智能的历史上，一个伟大的有益的幸运事件是，它需要大量的电力和计算能力来制造。

如果有人想出一种在你桌面上制造这个东西的方法，我将非常非常害怕，因为现在只需要一个坏人。除非好的 AI 可以以某种方式阻止坏的 AI。我们真的想要一场 AI 与 AI 之间的战争在地球上爆发吗？对我来说，这些特征中没有一个看起来很好。所以至少现在，在可预见的未来，我们可以追踪谁拥有制造这些东西的权力和能量，或者我们可以尝试。这使我们能够基本上了解谁正在训练最大和最强大的模型。

这是幸运的，我认为我们应该这样做。我认为在像外国这样的地方很难做到这一点，因为他们可能试图混淆视听。但如果你看看核武器，回到你提到的类比，

我们非常擅长监控谁在制造核武器。就像我们对伊朗和朝鲜在做什么有相当好的了解一样，我们已经减缓了他们的速度。我认为这很可能看起来很像那样，我们基本上是在阻止和拒绝向那些想要以危险的方式做到这一点的行为者提供零件和东西。

我没有看到任何其他的，我很乐意听取意见，但我刚刚在那里花了一整周的时间一遍又一遍地问这个问题。除了压制那些不想以安全、合乎道德的方式制造它，并且不想遵守规则的国家之外，还有什么方法可以压制那些坏人？我还没有听到任何人提出一个不涉及某种形式压制国家的好主意，你知道，那些国家不想遵守规则，也不想以安全、合乎道德的方式制造它。

让我们谈谈你的 ADAS 论文。我想这里的一个原则，我前几天和 Chong 谈过，顺便说一句，绝对令人惊叹的东西。所以也许为了概述一下，我们刚才谈论的是，你知道，达里奥和每个人都应该观看他的 Lex 采访。太棒了。就像，你知道，好几个小时。我喜欢它。但他的思想学派非常认为，你知道，这些东西越来越好。我们把它们做得越来越好，越来越好，越来越好。但是

我有这种直觉，我认为你也有，那就是有一种更好的方法，那就是构建某种多智能体系统。现在当我们构建多智能体系统时，我们正在手工制作它，对吧？所以我们使用这些模式，例如辩论模式和批评模式，以及上帝知道还有什么其他的模式。我们只是在将所有这些不同的代理拓扑结构组合在一起。你所做的是找到了一种自动化该过程的方法。没错。所以现在，

人们最近发现，嘿，如果我让GPT或你的前端模型做某事，它可以给你答案。但如果你创建一个复杂的东西，我称之为工作流程，就像流程图一样，效果会更好。首先问它这个问题，然后让它反思那个答案，也许三次，详细说明它的推理，然后也许调用一个新的语言模型来审查这件事并写一篇评论。然后原来的那个阅读评论，更新内容。所以有一些复杂流程图

最终它会给出你的答案，好吧，有些人称这些为代理，这是当前的词语，我实际上不喜欢这个词，因为神经网络玩星际争霸和围棋，你知道，一个神经网络只是在某些游戏中采取行动，也是一个代理，它们对我来说感觉不同，所以在我的实验室里我们讨论了很多，我们最终确定了术语，社区的某些部分正在使用它，那就是称之为代理系统

好的。所以现在正在开发许多代理系统。它们比仅仅向语言模型提出一个简单的问题要强大得多、能力也更强。它们也不一定只涉及对语言模型和特定提示和模式的多次调用。它们也可以是工具，例如，系统可以向谷歌学术或语义学者发出查询，获取结果。它可以使用计算器。它可以编写代码并执行它，所有这些东西。

好的，所以人们目前正在手工设计复杂的代理系统。它们效果更好。然后其他人查看人类迄今为止发布的所有代理系统的库。他们有一个想法，哦，如果我以这种方式修改这个系统呢？或者如果我将这两个代理系统的这两个部分结合起来呢？那么，

如果你熟悉我的实验室和我的同事，我们的想法，这基本上是2019年AI生成算法论文的论点，那就是机器学习的历史写得很清楚。那就是手工设计的系统和管道将被完全学习的管道所取代，因为我们拥有更多的计算能力和数据。

那么，为什么不将同样的想法应用于代理系统的创建呢？所以我的博士生孙仁来找我，他说，嘿，你的年龄AI理念是AI机器学习系统比手工设计的系统更好。人们正在手工设计代理系统，而且它们很强大。为什么我们不AIGA这个东西，学习这些代理系统呢？

所以我们说，这是一个好主意。现在，如果你想学习代理系统以使其越来越好，你可以使用经典优化，拿一个东西，尝试制作更好的东西。如果更好，就保留它，你知道，让它越来越好。但是我们从开放性和质量多样性算法中获得了所有这些想法，它说通往强大事物的最终路径不是一条直线。如果你只尝试实现这个目标，它就不会实现。

那么，为什么我们不把开放性的策略从货架上拿下来，说，我们将采用一个代理系统，然后让系统查看它并创建一个新的系统。如果它很有趣或高性能，则将其添加到我们拥有的系统中。

然后查看这些系统，生成一个新的系统。如果它很好，如果它很有趣或高性能，则添加它。我们将扩大这个不断扩展的集合，这个不断扩展的垫脚石或创新库，不同的代理系统，每个系统都是新颖的，它们彼此不同，它们做的事情也不同。随着我们的发展，我们将获得这个不断增长的代理系统的大型库。最终，我们可能会发现比我们选择一个目标并尝试对其进行优化时发现的性能更高的系统。

这就是我实验室中许多论文中的策略。它奏效了，你知道，基本上从ADAS开始就奏效了。所以我们称之为ADAS，即代理系统的自动设计。这就是ADAS。ADAS基本上是在说，让我们使用开放性来设计代理系统。它效果很好。

我喜欢它。有很多东西可以谈论。当然，你尝试过的一件事是arc挑战。我们前几天在这里有Cholet。我们稍后会回到这一点。但是这里存在根本的哲学差异。所以像Dario这样的一个学派主张的是，你只需要不断训练这些东西。

我们看到了这些迷人的行为。所以，你知道，像神经网络一样，由于它们的归纳先验和随机梯度下降等等，它们开始，有一个课程。他们学习低复杂度的特征，然后学习越来越复杂的特征。然后是某种巩固阶段或理解阶段。NeurIPS上有一篇论文叫做沉积，我认为，你知道，突然之间，复杂的特征在早期就得到了巩固。你可以说这是你正在谈论的某种隐式形式。因为我们所说的就是，

我们遵循Ritz-Sutton。我们认为是手工设计和明确的一切都变得越来越隐含。你主张一种有趣的融合，这有点像存在明确的混合组件，但它是元学习的。是的，你提出了一个很好的观点，那就是你可以尝试创建一个系统，其中

代理系统中的任何逻辑，首先我应该这样做，然后我应该考虑一下，然后我可能应该问一个朋友，得到他们的评论，也许然后我进行网络搜索并将其带入。无论该流程图是什么，所有这些都可能存在于原始转换器中。但我们已经了解到，思维链比你添加思维链的原始模型更好。反思也是如此。

人类也是如此。像我自己一样，我可能会去找一位顾问，说：“嘿，当我写论文时，一个真正好的流程是什么？”好的，首先做一个提纲，然后这样做，问问一些朋友，得到他们的反馈，扩展每一件事，然后做一次传递，然后休息一周不要看它，然后和朋友们一起回来，无论如何。我大脑中有一些推荐的东西，它遵循某种流程图，这使得它比我拥有的大脑更好。

所以理论上，我可以在我的大脑中拥有所有这些，并进行操作，然后一次性完成文章，或者我可以在我的激活中拥有所有这些。但是我们已经从我们的大脑和这些模型中看到，很难将所有这些都正确地放入大脑的权重中。更容易训练那个东西，然后在其之上做一些事情。所以我确实认为这里有一个很好玩且有趣的点或教训，那就是目前正在发生的大部分事情

在代理系统之后添加的内容可以蒸馏回原始事物，然后你可以重复这个过程。因此，ADAS总是给你带来比基础智能高20%的提升，但基础智能可以增长，你总是会得到这20%的提升。这是我的热门观点，以前没有人问过我这个问题。我认为这非常深刻且有趣，我的头脑里充满了我们可以朝这个方向进行研究的想法。

所以我认为我们基本上不知道答案。我们应该做得更好吗？我们应该减少痛苦，将情报放入代理系统中吗？或者我们应该只让核心事物变得更聪明？我的直觉是，我们总是会在基础智能之上为这些代理系统发挥作用。有很多方向可以走。我的意思是，我们可以讨论这两种范例中的计算差异。

我认为LLM系统具有与一个LLM相比非常有趣的计算特性。你谈到了系统发育。这是一个很好的例子，你知道，彩票假设，那就是你需要空白石板。随机梯度下降需要所有这些无用的参数，然后

训练完成后，我们可以将其全部去除。这里也是类似的情况。我们可以创建这个代理架构，但是之后将其放回神经网络中并不是那么简单。是的。我指的是，为什么代理系统可能总是很有帮助的一个简单例子。我的意思是，并非总是如此，但可能是多样性。例如，当我写一篇关于AIGA论文的文章时，我不会只写完就发布。

我会写完并将其发送给Ken、Joel和我的其他同事和朋友，我会得到他们的反馈。他们给了我非常好的反馈。我实际上是在寻求多样性。我请不同背景和观点、哲学和风格的不同人士来获取他们的所有反馈。我得到的反馈越多，文章就越好。现在，理论上，如果我真的很聪明，

我可以在我的脑海中有一点点东西，它说，像Ken一样行动。使用你对Ken的模型来审查你自己的论文，并根据Ken的观点对其进行改进。我可以在我的脑海中拥有Joel和Ken。我可以在我的脑海中拥有你，我可以在我的脑海中拥有怀疑论者。但这实际上相当困难。所以可能更容易拥有在不同数据上或出于不同目的而训练的不同代理。

然后对这些其他事物进行集成或同行评审，以给我提供反馈。这就是代理系统可以很好地为你提供的东西。很难将其全部提炼到——很难，但并非不可能将其提炼到基础模型中。MARK MANDEL：这是一个非常有趣的观点。

再次，喜欢Kenneth Stanley。他谈到我们是代理。我实际上认为代理与他的哲学之间存在很大的联系。所以我们遵循我们自己对趣味性的梯度，我们可以独自走很多步，发现有趣的新知识，然后再与集体分享。我想，两者之间有什么区别吗？

一种我们拥有持续学习和主动推理的代理系统，代理可以随着时间的推移发生变异和适应，与我们只拥有使用前沿语言模型的自主代理的空白石板版本相比。是的，我认为最终我们可能想要

持续学习。顺便说一句，我已经研究这个问题多年了，这只是一个我们根本无法解决的问题。告诉我更多。事实是，我们根本没有能力让模型持续学习并发生好事。因此，每个强大的模型，例如GPT-4或选择你的前沿模型，它们都在一堆数据上对其进行训练

然后他们停止。也许他们会进行一些监督微调，然后他们停止。然后也许他们会进行一些RL微调，然后他们停止。他们没有做的是说：“嘿，从你与世界各地所有用户的每一次对话中，从你拥有的每一次互动中，继续永远学习。”这就像我以及我们领域中的许多人都有过的梦想，没有人知道如何做到这一点。所以基本上，这太难了，我们完全没有掌握生物学已经弄清楚的事情

它真的不在大多数人的雷达上。这并不是大多数前沿实验室正在努力的事情。在某些时候，我认为我们会回到这一点。

仅仅是架构的复杂性吗？我的意思是，我可以想象一种方法可能是拥有一个两百万个上下文窗口，并且上下文窗口随着经验的增长而增长。或者我们可以进行测试时间计算。我们可以拥有一个中间个性化模型，它为大型模型生成上下文或其他内容。我的意思是，感觉我们可以朝这个方向做一些事情。确实如此，而且有趣的是，偶然减轻了对弄清楚持续学习需求的压力的因素之一是上下文学习。

特别是大型上下文。因为如果你的上下文足够大，并且你的上下文学习足够好，那么你可能不需要进行持续学习，因为你可以通过上下文来处理所有这些。例如，如果我想要一个AI助手，如果我想要一个前沿模型作为我的AI，就像电影《她》中一样，一个与我一起度过我整个人生、了解我和我的喜好并可以与我谈论过去发生的事情的代理，

那么，它要么必须随着时间的推移了解我的喜好，要么它必须拥有如此大的上下文，以至于每次互动的所有视频、所有音频和所有文本都只是坐在其中。但即使如此，你可能也希望她的代理同时训练地球上所有人的互动。我只是认为我们不会训练一个如此聪明的模型

然后它可以根据其他所有内容进行上下文学习。新的事物正在发生，并且有如此多的好数据。在某些时候，你希望将这些数据从上下文转移到权重。在你大脑中，你不仅进行上下文学习。你大脑的权重一直在更新。所有长期记忆，例如，甚至某些形式的短期记忆，

所有这些都进入你大脑的权重。所以生物学已经解决了这个问题。当你现在学习一些东西时，你不会从根本上、灾难性地忘记几周或几个月前学到的东西。但是当前的AI系统都会发生所谓的灾难性遗忘。当我们解决这个问题时，所以我们创造了一个温和的、持续学习的AI，你认为系统的动态在能力方面会有显著的不同吗？当然，是的。我的意思是，想象一下，现在，

像前沿模型一样，当我和你同时在地球上交谈时，它们正在进行数亿次对话。如果一个系统可以从所有这些对话中学习，它会变得多么聪明？多快？

你能不能从某种星系大脑的意义上争论说，我们形成了一个模因超级智能，我们，你知道，我一直在倡导我们可以拥有个性化的中间小型模型，这些模型进行转导主动微调和反馈到主模型。在某种程度上，这就是我们所做的。我们已经是LLM的扩展思维了。所以我们不应该期望看到更多的活力，即使数据延迟摄取回语言模型？

我没有听到问题，你能再说一遍吗？好吧，从某种意义上说，我们已经是……我们形成了一个智能系统，我们就是控制语言模型的代理。我们生成馈送到语言模型的数据。我们进行持续学习等等。所以这几乎就像我们不应该已经期望系统仅仅因为我们是语言模型的用户而能力会大幅提高？好吧，是的。我的意思是……

人类正在变得或变得更有生产力，因为他们使用了语言模型。正因为如此，我们正在做更多的事情，产生新颖的代码、有用的代码、数学问题的新的解决方案、生物学、科学、机器学习中的新发现。因此，作为该过程的结果的数据正在被转储到互联网上，这为停止并训练新模型提供了素材。

但是你难道不觉得这里缺乏连续性吗？我们没有持续地从与人类的互动中学习。我们没有持续地从在线发布的新事物中学习。这一切都像是非常人为的，

你知道，获取一些数据，对其进行抓取，将其过滤到我们认为高质量的内容，将其放入训练集中。现在我们将进行训练。现在训练完成了。现在我们将部署。也许在部署中，我们将获得新的互动。我们将从用户那里获得一些评分，点赞，点踩。我们将将其存储在数据集中。三个月后，当我们拥有具有这些超参数的合适的GPU时，我们将尝试几次不同的运行以产生更好的结果。然后我们将部署该事物。这根本不像，

根本不像你在生活中不断学习、每天从每一次互动中变得更好，这种方式不会抛弃你已经学到的很多东西，而是建立在你已经掌握的知识和永无止境的美丽发现和技能提升过程的基础上。基本上，这就是梦想，我们还没有实现。我们离它还差得很远。

如果你不介意的话，我想回到你之前提到的另一件事，那就是在Omni的论文中，你提到我拥有这个，好吧，实际上要追溯到诗人。我拥有这个，这个情节，这是我职业生涯中最喜欢的图之一。我喜欢这个图的原因是为了给你的听众画一幅图，那就是到目前为止生成的各种环境的系统发育树。

在我的整个学术生涯中，我一直都在寻求创造出类似于自然界系统发育树的东西。那么生命之树是什么样的呢？它包含了细菌、真菌、动物等发明。然后在动物中，它说动物是一个好主意，真菌是一个好主意。我将不断创新并从每一个中汲取垫脚石，并在其之上构建。然后在动物中，你会得到像，你知道，大型猫科动物，然后你会得到像啮齿动物一样的东西，

然后在啮齿动物中存在无休止的创新，但在构建大型猫科动物理念的基础上也存在无休止的创新。所以你会得到更多更好的猫，更多更好的机器人，更多更好的蘑菇。所有这一切都在发生。因此，如果你观察它，它是一棵树，这棵树有很深的树枝。像真菌的树枝一样，它们持续很长时间。从历史上看，在A-Life、进化计算和开放性中，每次你运行任何东西时，多样性都会崩溃。

你知道，你不会同时探测到根本不同的类型的东西或想法。因此，在诗人中，这是我们第一次看到具有深层分支的系统发育树。这并不是确切发生的事情，而是隐喻的，因为在这种情况下，诗人自己发明了环境，但它就像它发明了水世界一样。

然后在这里它发明了森林冠层世界，在这里它有沙漠世界，它会永远推动更好的沙漠世界、水世界和树冠层世界，并且变得更好。这棵树只是在生长和填充。这就是为什么我喜欢它并认为它如此美丽的原因。你提到了Omni。让我对Omni感到非常兴奋的一件事是，它现在正在这样做，但在任何事物都可能存在的搜索空间中。这是一个达尔文完备的搜索空间。

正如你提到的那样，它首先说，哦，这是一个障碍赛。这里有这些平台。首先，平台是静态的并且彼此相邻。然后平台上下移动，代理必须从一个跳到另一个。然后它将平台分开，并使其上下移动。所以它是在障碍赛和平台的概念上即兴发挥。然而，在某个时候，因为它有兴趣感，它就像，好吧，另一件有趣的事情是踢球。

所以首先只是踢球。然后是将球踢过球门。然后是将球踢过移动的球门。然后是将球从墙上踢过球门。然后将球从墙上踢过移动的球门。然后将球从移动的墙上踢过移动的球门。所以你可以看到它是在越来越复杂的踢球领域上即兴发挥。

在某个时候，它就像，好吧，这有点无聊。我将创建一个小型传送带系统，你可以在一系列传送带上放置包裹，你必须提前知道通过将其放在这里，它最终会被推到这个方向，然后是那个方向，那个方向。它最终会落在蓝色区域而不是绿色区域。它正在学习控制该系统。它开始发明更复杂的建筑物，例如搜索两居室建筑物、四居室建筑物、四层建筑物。然后最后，它开始说，我要创建一个类似于

一个你需要清理的建筑场景，最后一个我最喜欢的场景是一个凌乱的餐厅，机器人必须从所有这些桌子上清理盘子

所有这些都在一次运行中出现。我们运行得越多，我们就得到所有这些东西。如果我们运行更多，我们只会得到更多。所以我真的不知道如果我们运行这个东西一百万年会发生什么。代理将只是在技能上升级，那么在这个算法中一百万年后的环境是什么样的呢？所以你可以绘制这个算法的系统发育树。它只是它在许多不同的同时方向上持续创新，有时将这些结合在一起的事实。

它开始让人感觉我为什么开始研究开放性。它让人感觉达尔文进化论的魔力，以及人类文化的魔力，对吧？人类科学界不断发明新的问题和新技术，从而解锁新的问题。我们在化学和生物学、CRISPR技术、疫苗技术、材料科学等领域不断向外扩展。

现在我们的算法也开始这样做。AI科学家就是这样做的。ADAS就是这样做的。Omni Epic就是这样做的。我们有一篇新论文，我们在自玩中这样做，我们为竞争性协同进化军备竞赛的每一侧都有不同的策略。甚至我们还没有讨论过的一项新工作，但我希望快速提及一下，那就是我们现在正在使用AI的想法来进行AI安全。所以从货架上拿一个新的语言模型。

在你部署它之前，你可能想知道，它是否有任何令人惊讶的故障模式？它是否有一些你可能害怕或担心的令人惊讶的新能力，你想削弱、消除或不允许、阻止、训练出系统，或者只是意识到它很酷并且你想分享。我们可以做一件新事情。所以

所以我们启动了一个开放式系统，同样的方法，系统会说，嘿，你能做到吗？你能做到吗？你能做到吗？鉴于我们已经发现的关于它能做什么和不能做什么的东西，这现在是我们知道的一些东西的小型库。然后我们问，接下来有趣的事情是什么？接下来有趣的事情是什么？接下来有趣的事情是什么？我们不断扩大对模型失败和成功令人惊讶方式的发现库。所有这些都是使用开放式技术的原理自动完成的。

开放性。因此，现在一个新的前沿模型可以来到我们这里，并说，嘿，我们想提前自动对我们的系统进行红队和绿队测试，基本上为我们描绘我们还不知道的图景。从某种意义上说，我们正在捕捉人类科学家群体中的魔力。就像你把一个新的模型放在线上，头三个星期会发生什么？每个人都在说，嘿，它不能在草莓中持续三个小时。它

它可以完成这项疯狂的新编码挑战。它可以完成这项新的推理挑战。每个人都在查看人们到目前为止发现的内容，并说，嗯，如果它不能在草莓中持续三个小时，它能做到吗？它能做到吗？试试看。如果你发现它很有趣，请将其添加到其中，发推文，对吧？这相当于将其添加到垫脚石集中。

所以基本上我们自动化了Twitter。Twitter对基础模型、能力和安全问题的自我发现。我们已经在这个由宋刘开创的新算法中完成了这项工作，该算法称为自动能力发现或ACD。但重点不是任何一个项目。重点是如何将这个相同的基本方法，它可以追溯到开放性和Ken Stanley以及Joel Amon以及我们近十年甚至更长时间以来一直在做的工作，几乎在我们将这套原则应用到的任何地方，

好东西就开始发生了。这就是为什么我如此确信这些方向令人兴奋且有利可图的原因。是的，太不可思议了。所以世界上有很多东西，比如，你知道，文化、语言等等。我们构建了一个人工系统，它代表了其中许多特征。

不过，我还想问你一个问题。所以，你知道，OmniEPIC 非常迷人。你刚才说你可以追踪这个系统发育，你会在这个系统发育中得到这些分歧点，对吧？所以我们可以进行拓扑分析。

我只是想知道，如果你可以访问一台超计算机，它可以进行无限量的计算，并且你可以进行许多实验，如果我们只是创建所有这些系统发育并进行拓扑分析以查看分支结构等等，你会看到什么？这是一个很好的问题。这实际上，我不知道你是否知道，但这是进化生物学中最基本的问题之一。所以它是斯蒂芬·杰伊·古尔德提出的。是的。

它被称为，它基本上是在隐喻下进行的，如果你倒带生命之带并重播它，会发生什么？所以存在一场辩论。你会再次得到人类吗？人类会非常相似吗？他们会从类人猿祖先那里进化而来吗？或者海豚会变得聪明吗？或者什么都不会变得聪明？进化生物学的趋同性、可重复性如何？

显然，我们无法生活在另一个宇宙中，所以我们不知道。但一些人一直在试图回答这个问题。因此，我成长起来的实验室里进行了一系列大量的研究工作。实际上，Rich Lenski 和他的实验室。Rich Lenski 实际上是实验进化的鼻祖。大约 30 年前，他开始了一项实验，他创造了，我取了一个大肠杆菌细胞，或者可能是 12 个细胞，他同时让它们进化。它们最初在 12 个独立的培养皿中非常相似。

或者说是烧瓶，它们根据进化永远生长下去。其中一个问题，也是许多问题之一是，这 12 个系谱会走向相同的方向吗？它们最终会到达同一个地方，还是会朝着截然不同的方向发展？简短的答案是：这很复杂。有些事情似乎在所有系谱中都会发生。有些事情对个体来说是极其独特的。因此，在 12 个系谱中的一个中，

它基本上发明了一个新物种。大肠杆菌的一个物种定义是在某些条件下，我认为是厌氧的，但我可能会把这个故事的一些细节说错。在某些条件下，它不消耗这种叫做柠檬酸盐的物质。碰巧的是，Rich 在最初的实验设计中，因为大肠杆菌不能消耗柠檬酸盐，它就像一种常见的增稠剂。

所以它就一直存在于烧瓶中的培养基中，就像在水中，实际上是在空气中，对这个东西来说是液体。到目前为止，12 个系谱中的 11 个，除非我的故事在几周内有点过时了，

12 个系谱中的 11 个不消耗柠檬酸盐。但 12 个系谱中的一个违反了大肠杆菌的物种定义，并学会了如何消耗这种食物，这种一直存在的资源。好的。所以它可以说是某种新物种。对此存在争议。但就这个问题而言，真正酷的地方不仅仅是它在一个系谱中发生而不在其他系谱中发生。

但当它发明了这种适应这种资源的惊人新能力后，这非常困难，它可以说是使它成为一个新物种。他们想知道，这在 12 个系谱中是否可重复，而是在该特定系谱的历史中。事实证明，因为他们经常冷冻物种样本，他们拥有该特定谱系的完整化石记录，该谱系最终发生了惊人的物种形成事件。所以有一个……

我的一个朋友 Zach 回去研究了这个问题，他基本上可以回去取一些化石，一些来自该谱系的化石样本，比如几天前，然后培养很多样本。有多少样本会产生柠檬酸盐？再往前推一点，比如几周。

并制作许多副本。这些东西有多少最终会到达同一个地方？你可以更进一步，你可以追溯到几个月前，几年前，五年前，并说，发生之前是否有一件神奇的事情？一些幸运的闪电击中使这成为可能？或者是一些突变为这个事件奠定了基础，并从那时起使其变得几乎不可避免？这种奠定基础的阶段有多久？

他们发表了很多论文，发表在世界顶级期刊上。基本上，答案是复杂的。有一些阶段设置。因此，你回溯得越远，获得柠檬酸盐的可能性就越小。但是如果你不回溯太远，你肯定可以反复获得柠檬酸盐。这是一个复杂的函数。长话短说，进化既有偶然性，也有一些始终如一的主题。

所以在我们自己的算法中，我们可以研究这一点。这就是我开始研究这些东西的最初原因之一，是为了通过反复进行开放式运行来解决诸如此类的问题。你可以研究进化或你正在使用的任何算法的偶然性。这很美妙。我猜想两者都有。有时你会得到随机的魔法，导致一些几乎不可能重复的事情。但有一些主题，比如事物变得更智能，更复杂。

你也可以做同样的事情，而不是用这个过程。导致最终产生非常酷的东西的系统发育过程有多一致，但最终的人工制品。假设我们在 1000 次不同的运行中进行了开放式运行，我们得到了 800 个产生了通用智能的运行。但现在你可以获取最终的智能并观察它。它有多不同？这里的数学和那里的数学看起来像什么？这里的音乐是什么样的？它们都有音乐吗？它们都有幽默感吗？

它们有爱情的概念吗？它们有好奇心吗？它们探索感的差异是什么？是的，谈论外星智能的空间是令人着迷的。但是，是的，所以主题可能是复杂性和智能。主题可能是，你知道，形态。有一件很棒的事情，不是吗，叫做形态趋同进化和蟹化，在那里，你知道，蟹状形式出现在系统发育的不同部分。

我有点想知道，我想，这是否可以通过涌现来描述，通过某种基础系统发育功能的相互作用动力学，或者某种物理决定论或类似的东西来描述。但我确实想问你另一个关于全能史诗的问题，那就是

进化中一件有趣的事情是隔离，对吧？所以，你知道，我们有所有这些进化区域，它们只是就地发生，并且不与系统发育的其他部分共享信息。这对生态位构建等等非常非常重要。在像 OmniEPIC 这样的东西中，这是算法的一个操作参数，即环境和代理之间信息共享的程度。你会对研究这个感兴趣吗？这是一个很好的观点。

在我回答这个问题之前，我只想对前一个问题发表一个评论。有一句很棒的引言说，如果宗教不存在，就需要发明它。是的。对吧？所以你可以问这个问题。就像，这 800 个出现的智慧种族中有多少发明了宗教，例如？人工智能会发明自己的宗教吗？你感兴趣的任何属性，你都可以去看看。不仅仅是……

他们是否发明了它？它是什么样的？它是否不同？但它有多一致？如果我们破解了开放性，所有这些都是你可以做的如此美丽的科学。我发现它如此迷人的众多原因之一。好的，关于 Omni 的事情，Omni 非常有趣，因为你可以做出一些选择，正如你提到的那样。好的，假设你有一个库，所以 Omni 现在正在尝试生成，只是为了你的听众，它正在尝试自动生成一个无穷无尽的有趣环境流，对吧？

如果一个代理在其中训练，它将学习一些新东西。好的，所以如果你正在做你的工作并且它确实有效，你会得到这大量的环境，它们都很有趣地不同。在它们被发明的时候，代理从学习它们中获得了一些好处。好的，现在当你选择一个环境时，例如选择杂乱的餐厅场景时，从算法设计的角度来看，当我们制作 Omni 时，我们有一些选择。你可以做的一件事

你可以说，嘿，取餐厅场景环境。哦，顺便说一句，我还没说呢，但是当我们生成新环境时，我们要求语言模型查看当前餐厅环境的当前代码。

并使下一个有趣的环境具有较高的学习进度。它很有趣地不同，它将具有较高的学习进度。然后语言模型输出代码，然后我们检查它是否有趣。所以我称之为智能突变算子。这有点像进化。你拿一个东西，稍微改变一下，看看它好不好。但你现在不会随机改变它，因为如果你随机改变代码，它就不会编译。

但相反，我们获取指定杂乱餐厅的代码，将其提供给语言模型，并说：“嘿，这是一个代理目前可以做得很好的环境。接下来是什么？”它可能会说：“哦，让我们用更多的桌子或更多的餐具来做，”或者，“让我们添加其他代理，它们正在积极地，比如，不断地进入餐厅，”或者，“让我们让桌子在浮动中上下移动，”或者，你知道，它想做什么。它将对环境进行一些有趣的变异。

但是当你询问系统时，你能否做出下一个有趣的事情？你给它多少东西？你可以只给它餐厅场景，或者你可以给它餐厅、杂乱的餐厅场景和将球踢过移动球门。

然后也许突然它就像，啊，我要结合这些想法，有一个餐厅场景，但服务员不能收拾所有的盘子。它必须把盘子扔到房间的另一边，扔到一个移动的桶里或类似的东西。对吧？所以你得到了这个，你不需要将自己限制在两个父母身上。你可以给它整个档案，并说，看看迄今为止作为上下文学习的所有环境。现在接下来是什么？

好的，让我们假设你做了后者。你给它整个上下文，它会产生一个新的东西。那么，你怎么画出它的系统发育树呢？从某种意义上说，一切，每个新事物的父母都是之前的一切。

你无法绘制树，因为我们尝试了该版本的树，并且它确实推动了移动球门，例如足球世界和障碍赛世界以及杂乱的餐厅场景世界，因为它仍然知道人类对有趣性的概念，但不再有这种直接明显的方法来绘制系统发育树

在当前系统中，如果你好奇的话，我们所做的是我们发现非常有效的方法是，你随机获取一种类型的环境，例如杂乱的餐厅场景，

然后我们不只是想把它只提供给系统并让它生成下一个东西，因为它可能之前已经看过杂乱的餐厅场景并已经生成了下一个东西。所以我们所做的是，我们获取杂乱的餐厅场景，然后我们使用嵌入来说，现在给我五个最接近餐厅场景的东西，例如。将这五样东西提供给 LLM 并说，这是你迄今为止制作的一些环境集群。生成新事物。

它做到了，但这使得绘制系统发育树变得复杂，因为现在可以说这个环境有五个祖先。因此，在我们实际的图表中，我相信当我们绘制线条时，我们从五个祖先中获取最接近它的一个，这就是我们用来制作漂亮图片的一个。但实际上，这幅图是某种你没有看到的复杂互连网络。还有一个有趣的事实，在它生成一个新环境后，例如我们给它五个，我们说接下来是什么，它生成一个它认为很有趣的新事物。

我们不一定想相信这个东西是新的，因为它可能是它已经生成的东西。因此，一旦我们有了这个新事物，我们就会使用嵌入提取与该事物最接近的五个事物，并说，嘿，你刚刚生成了这个。以下是档案中已经存在的五个最接近的事物。你仍然认为这算作有趣的新事物吗？如果它说是的，那么它就在里面。我喜欢这一点的原因是它基本上就像研究生或教授。

你阅读了一些论文，你受到了启发。嘿，这实际上让我觉得这是一个好主意。但是，如果你做得对的话，希望你不要花一年的时间去做这个新想法，而是先做一个文献检查。现在你已经有了这个想法，可以说，这个想法实际上已经做过了吗？如果没有，那就开始吧。太棒了。

甚至像多重继承这样的东西，人工世界中有很多拓扑结构实际上可以让我们以非常巧妙的方式超越自然世界。Jeff，我想谈谈你在哲学方面的背景。所以你主修哲学，对吧？当然，你现在是计算机科学教授。这如何影响你的轨迹？好吧，我的意思是，从非常实际的角度来看，我认为如果你获得技术学位，你不会花足够的时间去学习的一项技能

就是沟通。因此，仅仅成为一个人文学科专业的学生就让我花了很多时间进行清晰的写作、清晰的思考和清晰的沟通。所以我认为在我的职业生涯中，优先考虑这一点是有帮助的，例如，如果你做了一些非常棒的事情，但你无法向其他人传达为什么它很有趣以及你做了什么，

那么你的影响力就会小得多。所以我认为这在实践中有所帮助。我还认为哲学确实培养了非常清晰的思维能力。它确实迫使你质疑你的假设。所以我认为在我做科学时，一个天赋是认知怀疑论，这是哲学术语，意思是不要相信任何东西，要持怀疑态度，你知道的。所以在我的职业生涯中，有很多次我和某人一起工作

他们说，好吧，我们做了这个，我们得到了这些结果，因此我们可以得出这个结论。我说，慢下来。我们确定我们知道吗？我们怎么知道？那个假设会做出什么预测？我们可以检验这些预测吗？通常人们会停下来说，实际上，我们实际上并不知道。这是尝试弄清楚的正确实验。有时当我们做这个实验时，它证实了我们所想的，而通常它会证伪我们所想的。

所以我认为非常非常怀疑是哲学家和科学家的一个伟大特质。那么哲学家是如何成为计算机科学教授的呢？这是一个很好的问题。事实上，这是一种讽刺的长而曲折的迂回路径，把我带到了这里。绝对不是一条直线。

所以我有点，你知道，艺术追随生活，或者生活追随艺术。所以故事是这样的，我在硅谷的网络繁荣时期工作，实际上是在营销部门，我并不真正喜欢我正在做的事情。所以在我办公桌旁，我阅读了我感兴趣的事情的文章。我偶然看到《纽约时报》的一篇文章。

它点燃了我的思想。这篇文章中发生的事情是，人们创造了一个虚拟世界，他们可以在其中使用进化算法、真实的突变、真实的适者生存来进化虚拟生物。当机器人形态随着时间的推移变得足够好、足够适应时，它会自动将设计发送到 3D 打印机。他们会 3D 打印机器人，它们会爬到现实世界中。

我记得读这篇文章时，我的脑海中响起了一声巨响。我想，我读到的所有东西都太棒了。事实上，你可以在计算机内部实例化进化，这意味着你可以研究它。这意味着你可以问诸如它有多可重复性之类的问题？为什么有性繁殖而不是无性繁殖出现？如果你有三个父母而不是两个会发生什么？你知道，你如何获得相互合作、发明语言的代理？

你想了解的关于进化的一切现在都可以测试了。这太棒了。你可以利用它来制作非常酷的工程设计，甚至可能是智能本身。所以发生了。当时，我真的不知道，你知道，

我不知道如何了解更多信息。我要说的是，作为一个哲学家，我没有训练我这些叫做论文的东西，你可以继续阅读。所以我不能学到更多，但这深深地印在我的脑海里。所以我对我的 .com 工作不满意，辞去了工作，在 15 个月的时间里环游世界，背着背包生活，冲浪，旅行，热爱生活。最后，我说，好吧，我从旅行中回来了。我想用我的余生做什么？

答案是，我说，我想做那个人正在做的事情。所以我回去了，找到了那篇文章，它一直没有离开我的脑海。我说，好吧，事实证明这个人叫 Hod Lipson。他是康奈尔大学的教授。我说，让我们联系他。所以我给他发了一封电子邮件，我很想找到并挖掘出来。我说，嘿，我是一个哲学专业的学生。我刚刚环游世界。我真的很喜欢你在《纽约时报》封面上做的工作。

“我想加入你的实验室，你能让我进去吗？”他出人意料地回信说：“好吧，你实际上无法进入康奈尔大学的计算机科学博士课程。它是世界上最好的大学之一，拥有哲学专业的本科生。”她说，“所以这行不通，但你似乎非常热情，我很想尝试以某种方式一起工作。”所以我们试图让它发挥作用。我们找不到一个很好的方法让它发挥作用。

所以我说道，好吧，我会申请其他非常春藤盟校的学校。所以我最终联系并通过电子邮件联系了 85 所不同的大学。当时谷歌——谷歌甚至没有真正很好地工作。但是谷歌返回的所有关于遗传算法的内容，我通过电子邮件联系的每位教授。他们每个人都说，不，不，不，不，你不能用哲学专业的本科生获得计算机科学博士学位。

但有两个回复，其中一个说，嘿，你不能直接进入博士课程，但这里有一位哲学家。他的名字是 Rob Pennock，他与从事进化算法和人工智能生命的人一起工作。

我说，我查了这些人是谁，我说，好吧，我来了。所以我有一个秘密计划。我说，我要去密歇根州立大学。我正在攻读哲学硕士学位。当你读研究生时，他们不会限制你在哪个系修很多课程，对吧？你得到了你的核心课程，但你可以修其他课程。所以我说道，我要修所有的人工智能课程，所有机器学习课程。我要学习数学。我要学习编程，并向他们展示我可以做到这一点。

所以我做了，我努力工作。我学习了一个程序。我学习了数学。我上了一门机器学习课程。一开始我根本不知道自己在做什么，但我最终在所有课程中都取得了优异的成绩，并与……

那里的人工智能生命实验室一起发表论文，遇到了 Charles Ofria，他成为了我的博士生导师，还有 Rich Lenski、Rob Penack 和所有这些从事大肠杆菌和人工智能生命研究的伟大人物。在我获得硕士学位后，我已经与他们一起发表了论文，取得了优异的成绩，我说：“现在我可以获得计算机科学博士学位了吗？”因为他们认识我，他们破例让我进去了。所以我参加了博士课程。我非常努力地工作。我发表了更多论文。我遇到了 Ken Stanley。我们开始一起研究开放性、神经进化、CPPN 和所有这些伟大的事情。

然后在我说：“好吧，我现在有博士学位了。自从我第一次联系你以来已经八年了。现在我可以加入你的实验室了吗？”之后，我打电话给 Hodlipson。Hod 说：“我们很乐意让你加入，但你知道，我没有资金。”所以我去了，找到了资金，并获得了资金。我再次给他打电话，我说：“我现在有一个来自 NSF 的资助，它说我可以在我想要的任何地方做博士后，我想和你一起做。”他说：“我很乐意让你加入实验室。”

所以在我在硅谷读到那篇文章八年后，根本不知道自己要做什么，我就在康奈尔大学的实验室里，就像威利·旺卡的机器人工厂。每天墙上都有 3D 打印的零件，进化出疯狂的软体机器人。这是一场疯狂的冒险。两年后，我成为怀俄明州的教授。你知道吗？我开始收到人们发来的电子邮件，说，我喜欢你所做的。我该如何进入你的实验室？所以我喜欢把这个故事告诉人们，尽管有点长，因为我

我认为你不应该对世界的拒绝置之不理。选择一些你想要做的疯狂的事情，跟随你的直觉去做那些看起来有趣的事情，这可能是一条漫长而曲折的道路，但最终如果你坚持下去，我认为你可以到达真正有趣的地方，而且非常令人满意。是的，从偶然性的角度来看，进行多学科研究非常重要，否则你不会带着所有这些完全不同的想法进来。

快速地说，正如你提到的那样，你知道，组合模式生成网络和 Neat 以及 Kenneth Stanley 和所有这些东西都是令人惊叹的东西。你第一次亲自见到 Kenneth 是什么时候？

我相信是在网上。我是一个人，我在一个 A-Life 实验室，很多人都在做实验进化和人工智能生命。我喜欢那些东西。我做了一些早期工作，例如，进化是否可以维持，比如优化它自己的突变率？利他主义，也就是对彼此友善，为什么它会进化？我们正在模拟中测试进化和生物学中的一些核心开放性问题。但我总是关注，

智能本身。我的大脑内部发生了什么？你如何制造一个智能的东西？这让我转向了神经网络。

然后我说，好吧，我知道进化算法。我想知道你如何进化出某种东西，它会变得越来越复杂，最终可以产生人脑。所以我遇到了 NEAT 算法，这是一个非常早期的算法，现在被称为神经架构搜索。它从一个简单的大脑开始，随着时间的推移添加更多神经元。这是一项非常棒的工作。所以我加入了 NEAT 用户组，我开始在线交流。我开始阅读这些人的论文并与……

与这位名叫 Ken Stanley 的人互动，我基本上会在他实验室的所有作品上发布非常长的提问集。我开始阅读他们实验室所做的一切，我很想知道他最初对这个初出茅庐的年轻博士生有什么看法，这个博士生一直在问他所有这些问题。但最终我们谈论得足够多，以至于我说当 CPPN 推出时，我被这项工作的美丽程度所震撼。我说我想研究这个，我开始，我基本上去做了一个小研究项目。

它与我正常的实验室工作无关。我说，我必须研究这个新的 CPPN 东西。太酷了。我开始问我认为有趣的问题。我整理了这份小实验室报告。我基本上给 Ken 发邮件说，嘿，我做了一些基于你新工作的工作。我希望你能看看并给我一些反馈。当然，如果你愿意，我很乐意一起工作。

他回了一封电子邮件，说，我最初看了这个，我认为我不想看。我不打算看它，但我认为我会很友善，只是快速阅读一下。他说，我无法放下它。我一直读，一直读，一直读。到最后，我不仅读了它，我还写了一篇很长的、复杂的回复给你。所以我很抱歉这么长，但这是一项非常棒的工作。它提出了所有这些有趣的问题。

基本上，这是我们一起写的第一篇论文。所以我开始回答他的问题，来回讨论并进行他建议的实验。如果我的记忆没错的话，我最终在 GECO 获得了最佳论文奖，GECO 是我当时参加的会议。然后我们亲自见面了，我们开始了比赛。论文的名字是什么？我相信这篇论文，论文的主题实际上是如何编码 CPPN 中的规律性

以及它们如何响应，它们如何在控制机器人的神经网络中产生规律性？它们如何处理改变规律性，比如它们如何处理有时你需要有非规律性的事物，有时你需要有更规律性的事物？

我希望我现在能引用论文标题，但我可以查一下。我们可以把它放在节目说明中。是的，太棒了。Jeff，这太精彩了。非常感谢你来到这里。我真的很感激。我很高兴。谈论所有这些事情很有趣。如果你不介意的话，我想感谢所有我一起工作过的优秀人才。

所以我提到了大部分旅程中都在那里的人，比如 Joel 和 Ken，但还有很多优秀的人才与我一起工作过。我实验室的所有博士生，所有我合作过的人，特别是 Jean-Baptiste Moret，对我影响很大。

蒂姆·洛克德谢尔，你知道的，还有太多人要提名了。所以我只想做一个笼统的声明，如果你对这些东西感兴趣，请查看所有论文的完整作者列表，因为这不仅仅是一个人。这是一个集体社区，一直在共同构建所有这些工作。我很想让约翰·巴蒂斯特参与进来。你刚刚提醒了我，肯尼斯·弗姆建议我们让他参与进来。他太棒了。他是我合作过的最聪明、最杰出的科学家之一，真的，千真万确。他做了很棒的事情，我从未和他有过无聊的谈话，你知道的。

每次我和他交谈，我都会学到新东西，我会尽力倾听。太棒了。非常感谢你，杰夫。我很荣幸。感谢你邀请我。