Pattern Recognition vs True Intelligence - Francois Chollet
Machine Learning Street Talk (MLST)
Deep Dive
- Intelligence is defined as the ability to handle novelty and adapt to new situations.
- Current LLMs are sophisticated memory and pattern-matching systems, not truly intelligent.
- The Kaleidoscope Hypothesis posits that the world is made up of simpler patterns that repeat and combine in different ways.
Shownotes Transcript
弗朗索瓦·肖莱特，一位著名的 AI 专家和 ARC-AGI 的创建者，讨论了智能、意识和人工智能。
MLST 由 TUFA AI LABS 赞助！ ARC 挑战赛的当前获胜者 MindsAI 是 Tufa AI Labs 的一部分。他们正在招聘机器学习工程师。你感兴趣吗？请访问 https://tufalabs.ai/ ***
https://arcprize.org/
https://x.com/fchollet
https://www.dropbox.com/scl/fi/j2068j3hlj8br96pfa7bi/CHOLLET_FINAL.pdf?rlkey=xkbr7tbnrjdl66m246w26uc8k&st=0a4ec4na&dl=0
1. 智能和模型构建 [00:00:00] 1.1 智能定义和 ARC 基准 [00:05:40] 1.2 LLM 作为程序记忆系统 [00:09:36] 1.3 万花筒假说和抽象构建模块 [00:13:39] 1.4 深度学习的局限性和系统 2 推理 [00:29:38] 1.5 LLM 和模型构建中的智能与技能
[00:37:36] 2.1 智能定义和 LLM 局限性 [00:41:33] 2.2 元学习系统架构 [00:56:21] 2.3 程序搜索和奥卡姆剃刀 [00:59:42] 2.4 开发者感知的泛化 [01:06:49] 2.5 任务生成和基准设计
[01:14:38] 3.1 系统 1/2 思维基础 [01:22:17] 3.2 程序合成和组合挑战 [01:31:18] 3.3 测试时微调策略 [01:36:10] 3.4 评估和泄漏问题 [01:43:22] 3.5 ARC 实现方法
[01:50:06] 4.1 智能作为工具与代理 [01:53:53] 4.2 文化知识整合 [01:58:42] 4.3 语言和抽象生成 [02:02:41] 4.4 认知系统中的具身性 [02:09:02] 4.5 语言作为认知操作系统
[02:14:05] 5.1 意识与智能的关系 [02:20:25] 5.2 机器意识的发展 [02:28:40] 5.3 意识的前提和指标 [02:36:36] 5.4 AGI 安全性考虑 [02:40:29] 5.5 AI 监管框架
但这对于任何一种类型二抽象来说都非常不合适，例如我可能编写的世纪障碍，你实际上对图感兴趣，而不感兴趣的是比较图、距离函数，你对比较两个图是否完全相同，或者更精确地说，当一个图似乎是逻辑图的子组件时感兴趣。例如，作为一名软件工程师，如果我正在重构一些代码，如果我想通过将多个函数表达为一个函数来压缩我的代码，我对这些函数在感知层面上感觉有多接近不感兴趣。我对它们是否完全是程序或以不同形式出现感兴趣，也许我需要注入指令。这是一种你必须以非常明确的逐步方式进行比较。你不能只看两段代码，然后立即说，我们一年来一直在思考它，它们看起来相似。
你如何描述这种能力？它更像是一种流行病风险，而不是联盟风险验证，这可能是一种更好的方式。
描述它，是的，非常规的描述方式。而且，你知道，我刚才说过，这绝对不像这种高连续距离风格的比较，这是真的。但我认为我也可以通过感知来指导。
这就像一步一步地做。精确的比较非常昂贵，它需要你全神贯注一段时间。因此，你不会想以蛮力方式在许多不同的候选函数上进行颜色比较。
你想用你的直觉来识别少数几个选项，而对于这些选项，你可以尝试精确地获得它们。所以我认为我们有能力对离散对象进行近似距离比较。
但记住的是，这些快速比较不是精确的，对吧？近似值，所以它们可能是错误的。我认为你从...得到同样的输出。
如果你尝试将其用于编程，它们通常会给你一些感觉正确但实际上在某些方面执行不正确的东西。我认为这是使用深度学习或使用大型语言模型时需要记住的事情，它们非常擅长提供方向上准确但实际上不准确的结果。所以，如果你想有效地使用它们，你需要一个事后的验证步骤。
在看着你的孩子长大时，这如何影响你对智力的思考？
以及学习？你注意到孩子长大后的一件事是，建构主义是正确的，他们以主动的方式学习，尝试并从这些经历中学习，这些经历非常有目的。他们从中提取新技能，然后将这些技能投入到新的目标中。
在中国，你知道，你很清楚地看到，学习，特别是儿童的学习，以我们描述为一系列反馈循环的方式进行结构化，其中孩子会注意到一些有趣的事情，提出一个想法，说，例如，想象一下你在地板上爬行，然后你注意到一些对你来说很有趣的东西，比如，我要得到它。这就是你的目标。现在你进入了这种反馈循环，你正在尝试达到这个目标，你正在做一些事情来实现它。
然后你得到一些反馈，你正在评估。你有一种计划-行动-反馈-回到计划的循环。如果你达到了目标，那么在这个过程中，你将学到一些东西，你将能够将新技能重新投入到你的下一个目标中，而他们设定的目标总是基于他们已经了解的事情。
你开始什么都不知道，就像你出生的时候，你只是被一些反射所驱动。但是当你开始形成这些目标时，它们总是来自你已经掌握的层，你的思维可以像一层一层地飞起来，例如。你的一个最重要的感官是你的手，因为你有一种非常重要的第二反射。这是你与生俱来的。
这不是一种安静的、非常重要的东西，因为它会反馈，嗯，你会有一些像抓取反射的东西，用于抓取东西，但是你实际上无法使用它，因为你无法完全控制你的四肢，所以你不能真正像抓取东西一样抓取东西。但是，当你开始更好地控制你的四肢时，你想要以一种有意义的方式抓取东西，你尝试做的第一件事就是用你的手去抓它，因为你设定了这个目标，因为它看起来很有趣，与你已经知道如何做的事情有关，与你已经知道如何做的事情有关，有趣的事情，对吧？一旦你知道如何抓取东西，你就会将其添加到你的世界中，添加到你的内心世界中，并在这些事情之上构建下一层。所以接下来，例如，你正在学习爬行，为什么你正在爬行？为什么你正在尝试移动？因为你看到了你想要抓住的有趣物体。
所以你正在学习爬行以抓住东西，你正在学习抓住东西放进嘴里，你并没有学习把东西放进嘴里，因为它已经成为你构建自己的方式，以这种有条理的方式构建自己。所以基本上，你所知道的一切，你所思考的一切，都是建立在较低层次的原始概念之上的，这些原始概念建立在更低层次的原始概念之上，最终回到新生儿拥有的这些非常基本的反射。
我相信我们构建，特别是年幼的孩子，他们根据世界中的一些具体经验构建他们的想法。你不能在真空中思考，你必须从某些东西中构建，而这些东西是从你的经验中提取的，对吧？而且，你越年轻，你的想法就越直接地与你在世界中经历和做的事情相关。随着你长大，你的想法会变得越来越抽象，越来越脱离物理世界。但它们最终建立在物理层之上，只是这些塔层很高，你再也看不到地面了，但它们仍然连接在一起。
所以孩子们看到了万花筒，万花筒是由宇宙中的抽象构成的。然后，随着时间的推移，孩子们从万花筒中推导出抽象，并对它们进行推理。
是的，他们从自己的行动中注意到一些在他们自己的经验中可重复使用的、似乎有助于理解新情况的东西。随着你积累了大量的可视化片段，并能够访问它们，这使你能够非常有效地理解情况。
然后你说建构主义，这很有趣。所以你认为孩子们构建不同的抽象？或者你认为他们有一种倾向于代表宇宙提出的抽象？
不同的人会提出不同的模型吗？在某种程度上，可能是的。但是，因为这些模型最终是从相同的经验中提取的，并且它们是从相同的过程中提取的，所以它们最终会变得非常相似。
我的意思是，你确实看到不同的孩子遵循略微不同的基本轨迹。他们都在某种程度上平衡。他们都在大致遵循相同的轨迹，可能只是时间不同。
所以你说的另一件有趣的事情是，你知道，大型语言模型几乎没有智力。我只是想知道它是否接近于零。哪一部分不是零？当然。是的，你知道，人们认为这是一个非常激进的声明，因为他们一直在使用大型语言模型，发现它们非常有用。它们似乎对人类有意义，所以说它们几乎没有智力，这听起来有点令人震惊，但关键在于理解智力与技能、行为是不同的概念。你总是可以在某件事上很有技能，而无需具备智力。智力非常具体地指你处理新事物、处理以前从未见过的情况以及即兴创作与该情况相关的有意义模型的能力。
你实际上在大型语言模型中看到这一点，如果你要求它们解决与它们训练中见过的任何东西都截然不同的问题，它们就会失败。因此，如果你以这种方式定义智力，并想出一种衡量智力的方法，例如，在某些情况下，你尝试使用所有最先进的大型语言模型，它们不会完全没有表现，对吧？这就是我的声明中非零部分的来源。话虽如此，对于它们在这些任务上的非零表现，很难说这种适应新问题的能力是否真的是智力，或者这是否只是基准测试的缺陷。也许基准测试实际上并没有产生完全新颖的问题。也许问题之间存在非常显著的重叠，这很难控制，因为大型语言模型只是记住它们所看到的一切，包括整个互联网以及为大型语言模型创建的大量数据注释，我们不知道训练数据中到底有什么，所以很难判断。但这确实让我觉得大型语言模型确实能够以某种程度的组合方式使用它们所知道的东西，从而产生一些真正以前从未见过的东西。只是这种组合能力非常弱，非常低。
是的，这触及了核心问题，因为很多人认为这种组合创造力或这种外推确实构成了新模型的构建。我理解你的意思是，如果我们放大并考虑训练过程，那显然...
是模型构建。是的，很好。就像将曲线拟合到数据集一样。这确实是模型构建。
...那里的缺陷是它非常低效的模型构建，为了获得一个好的模型，你需要对所有内容进行密集采样。模型在测试时必须处理所有内容。
因此，模型实际上只能适应非常接近它已经看到的那些东西，而智力发挥作用的地方在于适应远远超出分布范围的东西，因为现实世界不是一个分布，对吧？每天都是新的，每天都不同。但你必须处理它。无论如何。
批评者会说，而且我可以理解，我的意思是，我一直在使用大型语言模型进行我的编码。我每月大约使用两千次请求。
我使用它很多，在许多情况下，它似乎很清晰。他们可能会争辩说，因为大型语言模型训练了如此多的东西，所以它所捕捉到的复杂性足以捕捉到我们可能需要的所有新颖性。因此...
问题是什么？是的，我经常听到人们说，是的，也许新颖性只是需要训练所有内容。
他们认为，是的，它们可以存在，对所有你可能想要做的事情、你可能想要了解的所有内容进行密集采样。我的意思是，我不同意，因为想象一下，你正在训练一个大型语言模型。
十年前，你正在尝试使用它们。现在它们不知道你正在使用的编程语言，不知道你正在使用的所有库。而且，由于知识上的这种差距，世界一直在变化，你可以说，好吧，如果你每天都用新的描述性数据来训练模型，我的意思是，当然，你可以这样做，并解决小问题。
但是，你仍然可能会遇到一些在现实世界中没有解决方案的新问题，这就是你需要智力的原因。而且我实际上非常有信心，在未来，也许在不久的将来，我们将能够创建一个能够真正解决这个问题的系统，即获取知识并以真正原创的方式重新组合它们来解决完全新颖的问题。
一旦我们拥有这样的系统，我们就可以开始进行新的科学研究。例如，你可以用今天的大型语言模型做的事情之一就是进行新的科学研究，因为它们所能做的最好的事情就是对在线阅读内容的某些解释进行速度反馈。它们不会让你发现一些伟大的发现。
...这正是我的论点。我同意创造力和推理来自提示。因为我们输入提示，我们可能会归功于人类的作用，但仍然在大型语言模型中可访问的空间内，无论人类监督者是谁，我相信我们可以创造性地探索已知事物的复杂性，也许不会创造新事物。
当然。你可以这样做，这就是你所说的，由人类驱动的过程，因为你将判断它是否有趣，这毫无意义，我们添加了这种交互验证。很难提出好的用户问题。
你知道，我认为这应该是你使用大型语言模型时始终牢记的事情，它们非常擅长提出有用的建议。但是，你永远不应该盲目相信它们提出的建议，特别是对于像代码这样的东西，你应该始终将其作为起点，并验证它是否正确。大型语言模型会引导你朝着正确的方向前进，但它们并不擅长提供完全正确的答案。
这就是为什么，如果我们查看所有大型语言模型的成功应用，你总是会有一个人类监督者。
在查看中，是的，或者它也可以是另一个反馈循环，你可以将其委托给符号系统。所以...
...这是一个关于智力的伟大转折点。现在，该节目的粉丝们会知道，我曾经写过一篇关于你智力衡量标准的论文，我们花了大约八个小时的时间。这很有趣。你能简单地介绍一下它吗？
所以，我的智力定义是技能获取效率。所以，智力与技能是不同的。如果你有一个基准测试，只是衡量某人做某事的技能，那不是智力的基准测试。总是可以获得高分，而无需真正展示任何智力。如果你想真正衡量智力，你必须看看系统在给定有限数据量的情况下有效地获得新技能的效率。所以，你必须特别控制系统可以访问的内容，这通常有两种形式。你知道，它可以以先前的形式出现，即系统之前只能访问的信息，你正在查看的基准测试和经验，这是系统从你给它的数据中提取的信息。因此，如果你控制了先前的知识，你控制了经验，你测量了技能，那么你就有了一些关于技能获取效率的衡量标准，即在新的任务上获得高性能的效率。我尝试将其转化为具体的基准测试，这就是我创建的ARC数据集。
关于智力衡量标准的一个潜在问题是，它是非可计算的，因为我们无法表示所有可能任务的领域。
当然，嗯，在我的论文中，我正式化了我的智力衡量标准，嗯，它是不可计算的。它的目的不是作为一种实际工具来使用，你实际上并不想在系统上运行这个方程并从中获得一个数字。它是一种形式主义，有助于精确地思考智力，对吧？它是一种认知工具，当然不是一种实际工具。
...这里有一个很棒的图表，我们现在在屏幕上看到，你将智力系统描述为一个产生技能程序并适应新颖性的东西。但我有一个问题，你谈到的是一种元学习先验。人类天生就具备元学习先验吗？还是我们也学习了它？系统也应该一样吗？
是的，这是一个非常重要的问题。嗯，智力不是技能。它是一种元技能。
它是获得新技能所需的技能吗？这种元技能也是一种需要经验的东西吗？还是你天生就具备这种元技能，它已经存在于你的大脑中？通过进化，嗯，我认为答案是两者兼而有之。我认为你天生就具备智力，所以你天生就具备一种获取技能的机制。
但是这种获取技能的机制不是在真空中运行的，它实际上需要一些东西。它由两部分组成，对吧？这是句子引擎，它查看新情况和新任务，尝试组合现有部分、现有抽象来为该领域构建模型。还有抽象引擎部分，它查看迄今为止产生的模型，查看可用信息，并尝试生成可重复使用的抽象，这些抽象可以添加到库中，以便在下次使用时使用。当然，这个库是通过经验获得的。你的抽象库越好，你获得新技能的效率就越高。所以我认为这种标志性宏观智力架构是人类与生俱来的。
但是，当你使用它，在你的生命中使用它，你变得越来越擅长它。你正在磨练它，所以你并没有获得智力，从零开始，但你正在磨练它，另一个机制开关，我认为你正在政治上……合成机制可能正在整合已学习的组件，因此合成本身，从现有抽象中进行合成本身就是一种技能。当你使用它时，你变得越来越擅长它。所以，例如，一个 15 岁的孩子会变得更好，会比获得更多知识更好吗？这真的很有趣。
因为在某种程度上，你结合了理性主义、先天论和实践，因为我认为你正在说他们提升了技能程序的创建，这些程序不仅仅是基本程序的组合。但更广泛的问题是，我们是否在进行库学习，以便孩子们发展，他们发展、改进、构建这些抽象。当然，一定存在与复杂性相关的权衡，因为你不想让库太大。
不，对，然后你就不再能搜索它了。
这是一种……修剪或它是否……这是我们认知发展似乎在某种程度上达到柏拉图其他特定点的理由吗？
嗯，这很有可能……你知道，这实际上是一个通过深度问题提出的问题。我认为，对于构建AGI来说，这非常实用……你的AGI将拥有一个用于所有基本程序的库。你想扩大库的规模吗？当然，你想要尽可能多的程序，比如你最多需要一百万个程序。因此，我们有效地获得新技能或智力的能力……在我们的生命中并没有以不受限制的方式提高。
嗯，它似乎在相对早期达到顶峰，我认为这实际上是一个权衡，你的……大脑能量，就像乐趣一样，因为你可以整合到你的头脑中的信息量，随着年龄的增长而不可避免地减少……但你使用的抽象的质量，以及你如何组合它们的直觉。所以，学习引擎的信心是否随着时间的推移而得到磨练？随着时间的推移，你是否变得更好？所以我们有这个因素，它让你变得更小，这个因素让你变得更大胆……你知道，更早。
我认为意图可能在 20 多岁早期达到顶峰。那时，你获得新技能的能力是最有效的……但话又说回来，你知道，独立的……我认为更高层次的认知可能在早期达到顶峰，但有些事情你应该在那个时候之前学习，对吧？任何事情，所以你知道，认知是逐层构建的。每一层都建立在前一层之上，堆栈中的较低层，结晶、设定风暴活动……通常在 15 岁之前。所以，如果他想要获得任何与低级别工具或基本程序相关的技能，比如你想在演奏乐器方面变得非常出色，你想在唱歌方面变得非常出色，你想在某种语言中获得母语口音，你应该在 15 岁之前这样做。
是的，关于抽象，你可以说它受到计算限制的限制，或者你可以说它正在趋向于普遍的抽象。但我希望你能够在任何地方都这么说，就我个人而言，我认为知识非常重要。
所以我花了几年时间与一位非常聪明的人——我认识的世界中最聪明的人之一——进行这项工作。这是博士学位。他教我如何思考，他思考事物的方式已经重新编程在我的大脑中。我更愿意这样。
然后回到我早期的、更好的抽象。
更好的抽象。但话又说回来，我可以举反例。我与他们交谈过。
我不想提到任何名字。但有时，学习太多知识的教授并不具备流体智力。他们似乎相当固执。因此，过多的知识而缺乏流体智力也可能是一件坏事。似乎存在某种最佳平衡。
是的。所以这取决于……你是否依赖于……这取决于你是否相信你已经拥有问题的答案，或者你是否相信你拥有可以用来获得答案的模板，或者你是否正在获得解决问题或一般学习的更好模板。这让你变得更聪明。
这是教育的一个方面。如果你精通数学、物理或编程，现在你拥有所有这些……这些问题解决模板，这让你更有效地解决问题，甚至让你更有效地学习。我认为在 20 岁时，我在使用的技巧方面以及我的语言学习方法方面都更有效，尽管在 12 岁时，我拥有更多的可塑性和记忆力，更容易记住事情，但我没有合适的工具集。如果你认为你已经拥有所有答案，那么你就不想创造任何新事物或寻找新信息，也许这就是一些知识分子陷入的陷阱，他们认为他们已经掌握了一切，所以他们不需要进一步探索。相反，如果你只是仔细地收集解决问题或一些有趣想法的准确方法，你还没有完全理解它们，但它们听起来很有趣，然后你的大脑会与你的库中的某些标志性事物联系起来，寻找连接到……这就是你获得见解的方式，如果你记住所有这些事情，然后你遇到新事物，而不是因为你已经知道所有事情或你认为你已经知道所有事情而忽略它，你会尝试将其与你的库中的这些标志性事物联系起来，等待点击，你知道……然后你如何获得重大时刻，你知道吗？是的。
这些模板通过……我可以举一个例子，通过智力衡量论文来激活。我花了几个星期研究那篇论文，我非常仔细、深入地阅读了它，我记得有很多想法，我努力理解。现在我可以阅读它，我可以快速浏览它，我理解了它，实际上，许多其他论文也是如此，因为你学习了这些抽象的象征性。我们总是关注抽象，但也许为此付出了代价，因为我仅仅是一个认知途径。我的大脑只是亮了起来，然后我理解了它，但也许我遗漏了一些东西。
当然，我认为通过某种方式抽象细节，你想要关注更大的画面，然后你可以在更高的层次上发现新事物，是的，你不会陷入细节。
所以，在智力衡量论文的结尾，正如它在 99 年所做的那样，你介绍了ARC挑战，抽象和推理语料库。我可以称呼你……
把它拿出来？当然，是的，从 2019 年开始……抽象推理语料库……它设定了一个基准，试图捕捉论文中智力衡量的概念。所以……这基本上是机器的智商测试，但它也旨在让人类更容易理解。
它是一组任务，推理任务，所以对于每项任务，你都会得到几个电气示例，两个到四个，它们是输入图像和输出图像的组合，输入图像基本上是颜色块。它们有相当小的等级，从 5x5 到 30x30，最大，你认为这些输入块中存在一些模式。然后，你被告知它映射到具有其他模式的特定输出块。
所以你的工作是找出从输入到输出的转换是什么，是什么程序。你得到一些这样的输入输出路径来学习这个程序。然后你得到一个全新的输入。
很好。你必须通过自己生成相应的输出来证明你理解了该程序。很好。并且……它对人类来说相当容易……例如，所以……所以细分被分成不同的子集。有一个公共训练子集，通常更容易。
它旨在展示……当然，不是作为奖品，任务是建立在……所以核心知识是另一个重要的概念。我提到过……这些块具有模式。
嗯，这种平衡一定指的是你所知道的东西……以及……为了构建任何东西，构建块。所以这些构建块是核心知识，它们是……标志性知识，所有人类都应该大致掌握四种。所以它们将是诸如物体性、物体是什么、基本几何、半旋转等等。
基本推理，例如事物之间的连接。……代理是……例如，定向性。所以……这些是非常简单的核心知识系统，并且所有ARC任务都建立在知识原子之上，对吧？……所以训练子集只是为了展示核心知识是什么样的，如果你想应用遮蔽方法，而不是在核心知识中取得好成绩，而是想从数据中学习。然后有一个公共验证子集，它旨在与私有测试集一样困难……所以它旨在让你测试你的解决方案并查看你得到了什么……然后是私有测试集，它实际上评估了比赛……并且它对人类来说非常容易，因为我们由两个人验证了私有测试集。每个人都获得了 97% 到 98% 的分数，所以英国只有 200 美元在周中解决，没有先前的经验，97% 到 98% 的任务完成，总共达到 100%……所以没有解决的任务实际上没有新颖性……所以这表明，如果你是一个普通人类，你应该能够完成资产中的几乎所有任务……事实证明，这个延迟集对AI系统来说非常困难……所以我于 2018 年发布了这个，而不是在艺术中……实际上是在今天早上实现的，是 46% 对吧？
是的，很棒的团队。是的，穆罕默德、杰克和迈克尔。祝贺你们。
是的，恭喜。所以……所以，顺便说一句，实际上有一种方法不是公开的，但它证明了它的存在……它应该至少达到 49% 的准确率，如果你只是组合 2020 年比赛中提交的所有内容。
哇，为什么没有人这样做？
这并非完全是苹果对苹果的比较，对吧？因为我们谈论的是数百份提交。每份提交都使用了一些略微不同的暴力程序搜索方法。但是，你有很多，每一个都消耗了一些计算时间。所以，即使你拥有所有这些提交的笔记本，并将它们放入一个大型笔记本中，在比赛中运行它实际上也会花费太长时间，对吧？所以，通过组合提交，你实际上是在……扫描暴力程序搜索……以获得更多的计算……并且你正在获得更好的结果，你知道，在极限情况下。如果你拥有无限的计算能力，你应该能够解决纯粹的暴力程序搜索，对吧？……当然有可能创建描述活动中超解决方案的特定领域语言，以简洁的方式，简洁到表达解决方案程序，你永远不需要超过 40 个不同的翻译……以及……嗯……只是……只是找到所有可能的程序，深度为 4 个操作……一百个，如果你有无限的计算能力，你当然可以做到这一点，对吧？
嗯，关于这一点，有一个有趣的讨论点？我认为我与瑞安和杰克讨论过这个问题，即即使你拥有无限的计算能力，仍然存在选择问题，因为你可以根据……
复杂性来选择一些容易的事情，因为你可以简单地……所以，如果你有计算能力，那么对于每个程序，你实际上会得到无限数量的匹配，对吧？……但是，让我们说，非常快，你得到 10 个……你可以简单地选择最简单的那个，对吧？
但是最简单的那个是一个好的选择吗？
嗯，从经验来看，结果似乎是有效的。它在实践中似乎有效，因为……
还有其他潜在的弱点，你提到了哈佛的伊丽莎白·西尔肯，你应该阅读她的文章。他是一位心理学教授。你知道你提出了这些，但这些是核心知识奖。但我认为你非常从心理学角度来看待这个问题，即我们应该理解人类思维的心理学，并围绕它构建AI。这公平吗？
是的。所以，我对AI应该尝试模仿人类认知有点谨慎。我认为我们对人类思维的了解还不够，不足以作为创建AI的有用指南，所以我有自己的想法，但如何整合这些想法可能有效，以及如何创建这些想法的软件版本，但它仅部分来自反省。以及观察人们……
我之所以这么说，可能是潜在的弱点，假设我们选择最简单的程序，我们拥有无限的计算能力，我们进行程序合成。然后我们假设，因为所有泛化空间都将包含我们最初开始的奖项的某种固有组合闭包，那么它就会起作用。是的，但这只是一个假设。
当然，这是一个合理的假设。你也可以训练一个系统来判断给定的程序是否可能有效，它将使用长度……嗯……嗯……嗯……作为其特征之一，但不是唯一的特征。
关于ARC挑战的另一个非常重要的事情是任务多样性。我认为我理解正确，原始ARC挑战中有大约 900 个任务。现在你谈到了开发人员感知的泛化。它是什么？
所以，开发人员感知的泛化……是决定泛化能力的能力。与你之前讨论过的不同，这很重要……你采取的参考框架是什么？你采取的是代理的参考框架，这并不重要，如果这个代理能够适应，认为它以前没有个人经验，或者你采取的是开发人员的参考框架？你试图达到什么目的？系统开发人员无法预测的两种情况……我认为从开发人员的角度来看，这是正确的，因为否则，当开发人员构建系统时，他们将构建到系统中，无论是热编码还是重新训练……正确的模型和数据，以便引擎将继续表现良好，但实际上并没有展示任何泛化，仅仅通过利用构建到当前ARC基准中的先验知识……
我只是想让你评论一下它的弱点，但只是举几个例子。梅林·梅林·尼奇斯发表了一篇文章，说它应该是一个移动基准。乔治·戴利发表了一篇有趣的文章，说它可能在某种程度上是感知缠结的，我们可能不希望那样。你对它的潜在弱点有什么看法？
当然，是的。我的意思是，这是衡量智力的第一次尝试。这是一个相当粗糙的尝试，因为当然，你知道，我技术上有限制，可以产生……它当然有相当大的局限性。所以，我认为第一个限制是……它可能未能达到其目标，在它应该有多大的多样性方面……在AGI的第一个版本中，有些任务实际上彼此非常接近，并且它们可能非常接近在线存在的某些事物，其中一些，这可能是你看到X能够解决一些百分比的原因，也许实际上是通过查看训练数据中类似的东西来完成的。我认为这是主要问题……嗯……所以，是的，所以许多敌人应该提到，你知道，这是一个基准，这应该是一个移动基准。我完全同意，我认为最终，为了衡量智力，你不需要一个静态的数据集。你需要一个任务生成过程……你将要求它生成新任务，它将能够给你一些非常独特、非常不同、专门为你设计的任务。
它将给你，然后……它可能会尝试，例如，衡量你解决任务的效率。所以，它首先可能会给你一两个例子，让你尝试解决……如果你不能，那么它可能会给你几个，然后几个，以此类推。所以，有时这很有趣的原因是，你可以开始衡量非常低智力的方法，例如，在某种程度上很好地拟合向量，技术上很好地拟合向量，这是一种程序，所以你应该能够在ARC中编写它。
呃，主要原因是每个任务只能有几个例子，而且空间没有被解释，所以它真的不太行，拟合也不太行。但是如果每个任务有 1000 个例子，例如，就可以考虑拟合曲线，这将有助于处理新的输入。嗯，如果你有这个动态的任务生成和示例生成系统，那么你就可以开始使用类似的技术，这会很有趣，因为你就可以开始在相同的尺度上对变压器进行评估。
我有一个很棒的想法，发送与程序相关的东西，例如强制程序、程序搜索、计划指南、程序、歌曲，然后你就可以开始看到它意味着什么，更智能意味着什么，但它意味着在你的能力中更有效率地产生泛化，以及你可以开始创建的其他事情，当你拥有这种动态的基准测试和流程时，我可以开始评估不同系统的泛化能力。所以你可以衡量你的模型、句子处理过程的数据效率，以及输出模型的泛化能力，因为你可以用不同的输入来测试模型，这些输入会更难或更简单。所以你从最基本的层面开始，用很少的例子来演示一个任务，让测试输入非常简单，随着你的进步，你可以添加更多例子，你可以改进问题的约束，你也可以发送更多关于问题的例子，以测试模型的泛化能力，以及模型可以产生多复杂的输出。
我喜欢这个生成性弧的概念，以及我最终...
弧线将是一个生成的冒险案例，我想...
这与世界运作的方式类似。所以宇宙有一个生成函数。它产生碰撞范围，我们从碰撞范围倒推回生成函数。但是知道这一点很重要，就像我们在这个智能过程中，我们需要知道奖励是什么。奖励必须是基本的，或者可以从最初的奖励中减少。
没错。我想避免的一个大陷阱是，这实际上是我没有发布一个生成更多内容的原因。顺便说一下，这是我尝试提出最终成为 OK 的东西时调查的第一个方向。
我当时在想，我会创建一个程序基准，其中测试示例将由某种主程序创建，但我决定探索许多不同的方向，例如这些。我看到自动化的东西，因为你被赋予了自动化的输出，你需要逆向工程来产生这种东西，最终我没有采用这种方法。一个原因是我希望任务对人类来说简单直观，这实际上以这种方式揭示了核心。
我还想避免过分形式化核心知识，因为任何形式化的知识都可能遗漏一些重要的事情，你无法真正用语言表达，而且非常重要，如果你只是写下一个主程序，并让它生成任务，那么你任务的复杂性将由主程序的复杂性决定，因此，作为试图解决基准测试的人，我唯一需要做的就是逆向工程主程序，然后我可以使用它来生成无限多的任务，我可以拟合曲线或只是使用已经理解主生成函数行为的良好系统，并不会吐出正确的答案，所以我们可以拥抱基准测试，这就是最终我采用这种模型的原因，其中 OK 中的每个任务实际上都是由我手工制作的，在这种情况下，我认为你明白，这触及了一个重要但微妙的点，即智能的解决方案必须与挑战共同进化。基准测试应该是一个工具，引导研究人员朝着正确的方向，提出正确的问题。
但是提出这些问题本身就是一个复杂的问题。所以我想，如果你继续想出一个生成智能测试的主程序，这个测试足够复杂、新颖、有趣，以成为真正的智能测试，那么创建这个程序与创建AGI一样困难，事实上，这两种情况本质上是一样的。你基本上需要AGI来创建AGI试图解决的挑战，对吧？
这些程序应该具有多少可解释性？例如，你可以解释一下你今天早上为什么喝咖啡的原因，AGI应该能够为我们不理解的事情建立模型，例如金融市场的经济学等等。这将非常混乱。那么这如何运作？
是的。例如，AGI将能够快速有效地观察一个新问题及其领域，并迅速提出该事物的模型。这个模型应该具有预测性。
因此，我应该能够预测系统在未来演变的样子。我认为它也应该具有因果关系，所以你应该能够使用它来计划我们的行动。
你可以想象，我首先有一个经济模型。我想让它达到这个状态。我可以采取哪些干预措施，才能真正导致我们达到期望的状态？
所以它应该是一个主动模型，一个因果模型，可以用来模拟系统的行为。我认为这种行动本身就具有解释性。你需要解释模型是如何工作的。
你可以展示它的实际操作。例如，如果我们正在研究AGI中的弧线，而不是经济学，那么目前大多数程序合成方法都在寻找输入到输出的转换程序。如果你不阅读内容，那么程序的一种解释方法就是运行测试。我认为，你将获得一种模型，一个真正的AGI将产生的模型，它不仅仅是输入到输出的转换，它将解释弧线的内容，因此，例如，你可以使用程序来生成任务的新实例，甚至从输出到输入，当适用时，不仅仅是从输入到输出。这种类型的程序具有极高的解释性，因为你可以要求新的例子，然后查看它们。
好的，所以我可以想象可能存在某种中介界面，它在封装中起作用。我们理解界面，但也许我们应该考虑其他方法。
当我与AI研究人员交谈时，我与他们一起经历了挑战，他们试图观察他们的直觉，他们说，我正在研究这个问题，我知道它与颜色有关，我知道它与计数有关，然后他们在脑海中运行程序，说，一、二、三，不行，不行。然后他们试图将其形式化为某种方法。你认为我们进行反省的方式是否适合构建我们孩子的解决方案？
我认为反省在了解你的思维如何处理系统2思维方面非常有效。我认为它不适用于系统1，因为系统1是无意识的，你无法直接访问它，它以无意识、即时的方式发生在你大脑的一部分，你无法直接观察到它，即意识。但系统2是故意的。
它非常缓慢，收益很低。有很多事情同时发生。它非常反省。所以我想你描述的是，当你看到一个新任务时，你试图在脑海中描述它的属性，然后你提出一些关于可能匹配这些描述约束的程序的小型假设，然后你尝试在脑海中执行它们来检查你的直觉是否正确。这就是所谓的系统2思维，对吧？我认为大脑中的程序合成基本上就是这样运作的，但这里没有提到支持这种系统2思维的所有系统1功能。
我非常相信人类思维中没有纯粹的系统1或纯粹的系统2过程，一切都是两者混合。所以，即使你在做看起来非常依赖推理的事情，比如排序弧线、做数学或下棋等等，实际上也涉及大量模式识别和直觉，你只是没有注意到它们，对吧？例如，它以这种形式出现。例如，你只查看可能用于你的弧线问题的两到四个不同假设，但实际上潜在程序的空间是巨大的。
可能有成千上万个可能的程序，但你只查看两三个，而这种减少是由你的直觉完成的，对吧？模式识别是系统1，我认为反过来也是真的，即使你在看看起来非常依赖系统1的过程，比如感知。例如，我认为感知包含相当多的系统2元素。它不是像平面模型那样纯粹的输入到输出匹配。它实际上包含相当多的泛化和组合，这实际上是系统2。
我真的很喜欢两者之间存在某种奇怪的纠缠。我们知道在某个任务中，颜色肯定与选择有关。你可以将其想象为一个基于颜色的查询。
选择、计数、降序排列。跳过一个，取三个，等等。它与减少类似，因为这种感知影响发生在这个假设集上。然后在某些时候，进行一些后验证，这确实看起来像系统2，但所有这些似乎在和谐地协同工作。
是的。他们可能正在说，我们正在看系统1加系统2，系统1对系统2，也许这种表述方式不对。
也许我们正在寻找一种不同的认知数据结构或基质，它本质上既是系统1又是系统2。但是，正如你所描述的，你在脑海中所做的事情基本上就是程序合成，但这种程序合成非常依赖感知原语，以及你对正确解决方案的直觉。
所以，当我们在计算机中实现程序合成时，这意味着我们可以进行蛮力贪婪搜索，然后我们面临组合爆炸。告诉我...
对吧？嗯，如果你在这些问题中遇到主要障碍，那么在非常高的层次上，你有一个语言。
所以通常来说，它是特定领域的，因为这是一个捷径。它不像一种通用的语言，而是一种更专业的语言。你有一些函数，你可以使用它们来创建程序。程序基本上只是将这些函数组合成某种东西，例如，在艺术家案例中，程序将输入等级作为输入，并产生输出等级，而你做问题评估的方式是尝试这些函数的组合，并且对于每个程序，你将在实践中运行它，查看交叉输出，并检查它是否与预期输出匹配，你将在所有可用示例中执行此操作，在所有可能的程序中执行此操作，然后查看哪些程序在所有示例中都产生正确的输出，对吧？也许有一个这样的程序，然后你有十个，然后你必须进行选择。你试图猜测哪个程序更有可能成功，通常较短的程序更有可能成功，但你面临的巨大瓶颈是程序空间的大小，即你需要查看的程序数量，这与程序块的数量以及程序的大小有关。
所以，你正在寻找一个包含 40 个不同函数的程序，你正在查看一个非常大的空间，所以你不可能遍历该空间中的每个元素。这就是组合爆炸的瓶颈，而人类显然没有这个问题，就像你描述的那样，当你查看弧线时，你进行反省的过程，你只执行少量程序，逐步执行，你只执行那些实际上产生正确结果的程序，你似乎依赖一种非常强大的直觉，这种直觉并不完全可靠，这就是为什么你仍然需要执行这一步的原因。它不会给你完全正确的答案。
我认为大型语言模型在行动中正在进行某种组合过程。它更像是匹配，对吧？它仍然需要直觉，但它在方向上是正确的，它在遍历几乎无限的程序空间并将其减少到几个程序方面做得非常出色，我认为这实际上是认知中非常重要的减少过程。
所以有一些有趣的尝试。我与Jack和Run Green Black交谈过，还有梦想代码方法。也许我们应该从梦想代码开始，因为你知道，我在MIT有一个团队。Kevin和Alice是梦想代码论文的作者，他们实际上正在与一个名为Basis的实验室合作。
我前几天与他们交谈过，他们非常关注弧线挑战，并且正在实施许多与弧线挑战相关的研究，这非常酷。但我认为房间里的大象是梦想代码，以及它是什么。这是一种非常优雅、非常棒的弧线方法，但不幸的是，它目前效果不太好。
对吧？所以它在论文中被提及过。我对梦想代码的记忆是，它是一种程序和技术，试图创建一个可重用原语库，这实际上是在开发一种用于生成新任务的方式。我认为这是一个非常好的想法，并且它可能与我见过的系统相关，即抽象生成，你正在使用你的问题解决能力来尝试抽象出函数，输入，以便稍后重用，或者记住，唤醒、睡眠、循环，用于训练，所以合成公司利用计划，他们正在训练深度学习模型，但唤醒、睡眠循环。你能纠正我吗？
是的，所以他们有一个神经网络生成模型，然后他们有一个睡眠阶段，他们将重新训练生成的模型，以及一个称为抽象和睡眠的阶段，他们将组合在一起运行良好的程序，并丢弃运行不佳的程序。你明白我的意思吗？是的，是的，生成。
我认为智能有两个关键组成部分，一种是感知，你正在使用你现有的构建块并将它们组合在一起，组合在一起以创建与尝试的情况相匹配的程序，然后是抽象生成，你正在回顾你生成的模型，或者只是你对世界的理解，你试图从中提取可重用的构建块，并将其存储在你的记忆中，以便下次使用。是的，梦想代码实际上试图实现这两个方面，我认为这是一个非常好的方向，非常有希望。
那么，关于Jack的解决方案，你对此有何看法？以及那个MindsAI团队...
弗朗索瓦·肖莱特，一位著名的AI专家和ARC-AGI的创建者，讨论了智能、意识和人工智能。
MLST 由 TUFA AI LABS 赞助！ ARC 挑战赛的当前获胜者 MindsAI 是 Tufa AI Labs 的一部分。他们正在招聘机器学习工程师。你感兴趣吗？请访问 https://tufalabs.ai/ ***
https://arcprize.org/
https://x.com/fchollet
https://www.dropbox.com/scl/fi/j2068j3hlj8br96pfa7bi/CHOLLET_FINAL.pdf?rlkey=xkbr7tbnrjdl66m246w26uc8k&st=0a4ec4na&dl=0
1. 智能和模型构建 [00:00:00] 1.1 智能定义和ARC基准 [00:05:40] 1.2 LLM 作为程序记忆系统 [00:09:36] 1.3 万花筒假说和抽象构建模块 [00:13:39] 1.4 深度学习的局限性和系统2推理 [00:29:38] 1.5 LLM 和模型构建中的智能与技能
[00:37:36] 2.1 智能定义和LLM局限性 [00:41:33] 2.2 元学习系统架构 [00:56:21] 2.3 程序搜索和奥卡姆剃刀 [00:59:42] 2.4 开发者感知的泛化 [01:06:49] 2.5 任务生成和基准设计
[01:14:38] 3.1 系统1/2思维基础 [01:22:17] 3.2 程序合成和组合挑战 [01:31:18] 3.3 测试时微调策略 [01:36:10] 3.4 评估和泄漏问题 [01:43:22] 3.5 ARC实施方法
[01:50:06] 4.1 智能作为工具与代理 [01:53:53] 4.2 文化知识整合 [01:58:42] 4.3 语言和抽象生成 [02:02:41] 4.4 认知系统中的具身性 [02:09:02] 4.5 语言作为认知操作系统
[02:14:05] 5.1 意识与智能的关系 [02:20:25] 5.2 机器意识的发展 [02:28:40] 5.3 意识的前提和指标 [02:36:36] 5.4 AGI安全考虑 [02:40:29] 5.5 AI监管框架
0 但最终，提交解决方案并获胜的真正价值，我想说，是声誉价值，就像你成为第一个破解该挑战的人一样，在规模上，在复杂性上，在可扩展性上，在可操作性上，你的解决方案是朝着AGI迈出的重要一步。很多人现在都在谈论，如果你能解决它，你肯定会成为头条新闻，对吧？它将是一件大事。
例如，你提到研究一个实验室，嗯，这将是一个绝佳的机会，可以围绕你的解决方案建立一个实验室，然后将其完善，对吧？你可以做到这一点，仅仅凭借你的获奖作品所产生的势头。
你能就最近的Sab combat I发表评论吗？他有一个象棋模块化架构，这非常有趣。你知道，基本上你有一个新闻符号，你知道，大型语言模型生成想法、批评。你对此有何看法？
是的，我认为这通常是正确的做法。你 نباید به طور کورکورانه به خروجیهای مدل اعتماد کنید。 در عوض، باید از آن به عنوان یک موتور پیشنهاد شهودی استفاده کنید. این موتور پیشنهادات خوبی ارائه میدهد، اما نباید به طور کورکورانه به این پیشنهادات به عنوان پاسخ دقیق مورد نظر خود اعتماد کنید. شما باید یک بررسی نهایی از طریق سیستم 2 انجام دهید.
这就是为什么大型语言模型模块如此强大的原因，因为它消除了与迭代尝试响应解决方案相关的组合爆炸问题。但你也不受大型语言模型或表格系统 2的限制，对吧？因为你仍然有最后的系统 2验证，这将由真正的系统 2解决方案完成。
该架构非常有趣，因为它也是双向的。所以，你知道，验证器可能会给你“是”、“否”、“شاید” یا اطلاعات اضافی و سپس عناصر میتوانند تنظیم شوند و برخی از آنها میتوانند تنظیم شوند، اما خوانش من از آن این است که کمی پیچیده است، زیرا البته، تأییدکنندگان بسیار خاص هستند و به نظر میرسد کمی با برخی از راه حلهای چالش ARC متفاوت است.
针对该挑战，是的，我倾向于认为它主要基于基本原理，而且情况并非总是如此，在可以有下一个突破的领域工作，对吧？有时，我认为，它们可能与输入输出示例中的程序语句存在不可调和的冲突。所以，关于这一点，实际上，因为你知道你必须期望什么样的输出，即使是某些输入，而你正在生成的程序可以执行，它们可以针对许多其他程序进行微调，你没有这样的保证，对吧？
稍微继续一下。代理？是的，现在我认为代理被定义为一个系统的虚拟分区，它具有自我驱动和目的性，允许控制未来。我认为这是智能的必要条件。我知道你昨天对此有疑问，但你认为代理与智能之间的关系是什么？所以，你知道，很多人会将代理和智能视为几乎是同义词的概念，嗯，我喜欢在我的思维模型中将它们分开，嗯，智能是一种工具，代理使用它来完成任务，嗯，它与你的情感空间相关，例如，或者是你设定目标的能力，我认为你甚至可以将其与你的世界模型分开，所以，如果你是一个RTS玩家，也许是的。
就像命令与征服一样。
魔兽世界、工作流程、工人、完全正确，嗯，所有这些游戏，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，嗯，
你没有目标来驱动你的想法……我认为，特别是如果你在看孩子，你学习任何东西的方式都是通过设定目标并实现它们。你不能真正建立良好的心理模型……良好的词语模型……被动地、仅仅通过观察周围发生的事情来建立，而没有你手臂的目标，这并不难。设定良好的目标是任何智能代理的关键组成部分。我完全同意。
我认为我心中唯一未解决的紧张关系是，智能有许多表现形式。我们有可能构建一个抽象的、明确的版本，它可以在计算机上运行。本质上，它不必模仿我们在现实世界中拥有的智能类型，是的，我认为如此。
我认为，如果我们这样做，至少在未来三到五年内，它可能与人们思考的方式有显著的相似之处，但最终，你知道，它可能会朝着完全不同的智能类型发展。
现在，你说语言是心灵的操作系统。你的意思是？
对吧？所以什么是操作系统？它与计算机不同。……它使你的计算机更有用……更有用。
它增强了……竞争某些博物馆……嗯，它增强了某些用户……充分利用计算机的功能。我认为语言对心灵也起着类似的作用。我认为语言与心灵不同，就像它与智能（例如，与世界模型）是不同的东西。
但它是一个工具……作为代理，你利用它来使你的思想更有用，对吧？所以我认为语言和思维是不同的东西。语言是思考的工具。你用它做什么？我认为首先，你可以用语言来……使你的思想能够……反省你的思想……你的思想就像你大脑中的程序，你可以执行它们来获得输出……但你实际上可以通过用文字写下它们来观察它们……我并不是说像写下来那样表达……突然，你可以开始反思它们……你可以开始观察它们。
你可以开始比较它们，并且批判性地，你可以开始索引它们。我认为语言规则之一是使你能够……索引和检索你自己的想法和记忆。如果你没有语言……那么要检索记忆，你必须依赖……例如，一个人吃了一块玛德琳蛋糕，这让他想起……一个特定时间和地点……如果……没有语言，那么每次……检索记忆都需要……思考最佳时间和地点。他不需要吃玛德琳蛋糕。这将是唯一访问该记忆的方法，对吧？如果他拥有语言，你可以使用语言来尝试查询他自己的世界模型并检索他想要的记忆，所以这是一种表达你想要检索你内心想法的方式。
嗯，这也有助于组合更复杂的思想。如果你不能反思思想，如果你不能像我一样意识到它们并观察它们并修改它们，那么你的思想就会受到限制。我认为你也会在思想的复杂性方面受到限制。你可以格式化它。
如果你有一台计算机，你可以用它来编写程序。你不需要在编程系统中这样做，对吧？你可以直接编写汇编代码……为什么不呢？但在软件复杂性方面，你受到严重限制。
如果你有一个操作系统，并且你拥有……高级编程语言等等，那么作为程序员，你可以使用工具来开发更复杂的软件，而你的智能就是一个程序。你的程序可能没有改变，只是你的工具变得更好，你比以前更有能力，对吧？所以，我认为智能就像使用语言作为类似的工具。
是的，我们拥有这种由中介抽象组成的信息架构，它几乎就像复杂性的同心圆。在语言方面，他们谈到了剪刀，一种物理工具，而语言是剪刀的模拟物。当然，我们可以将这些工具组合在一起，并在不同的情况下使用它们。但是，转向意识，你建议意识在儿童中逐渐出现。这如何影响你对机器意识的看法？
对吧？所以首先，我对机器意识的概念不太感兴趣。我特别对智能和认知的性质感兴趣，我认为意识是一个独立的问题。
显然，你知道它与智能有一些关系。……你看到，在某种意义上，在任何使用系统思维的时候，你都意识到你在想什么，意识参与其中。所以，很明显，意识与系统思维之间存在某种关系。这种关系的性质对我来说并不完全清楚，我们谁也不假装理解意识，说实话，我不认为任何人真的理解它。所以我对人们对意识的非常精确和分类的想法持非常谨慎的态度。所以，你知道，我相信机器意识在原则上是可能的，并且也相信……我们今天拥有的任何机器意识的相似之处都可能与它相去甚远。……为了一个系统能够有意识，你知道，它必须非常复杂，比你在深度学习模型中看到的输入到输出映射更复杂。……为了一个系统能够有意识，你期望该系统拥有某种持久状态，这些状态会受到外部刺激的影响，但这不仅仅是完全由外部刺激决定的。它必须拥有某种持续性和一致性，它可以影响自己未来的状态，它不是被动反应的，对吧？我认为意识与纯粹的被动反应系统、选择性转录模型或昆虫（也许）相反。我认为我们没有这样的系统。所以，我认为意识也需要相当大的反省能力，就像系统在时间上保持某种自我一致的状态，它应该有某种方式来表示它对自身的影响，应该相信它会以某种方式发展。我们今天没有这样的东西，但在原则上，你知道，也许可以构建它。你提到……推特上有人说婴儿没有意识，这部分非常令人震惊，所以也许我可以说一个重要的时刻是……所以，你知道，我们没有真正的方法来确定任何发展阶段的人是否具有意识，这基本上是猜测。……在我看来，婴儿在出生时不太可能具有意识，因为……他们基本上一直在睡觉，就像……他们大部分时间都在两种可能的睡眠状态中，一种是深度睡眠，另一种是活跃睡眠。……他们正在四处移动，你知道，母亲可以感觉到他们四处移动。
当他们移动时，他们实际上并没有醒来。他们实际上是在睡觉，只是活跃的睡眠。剩下的 5% 不是清醒，而是在深度睡眠和活跃睡眠之间转换。他们一直睡觉的原因是，他们被麻醉了，对吧？……女性处于低氧压环境中，并麻醉了他们，而且婴儿本身也在产生麻醉产品。
基本上，婴儿实际上正在产生麻醉剂，所以这使婴儿处于这种无梦睡眠状态……这并不意味着大脑没有学习。大脑不是只是静止不动。……他们实际上正在学习，但他们以一种非常可塑的方式学习。
只是计算环境中发生的事情的统计数据，这与大脑在清醒和睡眠时所做的事情有关……是的，我相信婴儿在出生时没有意识，当他们开始醒来并探索世界时，意识开始显现。但这不是一种瞬间转换，他们从无意识到完全有意识，而是逐渐发生的。所以，你从零开始。
顺便说一句，你甚至可以在醒来后开始，因为当你醒来时，你没有东西可以意识到，你知道，就像……基本上，所有东西，不仅仅是行动，还有感知，都是你必须通过经验学习的东西，当你出生时。……你甚至可能无法真正看到，因为你还没有学会看，你知道，你还没有训练你的视觉代码。文本，对吧？所以你可能只能看到一些模糊的斑点。
……如果你想获得某种东西，你没有关于自己的模型，你可能有一个粗略的模型，你通过在世界中移动和你的大脑中发生的事情以及空间中出现的相关性来开发。这并不是一个真正复杂的模型。所以你没有东西可以意识到。你没有世界模型，没有关于自己的模型，没有真正的传入感知流，因为你还没有学会控制这些形式。所以你从零开始。然后，当你建立这些模型时，你的世界模型，你对自己的模型，你逐渐一点点地变得更有意识，在某些时候，你达到某种水平，可以被认为是完全有意识的，就像一只狗可能完全有意识一样。任何事情发生得很快，可能比意识的第一个明显外部迹象早得多。
我认为大约一个月大的婴儿现在有意识，……与大多数哺乳动物处于同一水平，我想，但仍然不是成年人的意识水平，对吧？……我认为成年人的意识水平是儿童在两到三岁左右才开始发展的。这并不意味着他们一直没有意识，就像意识从第一天开始，只是数量很小，对吧？……所以意识是你必须随着时间积累的东西，至少这是我的理论，……有一些迹象表明这并非完全是凭空捏造的，但再次……一个例子是，如果你尝试观察注意闪烁，……尝试在婴儿身上测量它，你会发现，直到三岁，他们的注意闪烁速度明显比成年人慢，他们会将周围发生的事情压缩成更少的事件，以便他们对时间和世界有更粗粒度的分辨率。……我认为这实际上……这与意识的各个阶段以及这种非常……可能是可转换的想法有关。所以，你达到成年人的意识水平，大约两到三岁左右……但你不会停留在那里。你实际上会变得越来越有意识，……你的意识水平可能在九到十岁左右达到顶峰。
然后，随着时间的推移，你变得越来越不那么有意识，但程度并不大，所以……嗯，我不知道，九十岁老人和十岁儿童和三岁儿童之间的意识差异实际上很小。但它仍然存在。我认为这与一些事情有关，例如对时间的客观感知。
我认为你越有意识，你的时间感知就越慢，因为你的时间感知高度依赖于你在任何时间段内能注意到多少事情。所以，你可以将意识的概念化，想象意识是你世界模型中的一个焦点，它是一个焦点，从该焦点出发，……与其他事物建立联系，……建立联系，并赋予这些联系意义，这些联系可以是……可以是……可以是更强或更弱的，可以是更深或更浅的。……你越有意识，你拥有的深层联系就越多。……它们也有一个时间组件，……如果你非常有意识，即使在很短的时间内，你可能会注意到很多事情，在这些事情之间建立很多联系……你知道，这就是高水平的意识。另一方面，如果你注意到很少的事情，如果你对现实的感知非常粗粒度，……你注意到很少的事情，……任何时间段内，你对时间的感知就越快，就像事情在眨眼间发生一样。……这就是其他问题，例如，如果你喝了一点酒，你的意识会降低，……事情实际上看起来会更快，你会注意到事情，你建立的联系的深度会更少。……我认为，如果你……一岁或两岁，你的注意闪烁速度会非常快。不，我们已经决定，孩子们对时间的感知速度较慢。我认为这是真的，但这真的取决于你的意识水平。
我认为，如果你对时间的感知非常快，那是因为，再次，你的意识水平较低，你的压力基本上是低的，但如果你的意识水平实际上相当慢，对吧？如果你七岁，它也慢。它实际上会越来越慢，直到它在九岁左右开始加速。所以，再次，因为你不太有意识，我记得……
当我还是个孩子的时候，我感到非常无聊，我记得我感到无聊，我记得……教授马克斯·施特劳斯最近……他写了一本很棒的书，叫做《隐藏的春天》。
他的基本思想是，意识是预测错误。所以，你越有意识，当你第一次学会开车时，……事情变得越自动化，我们越不那么有意识。然后，也许随着我们长大，事情在很多方面会变得更快。但是，这种越来越有意识或越来越不那么有意识的想法非常有趣，正如他所说，就像一个开关，但在机器意识方面，我记得你曾经来节目谈论过中国房间，你说理解是一个系统的功能动态的虚拟属性，你很可能也会说意识是一个系统的功能动态的虚拟属性。
我想是的。我认为它与底层没有强烈的联系。所以，原则上，你应该能够使用硅中正确的功能机制来实现意识。我不认为我们已经完全掌握了这些机制，但原则上，我认为这没有问题，是的。
我们将意识的难题放在一边。施特劳斯教授对意识的难题相当不屑一顾，你知道，这指的是……存在某种……有意识的感觉。嗯，我认为有些人……有些人对意识问题持同样的看法。是的。
不，就像意识是什么感觉一样。信息、过程、系统等，这些东西实际上毫无意义。这只是将问题推回到你可以更好地用语言集中注意力的地方，但它并没有解决问题。
显然，存在意识，你正在产生意识，对吧？所以你不能否认它们的存在。……我们无法解释甚至描述它们是什么样的东西。你可以描述意识的许多方面，但主观体验无法还原为解释。存在某种东西，我们不知道那是什么。
你认为我们有意识，动物也有意识。
但更多的是习惯。我的意思是，动物……我认为我再次相信意识的程度……动物可能意识程度较低。视频中可能存在差异，但可能意识程度较低。
你认为地球可能在某种程度上是有意识的吗？
不，我不这么认为。我认为……非生物系统通常缺乏我想要在系统中看到的基本先决条件，即使只是为了开始考虑它可能具有意识，例如，维持……这种……自我影响、自我一致的内部状态，随着时间的推移，受到感知的影响，但它也能够驱动自身、预测、产生自己的未来状态，……能够自我反省等等。……我认为我们今天在非生物系统中看不到这些。
你认为所有美国人的集合可以被视为一个有意识的实体吗？不，为什么？再次……
因为缺乏基本先决条件。
所以它需要一种与周围环境物理连接的形式。它不可能是分布在许多代理身上的虚拟版本。
你知道，你完全可以提到一些分布式版本的问题，我不是说美国人的整体，例如，实施这种自我影响、自我一致的状态，能够代表自身和世界，等等。即使你拥有这些自我辅助的东西，例如，它并不自动具有意识。关键在于，如果你也看到像……（例如你的歌曲），那可能就会变得如此，那么会发生什么？嗯，这很困难。
而且我认为你永远不会看到……意识网络的意识证明。大多数时候，我认为这总是猜测，但我认为系统很可能具有意识，如果它具备所有这些要求，并且能够表达关于自身内部状态的陈述，而这些陈述不能仅仅是……重复系统听到的东西，你知道吗？就像如果你问一个阿里巴巴关于一个隐藏领域，那么我会回答一些关于它真正只是重复他读到的一些东西。我想看到的是，系统正在对隐藏领域发表声明，并且系统行为与它告诉我以及它告诉我与系统之前见过的任何东西都不同之间似乎存在很强的相关性。
我不知道，我……更倾向于咨询他们，因为……哭泣，我喜欢散列，不应该在对话中哭泣，但我想要哭泣，我觉得……在孩子所做的事情和他们对自己说的内容之间存在相当强的关联，所以你可以相信他们……他们从未听过任何人想哭。他们真正表达的是他们不可能从任何其他地方学到的东西，你知道吗？在这些情况下，很有可能它不是证明，而是很有可能事实上他们确实对自己的心理状态有一些意识，并且他们正在表达关于它们的一些东西，他们实际上是有意识的。他们很贵，你……
你知道，从你非常批判单一理性主义和宿命论的角度来看，你认为这些极端观点的驱动力是什么？
嗯，你知道，我认为好的故事，比如关于世界末日的故事，决定了我们生活在末世，也许我们有责任扮演这个角色。嗯，有一些好的故事，这就是为什么你在科幻小说中经常发现它们，在宗教中也经常发现它们，而且它们并不新鲜，已经存在了数千年。
嗯，我认为主要的驱动力只是……它们是好的故事。人们想要相信它们，而且他们也受过训练来保留和传播，这实际上是主要的事情。你知道，每个人都在创造意义……来组织自己生活中的事情，这就是为什么恐惧仍然是所有年龄段的一个问题，以及这只是一个例子。我认为……
你认为这有点……复杂吗？
是的，绝对地。我认为你可以在阳光明媚的学校里看到这一点，嗯，然后所有的人都会对建立AGI这个想法有所关注，并且利用它来某种程度上描绘自己，正如你所说，基本上，我认为将AGI视为科学问题。
不是宗教追求……你知道，这经常会与……与AGI融合在一起，无论如何，这都是很自然的，因为……宗教通常都是关于……这种结合……无论如何，嗯，是的，这是一种融合，也是一种永生，对吧？如果你创造了AGI，它会让你永远活下去，这几乎是理所当然的，对吧？嗯，它已经变成了这种宗教追求，为了获得第一个……无论是谁猜到第一个，都会成为……上帝，对吧？所以，我并不真正认同任何这些。我认为建立AGI是一个科学问题，一旦你建立了AGI，它基本上就是一个非常有用和有价值的工具，它会……
你知道，正如我提到的，在未来的情况空间中找到一个算法，它将是一个软件，它会获取关于问题的某些信息，然后人们非常有效地综合了该问题的模型，你可以用它来做出关于该问题的决定。嗯，所以它……
但它不会让你变成上帝。当然，你可以用它来进行寿命研究，但它不会自动让你变得不朽，因为我认为这并不是一个重要的问题，如果你开始用非常强大的方式将信息转化为可操作的模型，你的瓶颈很快就会变成你拥有的信息。
所以，例如，如果你有一个能够进行物理学的AGI，它可以快速地综合新的物理学理论。嗯，今天的科学家已经很擅长这一点。事实上，他们做得很好。
他们做得很好，以至于综合可能的新理论的能力超过了收集实验或数据来验证它们的能力，例如弦理论。嗯，这是一个很好的例子，说明如果你太聪明了，那么你就会开始……像信息一样自由地运行，然后它就不再那么有用，对吧？
嗯，应用智能是基于实验数据的。如果你非常聪明，那么实验就变成了瓶颈。所以这不像你会……发生初始爆炸。有什么会让你改变想法吗？当我再次禁用声音，用绿色和黑色，我试图避免在实际辩论中进行x讨论，很多事情都取决于代理，所以我说了，因为我不认为系统会具有善良或邪恶的意图，我不认为存在问题，因为围绕这个主题的许多神话，你知道，博斯特罗姆和关于工具性融合和自主性的想法，都是目标。都是基于目标的。
所以没有代理，就没有问题。你大概同意吧。但是，你知道，如果存在代理，你认为会有问题吗？
是的，不。我认为智能与代理是分开的，与目标设定是分开的。如果你只是孤立地拥有智能，那么你仍然有办法将信息转化为可操作的模型。
嗯，但它不是安全导向的，它不是……无法设定自己的目标或任何类似的事情。目标设定是附加的，是附加的组件，可以添加到它。现在你可以想象，如果……如果将AGI与价值观系统结合起来会怎么样？
嗯，你将所有这些都转化为代理，然后你让它访问……核代码或其他一些……危险的东西？嗯，是的，但你以非常有意识的方式制造了这种危险，对吧？嗯，我认为一旦我们有了AGI，我们有足够的时间来计算……预测这种潜在的风险。所以，我认为……AGI将成为我们未来的一部分，所以这正是它可开发和使用的原因，任何不好的形式也可能存在潜在的风险，但我们很可能会控制它，因为AGI本身不会设定目标，直到你实际上创造了……目标设定机制。
但是你为什么要这样做？你知道，困难的部分，脆弱的地方不是智能部分，而是目标设定……在行动空间中的部分，如果你想创造一些非常危险的东西，它会设定自己的目标并在你的世界中采取行动，你实际上不需要非常高的意图来做到这一点。你已经可以用真空吸尘器做到这一点，对吧？
所以，存在风险是一个合法的研究领域，特别是核武器。例如，当许多人只关注人工智能的生存风险时，他们也在关注其他风险。但是，你如何看待……你可以非常愤世嫉俗地说，老式的有效主义和开放慈善事业，他们投入大量资金。他们真正想要的是权力和控制。你如何……思考这个问题？
嗯，当然，也有这种想法，我认为许多真正的信徒只是因为他们想要相信它而相信它，它在很多方面与宗教思想非常相似。所以我不认为这是非常理性的，你知道吗？
嗯，话虽如此，你知道，一旦我们有了AGI，因为现在我们还没有，并且我们接近它，一旦我们有了它，我们就可以开始思考风险，我认为你不会看到……你开始尝试运行它，它变成了自我控制，你的爱，等等。所以我不认为你会看到任何类似的事情。嗯，AGI只是一个可以将数据转化为模型的软件，由你来决定如何使用它，对吧？
我的意思是，从抽象的角度思考这个问题，可以将其视为一般安全主义和治理。如果我们去掉夸张的成分，我们可以谈论……虚假信息之类的东西。你对此有何看法？
嗯，也许我应该更具体一些。我的意思是，你知道，深度伪造和虚假信息以及侵犯版权。你认为我们应该严格监管这些，或者如果我们这样做会损害创新吗？我认为这些绝对是当前技术……当前和未来人工智能用户可以利用的工具，是的，我认为一些形式的监管可能对保护公众有益。而且我认为到目前为止提出的监管建议并不令人满意。
嗯？
我的意思是，也许我应该更具体一些。我的意思是，你知道，深度伪造和虚假信息以及侵犯版权。你认为我们应该严格监管这些，或者如果我们这样做会损害创新吗？我认为这些绝对是当前技术……当前和未来人工智能用户可以利用的工具，是的，我认为一些形式的监管可能对保护公众有益。而且我认为到目前为止提出的监管建议并不令人满意。
它们更倾向于阻碍创新，而不是保护公众。我认为最终它们更有可能将权力集中在人工智能领域，而不是真正服务于公众。嗯，所以在这里进行监管很困难，仅仅依靠现有的非人工智能监管来保护人们可能是一个更好的选择。鉴于引入新的专门监管……这是一个困难的问题，而且根据我到目前为止所了解的，我不知道关于它的情况。
这将……很荣幸也很高兴。
非常感谢。我很乐意。非常感谢你。
太棒了。