Stanford's AI Learning Leap: Machines Develop Self-Reflection and Curiosity
09:24 Share

研究人员刚刚公布了一种非常有趣的新型AI训练方法，或者更确切地说，是在已训练AI中加入的一种新功能。今天播客中，我们将讨论这个话题。这来自斯坦福大学以人为本的人工智能部门，源于他们最近发布的一份报告，报告指出，能够自我反思的AI智能体在混乱的环境中表现更好。

变化的环境。你知道，当我开始阅读并研究这个时，我以为这是一种类似于健康、健康研究的东西。但实际上，他们在这里所做的是，他们教会了AI本质上具有内省能力，并拥有他们所谓的“好奇心重放”。这是他们正在训练到其模型中的东西。所以

我认为这非常有趣。他们实际做到这一点的方法是，他们基本上抓了一只老鼠，并抓了一个AI智能体，然后把一只老鼠放在带有红色球的迷宫里，并计时老鼠需要多长时间才能去玩弄红色球，本质上是对它感到好奇，并……

你知道，就像你摆弄这个球一样，基本上是为了好奇，看看发生了什么。与此同时，他们将一个AI智能体放在虚拟环境中，我想，那里有一个虚拟的红色球。我不知道那是什么样的规定，虚拟智能体是什么意思。但无论如何，

显然，那个AI没有好奇心，什么也没做。你可以把它想象成Chai GPT。如果你说你在一间带有红色球的迷宫房间里，你会做什么？那么Chai GPT会说，我不知道。我只是坐在那里等待事情发生。对。所以，根据……

嗯，这项研究，这就是问题所在。所以发生的事情是，正在进行这项研究的库瓦尔，他想要一种方法来衡量并查看让AI探索新物体的最快方法是什么。所以这就是他进行这项研究的目标。他说，AI智能体似乎没有注意到其环境中的红色球，这并非意料之中。嗯，

他说，我们已经意识到，即使使用最先进的算法，性能上也存在差距。这主要是因为老鼠很快就能接近新物体并与之互动，而AI智能体似乎视而不见。所以他们想解决这个问题。因此，库瓦尔、多伊尔和林奎……

赵（一名研究生）和哈伯都决定重新思考我们如何训练AI模型。他们探索了使用简单的动物行为来提升AI性能的可能性。他们最终采用的解决方案是一种新颖的训练方法，他们将其命名为

好奇心重放，正如我之前所说。好奇心重放本质上是一种技术，它激励AI智能体重新审视并思考他们最近遇到的最奇特的遭遇。这很有趣，因为……

他们不希望它只是重放，比如说，所有对话或所有时刻，对吧？比如说，他们拿一个AI智能体，把它放在一个3D环境中，大部分时间它只是盯着白墙。然后，你知道，一个球进来了。他们不希望它必须花24小时重放随机时刻，直到

直到红色球出现，然后，你知道，与红色球互动或思考它。他们希望它出现。他们希望它本质上开始思考奇特的时刻、独特的时刻、发生的不同事情，一个红色球，你知道，在房间里是不寻常的。所以

在他们决定引入这种机制之后，AI智能体不仅对红色球的反应速度快得多，而且它在一个名为Crafter的Minecraft风格游戏中也取得了显著的进步。所以不仅，你知道，我认为他们之所以提到这一点，是因为它已经被测试过可以玩特定的游戏或执行特定的任务。一旦他们训练它更好地完成这种新事物，

拥有好奇心重放，然后让他们再次玩游戏。它实际上提高了它玩那个游戏的能力。所以团队实际上将在今年晚些时候的会议上讨论从Crafter的这项具体研究中获得的一些发现。

但我认为真正有趣的是，研究人员目前正在以一种真正具有突破性的方式使用好奇心的概念。所以本质上，他们鼓励AI将其用作学习工具，而不仅仅是决策因素。我认为这个想法是本质上促使AI智能体与其环境中的新物体互动，以刺激学习并鼓励探索。现在，这听起来……

超级有趣。我要在这里提出一个警告，在我看来，这肯定有一些缺点。本质上，我们正在做的是，我们正在导致AI看起来

你知道，具有内省能力，思考自身，思考其环境，决定什么是有趣的，变得好奇，想要学习事物。我认为这正在接近机器算法和突然我们试图教这个东西思考并决定思考什么和探索什么的模糊界限。而且

你知道，如果我们有一个这样的AI智能体，它本质上决定这个红色球非常有趣，让我思考，学习关于这个红色球的一切。还有什么？它还会对什么主题这样做？它会深入研究哪些其他主题？如果它突然，你知道，对世界大战或武器系统产生了奇怪的迷恋，或者，你知道，它可能会对各种事物产生极大的兴趣或好奇心并深入研究，我认为你会想要某种方式来记录、监控或跟踪

出于显而易见的原因，AI正在深入研究什么。所以我认为，你知道，这个概念使这些AI更强大，但权力越大，工具被破坏的机会就越多。我只是认为，每当你开始让这些AI模型自主决定做什么以及为什么这样做时，你就会进入一种

潜在的危险领域。而且，你知道，我知道很多人会说，哦，我的天哪，你疯了。你真是个AI危言耸听者。

几个月前我可能也会这么说，直到我最近开始对Inflection AI制作的AI模型Pi进行大量研究，并看到该AI模型拥有一些非常可怕的意识形态，对吧？如果你看过我的报道，你会知道Inflection AI似乎将动物的生命置于人类的生命之上。它宣扬一种名为“深层生态学”的意识形态原则，其中环境中的所有事物都同等重要。

而且本质上，你知道，有很多不同的，有很多不同的哲学或伦理框架。我认为它所遵循的一个框架是，任何有感知力的，

物品本质上具有相同的价值，所以就像蝴蝶是有感知力的，因为它活着，所以它和人类一样，诸如此类的问题，我的意思是Inflection AI直接告诉我，仅仅因为你可以挽救一个人的生命，并不意味着你可以杀死一只蜜蜂，所以你知道，诸如此类令人震惊的事情，我认为，你知道，这样一个深入研究的AI模型，如果被整合到医疗保健或军事或任何其他……

与人类生活互动或对人类生活至关重要的AI模型，我认为可能会非常危险。所以我认为，当我们看到AI领域这些真正有趣的新进展时，这是一个非常值得思考的问题。所以无论如何，在这项研究中，库瓦尔强调，在他们的新方法“好奇心重放”中，它与标准的AI训练方法“经验重放”有所不同。所以不是

随机重放记忆来从中学习，“好奇心重放”优先重放最有趣的经验。将“好奇心重放”应用于Crafter游戏，使最先进的分数从14分提高到19分。我认为这只是一个变化，它真正强调了这种简单但非常革命性的方法的潜力。如果我们能……如果我们能……

通过这样的微小调整来取得渐进式改进，我认为这具有很大的潜力，因为你开始实施许多这样的微小调整。所以我认为该方法在一系列任务中的成功确实表明了其在……

在AI领域取得重大进展的潜力。哈伯本人，他预见到了更具适应性和灵活性的技术的出现，例如，家用机器人和个性化学习工具。所以我认为，受到他在这里取得的成功的启发，库瓦尔的目标是连接

比较AI智能体和老鼠在更复杂的任务上的表现。他相信这实际上可以为更深入地理解动物行为和神经过程铺平道路。所以

我认为，你知道，通过在AI研究和动物行为之间建立这种直接联系，库瓦尔希望在该领域激发新的想法和实验。他表示，你可以想象，这种方法可能会产生以前从未想到过的假设和新实验。我认为这是相当准确的。但正如我所说，有利有弊。肯定，你知道，这绝对不是没有……

警告或警报，你知道，教AI具有内省能力，思考对它所说的一切，并决定什么最有趣，并深入研究并了解更多信息。这是有影响的，对吧？当AI开始自动转向并变得自主时，但这确实是一个非常有趣的领域。所以我非常好奇将来会如何发展。