Graphs and ML for Robotics
41:59 Share

您正在收听数据怀疑论者图论和网络播客，该播客探讨了图数据结构在科学、工业和其他领域的影响。我们欢迎您收听数据怀疑论者图论和网络的另一期节目。所以我们正在讨论一个有趣的问题——房间分类。所以，给定一个平面图，你能确定哪个是浴室，哪个是卧室等等，特别是使用图神经网络来做到这一点。阿萨德，您对此有何看法？

实施方面？我喜欢今天嘉宾的地方在于，他向我们展示了如何使用图来为机器学习添加更多相关特征。图的妙处在于，无需添加更多数据，只需利用现有数据，就可以为我们的数据集增加更多维度。

利用，我需要将您的数据建模为图，因此您可以使用属性作为特征，例如，正如我们很快将在节目中听到的那样，如果我们将房间打包成节点，然后将门建模为边。我们创建的图中的模式可以帮助我们更好地对不同的房间进行分类，但更酷的是，因为它是一个图。我们可以寻找不仅在节点或房间（在本例中）的直接周围，而且在距离它两三个跳远的模式。

埃尔菲什c指的是自适应拓扑图。艾莎所做的一切中的卷积都是为了创建一种方式，例如APP，用于机器人学校导航公寓。所以，就像机器人使用A*和Dijkstra之类的算法来找到到达他们应该去的地方的最有效路径一样。

但是，由于它是一个图，他还可以向数据添加层，使房间成为第一层，然后是第二层的家具，以及第三层家具上的物品。因此，您可以将房子中的一切都细化到浴室水槽旁的牙刷。它们中的每一个都可以成为一个节点。

我个人最喜欢谈话中的一部分是关于我们的嘉宾如何让机器人反思他们的错误。是的，我脑海中浮现出一幅沮丧的机器人自言自语的画面。我做错了什么？我做错了什么？机器人进行这种自我反省听起来真的很酷。

是的，机器学习中一个相当新颖的方面。我不知道这是第一个用例还是什么，但是经典的强化学习非常类似于巴甫洛夫的条件反射。你做错事会扣一分，做对事会加一分。

但这里更多的是说，你在这段时间内犯了一个错误。反思你的错误，你知道，甚至可以模拟其他情况在一个区域基础设施上，然后想出我必须为下一个情况构建一个更好的算法或策略。非常有趣的学习方式。

我们从行为中进化而来。即使在机器人身上，它也没有我们想要的那样有效。我们需要一些更复杂的东西，对吧？这并不那么简单。所以很酷的是，我们在人类身上看到的现象，我们也在机器人身上看到了。

关于他们如何从这个图中提取拓扑特征的观点，这在工业界是最常见的用例。我观察到人们参与图论时，他们不仅提取最近的邻居，还提取图的二、三级邻居或结构，例如三角形或其他结构。

然后，这些只是传统机器学习中的新特征，尽管与阿尔比·沙克今天向我们展示的不同，他们实际上正在使用图神经网络，该网络以某种方式内在地考虑了结构，这是一个很好的特征。但我将在未来更深入地研究图神经网络。当然，我非常想听听你的想法。让我们在采访中深入探讨。

所以，我是乔治·梅森大学的计算机科学、应用物理学和数据科学专业的博士生。我的研究兴趣领域是机器学习、规划和不确定性。我的研究重点是如何将机器学习融入机器人行为和能力，以便在多种环境中适应，当机器人使用某种机器学习技术时。所以，是的，我专注于这个领域，以改进机器人的学习。

所以我在研究生院上过一门机器人学课程，那是在很久以前，我有点惊讶于模拟是如何进行的。我们没有谈论物理机器人。我们谈论的是快速模拟和软件中的类似事物。

我惊讶地发现，它感觉与物理方面脱节。您也有同样的感觉吗？或者也许随着时间的推移，情况已经改变了？

随着时间的推移，情况已经改变了。我开发的算法首先在模拟中证明了其有效性，然后我们确定，看，这在模拟中有效，然后我们尝试将其应用于真实的硬件机器人或类似的东西。到目前为止，我已经开发了许多在模拟中证明有效的算法，现在我正在努力将这些算法应用于真实的机器人，以便我们能够证明它们在真实机器人中也同样有效。

所以，我认为肯定需要找到一个平衡点，对吧？你可以在模拟中做很多事情，但是直到你面对现实世界，你才能真正看到它。好的，这将有效，对吧？所以，许多从事标签和控制工作的人，我认为他们更专注于在真实硬件中展示其能力，对吧？

因为这是他们工作的重点，除非你能将它应用于真实的机器人来处理低级控制，否则仅仅在模拟中进行可能不是展示其工作的有效方式。所有希望进行高级规划的人，例如机器人将去哪里，它是否会与浴室互动或在寻找某个物体时进入厨房。这些高级规划甚至不需要真实的机器人就可以演示。

我可以演示，例如，机器人进入浴室寻找牙刷。它可以从阅读室走到浴室，而不是直接去厨房。所以这绝对是你的工作重点，你是否真正展示了它在现实世界中的应用。

那么，深度学习和深度神经网络对该领域产生了什么影响？

哦，是的，我的意思是，每个人都在做，对吧？所以，我认为该领域并没有远离人工智能和深度学习的兴起，对吧。它实际上在深度学习取得进展时，尤其是在计算机视觉领域从大约2012年左右开始出现爆炸式增长时，带来了很多进步。

因此，许多基于视觉的理解得到了改进，这使得机器人的感知系统得以改进，而机器人的感知系统改进实际上导致了机器人行为的改进。对吧？你能更好地识别物体吗？所以，一旦你更好地识别了物体，它就可以更有效地找到那个物体。

所以，类似的事情，对吧？以及自然语言处理的最新发展，人们正在尝试在人工智能和机器人方面做很多事情。最近兴趣很高，但我仍然认为在这个领域还有很多工作要做，使用当前的深度规划工具，例如A*。

是的，这真的很令人兴奋。在机器人领域处于正确的时代。你知道，许多使用A*的研究正在进行，然后你就有机会将这些新颖的想法应用于机器人，以改进机器人如何在现实世界中表现。

我最近读了您关于使用图神经网络对平面图进行房间分类的论文。对于那些还没有阅读过的人，你能简要总结一下这项工作吗？

这似乎有点偏离我谈论的机器人学，等等。但我认为这是一篇我以前写的论文。我想，那是在我开始从事机器人学工作之前。

所以，那是我刚开始学习机器人学的时候。我正在学习如何构建环境地图，使用光学传感器来构建环境地图。

而且，我还学习了很多关于机器人地图构建的内容。当机器人绘制环境地图时，它会构建一个二维地图，其中包含障碍物和空闲空间。这让我对机器人如何构建建筑物地图产生了兴趣。

例如，在家庭或公寓建筑中，对吧？然后我要求它带给我一个工具，例如，从之前的例子来看，它必须知道它在哪里。

它现在所处的位置是客厅、厨房还是浴室。一旦它确定了这一点，它就必须推断工具可能在哪里，对吧？可能在浴室里。所以它必须找到工具所在的房间。

无论它去哪里，它都必须确定它当前所在的房间，对吧？所以，这促使我研究如何使用平面图对房间进行分类，首先确定地图中的房间，然后再确定工具可能在哪里。所以，这基本上是我对这项研究感兴趣的原因，即根据环境数据对地图中的房间进行分类。

这基本上是你可以用来提出这类问题的潜在数据集。

本期节目由Work OS赞助。如果您正在构建一个B2B应用程序，那么您的客户最终会要求企业级功能，例如单点登录、访问控制和审计跟踪。这就是Work OS发挥作用的地方，它提供易于使用的灵活应用程序，帮助您在第一天就提供企业级功能，而不会减慢产品开发速度。

世界上一些热门初创公司目前正在使用Work OS，包括您可能熟悉的Perplexity、Versify、Jasper和Webflow Worker。Work OS还提供慷慨的免费层，每月活跃用户超过一百万后，其用户管理解决方案将变得更加强大，这使其成为快速发展的公司的理想身份验证和授权解决方案。它包含丰富的标准功能，例如社交登录、恶意保护、多因素身份验证、角色和权限等等。如果您正在为您的第一个企业客户构建应用程序，那么您应该考虑使用Work OS，并立即开始提供企业级功能。访问Work OS网站workos.com。

那么，你可以用来提出这类问题的潜在数据集是什么？

我们研究了平面图数据，特别是因为平面图基本上包含地图结构，例如地图的鸟瞰图。我们研究了互联网上可以找到的数据，并发现了日本房屋和公寓的数据集。

我想它叫“Leader House Data”数据集或类似的东西。它包含大约143,000栋日本房屋和公寓的平面图。然后，它们包含有关房间类型、房间坐标等信息。这是我们进行这项实验所需要的数据。

如果可以详细说明数据集，我会很感兴趣。我设想它可能类似于ImageNet，但包含平面图图像。尽管听起来尤其难以管理。我宁愿有猫的图像或类似的东西。数据集的特征是什么？

我认为“Leader House”数据集是我们找到的原始数据集，我们还发现了我认为是原始平面图图像的数据集。

尽管我们没有直接使用“Leader House”数据集，但我们发现有人已经将这些平面图图像转换为矢量格式，并从平面图中提取了房间坐标。这项工作使我们的工作变得更容易，我认为论文中解释了这一点。他们做了完全不同的工作。

所以，他们正在做一些与生成平面图相关的事情。所以，基本上是生成的。但对于房屋和平面图。所以，他们基本上从“Leader House”数据集中提取了向量，并从图像中提取了房间坐标等信息，然后使用该数据集来训练生成对抗网络，以生成新的平面图。

我们从那篇关于将平面图图像转换为矢量格式并提取坐标的论文中借鉴了很多知识。而且，我们不必做很多工作，因为其他人已经做了。所以，研究人员不必从头开始所有工作。你可以建立在别人的工作之上。

这就是我们在房间分类工作中处理数据的方式。基本上，这些数据包含房间边界框、房间类别、房间坐标等信息，以及与这些房间对应的房间类型，以及房间之间是否存在连接等信息。还有原始图像，用于生成完整的地图。我们没有真正使用这些图像，因为我们只需要矢量格式的数据。

拥有“Leader House”数据集听起来是一个很好的起点，但是从坐标和多边形到图的转换仍然不清楚，这是否真的是正确的工具，对吧？在机器人学中，是什么启发了你？

所以，我们谈到了使用占用地图作为二维表示，其中每个单元格可以是空闲的或障碍物，对吧？当你有一个大的网格，每个单元格要么是空闲的要么是障碍物时，你可以用占用网格地图来表示一个大的平面图。

这是一种不同的地图表示方法，我们称之为拓扑地图。是的，拓扑地图。这种表示方法基本上包含重要的地标。例如，客厅中的一个地标可以是沙发的位置，对吧？然后你有一条路径。

你有一条连接客厅中的那个点和门的直线。然后，机器人可以从客厅中的那个点移动到门。门将作为客厅中的一个节点。

客厅中的一个点也将作为节点。如果机器人可以从例如入口移动到客厅，那么连接这两个节点的边就是路径。所以，这些拓扑地图用于机器人规划，对吧？

所以，如果机器人站在门口，想要去卧室，并且存在从入口到客厅，然后从客厅到卧室的节点，那么你可以规划一条从入口穿过客厅到卧室的路径，对吧？所以，这个拓扑地图的概念启发我们用图来表示房间和整个平面图。

我应该期望每个房间一个节点吗？还是会有许多节点来表示一个房间内的不同位置？

在这项研究中，我们实际上将一个房间表示为图中的一个节点。如果一个平面图中有五个房间，那么它将有五个节点。我认为边之间的连接，我需要再次参考论文，因为那是2021年的论文。

我不想弄错，对吧？所以，我认为我们在图中连接两个房间节点，如果它们在一定距离阈值（例如3%）内。所以，如果两个房间节点在整个平面图的3%范围内，那么我们用一条边连接这两个房间。这就是我们如何从平面图中构建图的方式。

那么，边只是表示我可以从一个房间移动到另一个房间吗？

不完全是。例如，有时浴室或客厅可能与餐厅相邻，但你可能无法直接从客厅走到相邻的房间。你可能需要先去厨房或类似的地方，对吧？但是，在我们的方法中，我们仍然连接这些房间。

连接，这些房间之间的连接，仅仅基于这些房间之间的距离，而不是你是否可以直接从一个房间走到另一个房间。正如我所说，我的意思是，在机器人领域，就像我们在谈论的拓扑地图一样，这是灵感来源，但我们并没有精确地将这些平面图表示为拓扑地图，让你可以从一个房间直接走到另一个房间，对吧？所以这里有一些不同之处。这是灵感的来源，但我们认为这是一种更好的表示方法，因为我们并不真正关心，我的意思是，这可能是一个不同的重点，人们可以在这项研究中利用这一点，但我们想让它更适合我们从草图神经网络中学到的东西。

不过，我们只是出于好奇才开始的，我必须说，我记不得我曾经在过一个你可以直接从厨房走到浴室的房子里。

对吧？

这是一种结构上的洞察力，也许你可以利用它。你对在你的模型中可能没有这种结构有什么想法吗？

我的意思是，在做了这项工作几个月后，我们看到了很多可以改进的地方，你提到的像实际表示房间之间是否可以通行这样的想法是一个非常好的见解。但是我们并没有真正在这方面深入研究，因为我认为我们当时有一些时间限制。

我当时也是作为课程项目的一部分在做这件事，我不得不告诉我一次。所以，我们能探索什么以及不能探索什么，有很多限制。我们基本上没有深入研究那方面，因为在完成这项研究之前，我们有一些时间问题。

但是，如果我们有更多时间，即使在提交之后，我们也在思考这个问题。但我对机器人规划，特别是规划不确定性下的规划更感兴趣，所以这项工作在某种程度上被搁置了。但我同意你的观点，在我们的计划中还有很多可以改进的地方。

我很好奇，你能更详细地说明一下机器学习问题吗？如果你考虑教科书上的机器学习，如果你得到一些表格数据，其中一列是目标，其他列是特征，那么你如何获得最终的表示呢？

一旦我们有了这个图，我们需要将其公式化为一个分类问题。正如我们在与他的鼻子相关的重力中所说的那样，不是分类问题。我们有房间的表示。

我们试图通过将这种图形结构输入到一些华盛顿·阿鲁西算法中来输出我们图中节点的类别。一个节点可以被分类为卧室，另一个节点可以被分类为厨房。

我们需要为图中每个节点关联一些特征，对吧？这些特征包括房间的坐标，对吧？我想每个房间节点有六个特征。

第一个是面积。一旦你从图中提取了房间的坐标，我们就可以计算房间的面积。也许客厅通常面积较大，而浴室通常面积较小，对吧？所以这是一种区分房间的重要特征。

所以我们认为面积会是一个很好的特征。所以我们计算了每个房间的面积，然后将其作为第一个特征。其他的特征可以是长度和宽度，等等。

所以，房间的面积、长度、宽度、房间有多少门，也许客厅有多扇门，对吧？因为可能有一扇门通向走廊，另一扇通向厨房，另一扇通向卧室，对吧？房间里门的数量也可以用来区分房间。我们还有两个有趣的特征，即房间是父房间还是子房间。

有些房间，比如壁橱，很多房间都有壁橱，而且壁橱通常很大。壁橱的一个显著特征是它通常位于卧室里。我们想出了一个新特征，来定义房间是否为壁橱，并且将其包含在内。如果壁橱位于卧室中，那么它可以被视为子房间，而卧室可以被视为父房间，反之亦然，对吧？这些是我们用于训练模型的特征。

你能详细说明一下这些算法是什么吗？

对，基本的神经网络算法。所以我们只尝试了神经网络，但我们特别尝试了图神经网络，对吧？因为节点代表房间，图神经网络可以表示它们是否相连。图神经网络旨在捕捉节点之间的关系，并且比普通的、像多层感知器的常规神经网络有更好的结果。我们用多层感知器作为基线来比较我们的方法，即图神经网络的多层感知器。

基本上，如果它不考虑我们构建的图形结构，它只会采用节点特征，但多层感知器中没有内置的交互。我们尝试了不同的图神经网络变体。第一个是图卷积网络，我认为是第一个。这同样受到了卷积神经网络的启发。

这就是为什么它被称为广义卷积神经网络。在卷积神经网络中，一个像素会从周围像素获取信息，然后将这些信息聚合到一个新的特征中。图卷积网络的想法与此类似。

你可以把一个像素想象成有八个相邻像素，然后将这个想法推广到图上。你有一个节点，然后它周围有相邻节点，你对这个节点集执行类似卷积的操作。所以它从周围的节点获取信息来计算特征。

这就是它如何从相邻节点获取信息来计算特征的方法。然后我们使用这些特征进行进一步的分类。这就是图卷积网络的总体概述。注意力网络是图神经网络的另一种变体，我们使用它，有点像加权。在图卷积网络的基础上，有时我们可能想要优先考虑一个相邻节点而不是另一个，注意力机制可以为你做到这一点。

另一个是图采样器，它与图卷积网络也类似，但它执行的是我们所说的采样和聚合，对吧？这就是图采样器这个名字的含义。在图采样器中，你可能不会从所有节点聚合，而是从几个相邻节点采样，然后对这些节点进行聚合。聚合可以是求和操作，就像在图卷积网络中一样，你通常会执行求和操作，但在图采样器中，你可能有不同的聚合操作，比如最大值操作，等等。无论你采样了哪些节点，我们都考虑到了这一点，因为我们还使用了另一种变体，称为拓扑自适应图卷积网络。

所以，对于我们讨论过的所有三种图卷积网络，我们必须考虑相邻节点的节点嵌入，对吧？在一次卷积操作中，我们只考虑直接相邻的节点，对吧？那么拓扑自适应图卷积网络做了什么呢？

即使在一步操作中，你也可以获取信息，比如在一步操作中获取节点嵌入信息，不仅来自直接相邻节点，还来自可能相隔两步或三步的节点。所以，在一步操作中，你可以从远处的节点获取很多信息。这就是拓扑自适应图卷积网络所做的。正如我们所看到的，这里有很多变体，对吧？所以我们想尝试不止一种图神经网络变体。我们想探索多种图神经网络变体，以便我们可以看到哪种图神经网络算法在我们的房间分类任务中表现更好。

关于特征的问题，在我们回到算法之前，这是一个很好的问题。很明显，这是一个房间分类问题。所以目标是确定房间类型。

你不会放弃特征，但你会告诉它相邻节点是什么吗？例如，你知道它连接到浴室，它连接到走廊。

在特征中没有关于其他节点标签的提示，对吧？这就是图神经网络的核心。你不需要在特征中解释相邻节点是什么。该信息由图结构携带，图神经网络不仅考虑节点特征，还考虑节点嵌入，对吧？所以，即使你没有明确地将节点的相邻节点作为节点特征，图神经网络也能隐式地通过考虑节点通过边连接到的其他节点来获取这些信息，对吧？所以这就是图神经网络的强大之处，你不需要在特征空间中考虑相邻节点是什么。

所以，让我们先谈谈你的基线。你训练了一个多层感知器，它缺乏图形结构信息。所以希望你的其他方法能做得更好。但让我们从这个基线开始。你的基线表现如何？

我认为它表现得还不错，但不是很好。我认为我们多层感知器的测试准确率大约是 55%，而图神经网络的测试准确率更高。所以令人惊讶。

所以令人惊讶。所以多层感知器没有像图神经网络那样表现好。这是第一个提出的图卷积神经网络。有一点需要注意的是，这是我们所有实验中表现最好的结果。

所以，在对许多超参数进行了调整之后，多层感知器的最佳性能大约是 55%，它无法超越图卷积神经网络和图神经网络，它们的测试准确率大约是 54% 或 55%。但是，当你查看基于图神经网络的其它神经网络时，它们的表现更好。例如，图采样器的准确率达到 80%，拓扑自适应图卷积网络的准确率达到 90%，这比多层感知器和其他常规图神经网络要高。所以，基线多层感知器在我们的结果中表现最差，而图卷积神经网络和图神经网络的表现最好。

是的。所以差距很大，大约有 15% 的差距。我想你只是得到了图组件，对吧？你对图算法中哪些因素导致一个算法比另一个算法更成功有什么看法吗？

我认为这主要是因为它能够从更远的相邻节点获取信息，比如直接相邻节点、相隔两步或三步的相邻节点。我认为这可能是拓扑自适应图卷积网络表现更好的原因。

你认为这是否已经达到了世界级水平？或者，如果你投入更多精力在算法上，你是否会找到其他解决方案？或者你会专注于特征工程？如果你想进一步发展这项工作，你会怎么做？

是的，毫无疑问，这是一个时间限制的实验和研究。我认为还有很多改进的空间，可以使结果更好。

我认为一些引用了这项研究的论文取得了比我们目前更好的结果，对吧？他们可能在我们的工作基础上做了修改，或者使用了我们论文发表之后出现的新的算法。所以，新的图神经网络算法不断出现。

所以，有一些论文的结果比我们的更好。所以，毫无疑问，还有改进的空间。此外，我们还可以进行更多的特征工程。我们只有六个非常简单的特征，甚至没有考虑平面图的图像。

图在机器人技术中非常有用，你的论文只是其中之一，它证明了这一点。但是机器人技术也是一个非常大的领域，有很多专业。你对有抱负的机器人工程师有什么建议？图论在他们的课程大纲中应该有多重要？

在我的研究中，我们也在为机器人使用很多神经网络。例如，我可以谈谈一位同事的研究。他所做的是将整个房子表示为一个图，而不仅仅是一个我们所做的常规图，而是一个层次结构图，对吧？

层次结构图看起来像这样。根节点。从根节点开始，你会有第一层规则。根节点可能代表一个公寓。

然后公寓里会有房间，对吧？所以从公寓的根节点开始，你会有第一层房间。然后房间里可能有桌子和椅子，对吧？

然后这将形成另一个层次结构。在桌子上，你可能有物体，对吧？笔、鼠标、键盘等等。所以他利用这个层次结构图来专门规划机器人任务和运动规划，以及机器人对世界的理解。如果你给它一个任务，它就能完成。

然后他所做的是利用这个层次结构图来规划机器人以最有效的方式从一个房间移动到另一个房间。这是利用图形结构来解决机器人问题的一个例子。我们之前也讨论过路径规划。

路径规划的想法是，即使在占用图中，你也可以规划机器人从一个位置到另一个位置的路径，对吧？许多路径规划算法都基于图算法。

例如，A*算法，这是一种启发式搜索算法，对吧？它可以规划机器人从当前位置到目标位置的最短路径，例如，从一个房间到房间内的微波炉，对吧？所以你将整个环境表示为一个占用图，其中每个单元格都是一个节点，然后你可以从一个单元格移动到另一个单元格。

你有一个图，你可以使用 Dijkstra 算法或 A* 算法来规划机器人从当前位置到目标位置的最有效路径。我这里只是举了一些例子。是的，图和图算法在机器人技术中非常重要。所以，如果你想学习机器人技术，了解图和图论的概念会很有帮助，甚至可以说是必不可少的。

你认为机器人作为代理，甚至拥有自己的效用函数，会如何影响机器人？

我所说的很多问题，甚至几乎所有问题，都可以归结为某种优化问题，对吧？你有一些优化函数，你试图最小化或最大化它。这本身就是一个优化问题，对吧？所以你试图找到一个计划，使机器人从一个状态到另一个状态的移动距离最小化。

所有这些问题都可以用效用函数来表述，然后你试图获得的结果。如果我试图最小化或最大化这个效用函数，对吧？

例如，在强化学习中，机器人可能获得奖励，如果它做得好，那么它可能获得奖励，如果它做不好，那么它可能获得负奖励。如果它在环境中四处游荡，而不是去做它应该做的事情，那么它可能获得负奖励，对吧？一旦它找到了目标，它可能获得很大的奖励。所以很多强化学习算法都在优化如何获得最大奖励，并引导机器人行为以获得最大的预期奖励。

我知道这些论文是几年前的，只是你研究的一部分。你今天最兴奋的是什么？

我对机器人技术很兴奋，对吧？我在研究机器人技术。所以我现在考虑的很多事情都是关于不确定性的，对吧？所以机器人可能没有关于环境的所有信息，对吧？

环境中很多部分可能未知，而且传感器读数可能因为噪声而错过关键信息，对吧？嗯，在尝试让机器人按照你想要的方式行事，就像人类一样，你必须考虑到很多这些因素。为此，我对如何将这种想法融入机器人，即机器人做对了事情，它可能会犯错或表现不佳，感到兴奋。

我对机器人意识到何时犯错或表现不佳的想法很感兴趣。我让机器人从客厅走到我面前的刀子，然后它走到浴室，它应该意识到，哦，我去了浴室，我没有找到刀子。也许那不是最好的做法。我想表达的是，当它做错事、做得不好时，它应该意识到自己犯了错误，然后利用这些信息来纠正自己的行为。我一直对这个想法很感兴趣，我的很多研究都致力于开发一些既合理又切实可行的技术，来利用这种兴趣，在机器人部署到未知环境或机器人从未见过（或即使见过，也可能无法访问）的环境时，改进其行为。

我认为反省需要某种反馈。否则你怎么知道呢？你需要找到错误以及错误在哪里，对吧？这种反馈是什么形式的？

如果我再次要求机器人（就像同样的例子），我拿着一把叉子，让机器人从客厅走到它，它先走到浴室，然后探索浴室，然后意识到那里没有叉子。现在它必须去别的地方找，对吧？也许它走到卧室，然后意识到，哦，卧室也没有叉子。直到它最终走到厨房，找到叉子，在从客厅到浴室到卧室再到厨房的过程中，它收集了信息，也许可以。所以现在它有了更多关于环境的信息，它可以思考如果它一开始就知道所有信息，它会怎么做，然后制定一个新的计划。有了这个新计划，它会制定一个更好的计划，对吧？因为一旦它到达厨房并找到叉子，更好的计划就是直接从客厅走到厨房，然后将这个新计划与实际执行的、在寻找叉子的旧计划进行比较，这对我构建这种兴趣驱动行为的直觉很有帮助。

在我的研究中，我掌握了这种直觉。你知道，我就是机器人。

一旦我拿到叉子，我就可以重新思考，哦，我本应该直接来这里。是的。有没有流行的方法可以做到这一点？你如何用数学来表达它？

嗯，在数学方面，我们做的一件事是衡量性能，对吧？所以这里的性能可能可以用找到物体所花费的距离来表示。一旦你比较了机器人实际寻找叉子所花费的距离，然后比较新计划（想象中的计划），从客厅到厨房的距离，以及机器人可能需要花费的近似距离，来找到叉子。

这是一种定量衡量标准，衡量它做得更好多少，然后我们可以在此基础上构建，可以比较不同计划模型生成的计划，对吧？所以也许你使用一个模型，某种模型，任何机器人可以根据其先前的学习经验使用的模型。然后机器人使用该模型，从客厅到浴室，再到卧室，再到厨房，找到叉子。

如果它使用了不同的学习经验，它就会得到不同的结果。所以，你可以思考不同的行为策略，或者在机器人学中，我们称之为策略，对吧？策略，它接受环境和目标作为输入，对吧，这就是策略。

所以如果机器人有多个策略，它可以思考其他策略会怎么做。这大概是我研究中利用的一个想法。所以什么时候利用现有知识，什么时候尝试新事物，很多都可以建立在这个机器人不断监控自身行为的想法上，然后看看哪些行为表现更好。

我会先回答你的问题，作为一名机器人领域的专家，你是否觉得在接下来的几年里可以预测任何事情？它将走向何方，以及它如何影响日常生活？

我猜我没有一个很好的答案，对吧？机器人学作为一个领域，相当完整，人们认为机器人学进展非常缓慢，对吧？因为这很难，你知道，对吧？机器人学很难，这非常困难。

让机器人智能地做事非常非常困难。所以，机器人学这个领域有时我认为被低估了，因为它不像人们想象的那样快速发展，与机器学习、计算机视觉和人工智能等领域相比，对吧？你看到了爆炸性的增长，对吧？

我认为人们和研究人员仍然期望在机器人真正有用且值得信赖之前，完成很多工作，对吧？我认为我们仍然需要在机器人领域做很多工作才能实现这一点。这个领域的许多研究人员也对何时才能获得人们对机器人的信任充满期待。

我觉得还有很长的路要走，每个人都在贡献自己的一份力量，就像各自独立的小岛一样。我认为，将这些岛屿连接起来，然后获得一个真正智能且值得信赖的机器人，而无需担心很多问题，这可能是一个明智之举。我认为我对未来的发展感到兴奋，因为在实现这一目标之前，还有很多工作要做。

这正是我们需要做很多工作，并且正在做很多工作的原因。很多人都在做他们的工作。未来充满希望，尽管它看起来可能有点遥远。

是的，听众可以在哪里关注你？

嗯，是的，我在领英上，我没有使用社交媒体，如果你想在领英上联系我，那很好。

好的，节目中会提供链接，以便大家可以关注。非常感谢你抽出时间来分享你的工作。

谢谢大家。这是一个非常棒的对话，感谢这次机会。