Building Connections Through Open Research: Meta’s Joelle Pineau
33:35 Share

Joelle Pineau 的好奇心促使她攻读工程学博士学位，专注于机器人技术，她将其描述为她“进入人工智能的途径”。作为 Meta 人工智能研究副总裁，Joelle 领导着一个团队，致力于开放式服务，以实现高质量的研究、负责任的人工智能开发和社区贡献。在本集中，Joelle（也是麦吉尔大学的教授）权衡了行业和学术界在进行人工智能研究方面的各自优势。她还描述了 Meta 正在开展的具体人工智能研究项目，包括专注于解决碳捕获等社会问题的科学发现计划。在此处阅读剧集文字记录。嘉宾简介：Joelle Pineau 是 Meta 的人工智能研究副总裁，也是麦吉尔大学的教授。她的研究主要集中在为复杂、部分可观察的领域开发新的规划和学习模型和算法。她还将这些算法应用于机器人技术、医疗保健、游戏和对话代理。Pineau 担任《人工智能研究杂志》和《机器学习研究杂志》的董事会成员。她拥有滑铁卢大学的工程学士学位以及卡内基梅隆大学的机器人技术硕士和博士学位。我和人工智能是一个来自麻省理工学院斯隆管理评论和波士顿咨询集团的合作播客，由 Sam Ransbotham 和 Shervin Khodabandeh 主持。我们的工程师是 David Lishansky，协调制作人是 Allison Ryder 和 Andy Goffin。通过加入我们的 LinkedIn 群组“领导者的人工智能”，网址为 mitsmr.com/AIforLeaders，或关注 LinkedIn 上的“我和人工智能”，与我们保持联系。我们鼓励您对我们的节目进行评分和评论。您的评论可能会用于“我和人工智能”的材料中。</context> <raw_text>0 今天，我们播放的是由我们的朋友 Modern CTO Podcast 制作的一集节目，他们最近很友好地邀请我作为嘉宾参加。我们讨论了生成式人工智能的兴起，技术成功的意义，以及领导者在指导技术实施工作时需要考虑的一些因素。在 Apple Podcast、Spotify 或您收听播客的任何地方都可以找到 Modern CTO Podcast。

为什么公开贵公司的人工智能研究利大于弊？在今天的节目中找出答案。我是来自 Meta 的 Joelle Pinot，您正在收听“我和人工智能”。欢迎收听“我和人工智能”，这是一个关于人工智能和商业的播客。在每一集中，我们都会向您介绍一位在人工智能领域进行创新的人。我是 Sam Ransbotham，波士顿学院分析学教授。

我同时也是麻省理工学院斯隆管理评论的人工智能与商业战略客座编辑。

我是 Sherwin Korubande，BCG 的高级合伙人，也是我们人工智能业务的领导者之一。麻省理工学院 SMR 和 BCG 自 2017 年以来一直在研究和发表关于人工智能的文章，采访了数百名从业人员，并对数千家公司进行了调查，了解构建、部署和扩展人工智能能力以及真正改变组织运营方式需要什么。

大家好。今天，我和 Sam 很高兴能邀请到 Meta 人工智能研究副总裁 Joelle Pinault 加入我们。Joelle，感谢您今天与我们交谈。你好。好的，让我们开始吧。一个好的开始可能是让你告诉我们关于 Meta 的一些情况。很多人知道 Meta 是什么，但也许你可以用你自己的话说说它，以及你在公司中的角色。

好吧，正如许多人所知，Meta 的业务是为人们提供各种方式来建立联系和社区，建立联系，无论是通过 Facebook、WhatsApp、Instagram 还是 Messenger。我们有数十亿人在世界各地使用我们的产品。

我已经在 Meta 工作了大约七年了，领导人工智能研究团队。我位于加拿大蒙特利尔，现在我领导 FAIR，这是一个遍布我们美国和欧洲实验室的基础人工智能研究团队。我们团队的角色实际上是构建下一代人工智能系统和模型，发现最终将使产品更好、更具吸引力、更安全的新技术。

这是一个很好的概述。你能让我们了解一下你正在兴奋地进行或正在进行的一些项目吗？当然，你不必告诉我们任何秘密，但你对哪些有趣的事情感到兴奋？好吧，我希望我们有机会谈论它，但没有太多秘密，因为事实上，我们所做的工作大部分都是公开的。我们坚决遵守开放科学原则。我们发表我们的作品。我们分享模型、代码库等等。我们的团队涵盖了人工智能开放问题的全部范围。

所以我有一些团队正在努力理解图像和视频，构建基础模型，所以核心模型代表了视觉信息。我有一些团队正在研究语言模型。

所以理解文本，书面语言和口语。我有一些团队在做机器人技术。因此，了解人工智能系统如何在物理世界中移动，它们如何理解物体、人、互动，以及一个大型团队正在研究智能的核心原则。那么我们如何形成记忆？我们如何真正建立不同概念之间的关系以及知识的本体等等？

看起来你们几乎没有不做的人工智能方面的工作。告诉我们一些你为什么认为开放很重要。FAIR 自成立之日起十年来一直致力于开放研究。我们之所以坚持这一点，是因为每当你从开放的角度开始一个项目时，它都会在工作质量和工作责任方面设定非常高的标准。

因此，当我们决定构建哪些算法、使用哪些数据集、如何评估我们的数据、如何通过基准评估模型的性能时，当我们知道所有这些工作都将公开供全世界审查时，它确实促使我们将工作质量、工作的严谨性以及责任、安全、隐私等方面都设定到非常非常高的标准。

我认为开放真正有益的另一个原因是，许多研究人员来自科学传统，在这种传统中，你总是建立在其他人的工作基础上。科学不会在孤岛中发生。因此，如果你正在建立在其他人的工作基础上，那么也有一种愿望要回馈给那个社区。因此，我们的研究人员非常有兴趣拥有这种文化。因此，它有助于我们招聘最优秀的研究人员，并留住他们。这与其他行业实验室的运作方式大相径庭。

运作方式。因此，从这个角度来看，我认为这绝对是一个很大的优势。有趣的是，从 Meta 的角度来看，没有必要将一些研究保密，因为这不会以任何方式阻止我们将这项研究用于我们的产品，这并不是因为我们已经发表了结果，所以我们不能将其用于我们的产品，真正地

产品的强大之处在于所有使用它的人。这并不是因为拥有关于人工智能的秘密武器。我们知道人工智能发展得有多快。很多知识都非常迅速地在社区中传播。我们很乐意为之做出贡献。

这很有道理。我的很多背景都在计算机安全方面。所以我认为开放性是安全方面的一个很好的过渡，因为它同时具备这两点。首先，在安全方面，任何人都可以设计出他们无法破解的东西。但问题是，其他人能否破解它？我认为这始终是一个更有趣、更困难的问题。

但还有建立在他人工作基础上的想法。我认为这非常重要。如果你考虑一下自人类历史以来研究中发生的事情，从历史上看，研究发生在学术界，然后最终更多的基础研究在工业界得到了更多的应用。

但似乎随着人工智能的发展，很多事情已经首先转移到了工业界。事实上，你向我描述的内容听起来非常像一个学术实验室。那么，我们将基础科学从学术界转移出去是一个问题吗？或者我们？也许我在提出问题。这是正在发生的变化吗？这是一个问题吗？你怎么看？

好吧，我认为在人工智能研究方面，学术界和工业界都有优势。我可能不会广泛谈论所有研究领域，但对于人工智能来说，

在今天的背景下，我认为两者都有显著的优势。一方面，在工业方面，我们确实可以获得大量的资源，尤其是在计算方面。因此，当涉及到扩展一些大型语言模型时，你知道，你需要访问数千个 GPU，这非常昂贵。需要一个强大的工程团队来维护这些运行。所以在一个大型工业实验室中这样做要容易得多。在学术方面，很难拥有成功扩展大型模型所需的资源和人员。

现在，在学术方面，也有一些优势。我在学术界也有一份工作。我有许多同事。我有一些研究生。所以我认为你必须非常聪明地选择你的研究问题，这取决于你的环境。在学术方面，我们有幸经常在高度多学科的团队中工作。我和来自哲学、认知科学、语言学等等领域的人一起工作。我们问更广泛的问题。因此，我们

我们想出了不同的答案。

我跟踪不同贡献的地方之一是查看该领域的一些顶级会议，并查看，例如，杰出的论文奖项颁发给了谁？它们是颁发给学术界还是工业界？在许多情况下，我们看到两者兼而有之。一些真正具有开创性的工作来自工业界和学术界，它们正在彻底改变这一领域，正在带来人工智能的一些突破。所以我对此相当乐观。

不同类型组织的研究人员做出贡献的能力。除此之外，我们还没有谈到初创公司，但也有许多小型初创公司在这个领域做了一些非常出色的工作。因此，总的来说，拥有一个蓬勃发展的生态系统对每个人都有利。

我认为我对我们许多工作更感兴趣的是寻找我们可以一起工作的方法。因为总的来说，我坚信拥有更多元化的团队可以帮助你提出不同的问题。因此，我们关于开源工作的许多意图实际上是为了让更多元化的人更容易做出贡献。

你将它与安全社区真正依赖开放协议进行了类比。我认为我们在处理这项工作的方式上有很多这样的方面，从某种意义上说，我拥有令人惊叹的研究人员，他们每天都在尽最大努力构建模型，但我确实相信，通过将这些模型暴露给更广泛的社区，我们将学到很多东西。所以当我提供模型时，学术界和初创公司中的研究人员会使用这些模型，在某些情况下会发现它们的缺陷，并提供一些快速的反馈，并且

在许多情况下，我们看到衍生模型具有令人难以置信的价值。我们去年推出的一大亮点是我们的 LAMA 模型。LAMA 1、LAMA 2、LAMA 3，数千人已经从这些模型中构建了衍生模型，其中许多模型都在学术实验室中，例如对新语言进行微调模型，以向不同群体开放这项技术。对我来说，这就是不同参与者真正带来价值的地方。

我认为我们当然看到了合作、迭代和保持开放的价值，但这并不总是能保证发生。我们所有人都有哪些激励措施才能像这样一起工作？预测未来总是很困难，尤其是在人工智能领域，以及事物变化的速度。所以我完全同意你的观点。

我要说的是，正如你提到的那样，Meta 有一种强烈的开放协议文化，这早于人工智能团队。基本堆栈，基本软件堆栈也基于许多开放协议。因此，这种文化至今仍然存在。这种文化持续存在。它一直延续到领导层的顶端。

扎克伯格及其领导团队强烈支持对模型进行开源的承诺。所以我认为这种情况不会很快停止。重要的是，我们将继续以安全的方式发布模型。这不仅仅是一家公司需要进行的更广泛的讨论。政府对……有不同的看法。

我们应该如何考虑减轻该模型的风险？关于如何特别处理最前沿的模型、最大、最强大的模型，也有很多讨论。因此，我们将不得不作为社会来进行这些讨论，而不仅仅是实验室本身。你提出了风险的这个问题。

你知道，人们担心的是，哦，我的天哪，这些模型将接管一切，我们的世界将崩溃，这是一个生存威胁。我用这个稻草人来设置你，但你相信吗？

我并没有花很多时间来计划生存威胁，因为许多这样的场景都非常抽象。它们是优秀的科幻小说。但就采取一种科学和严谨的方法而言，它

这并不一定是我最关注的生存风险。我要说的是，对于当前一代的模型，对不同人群来说存在几种潜在的危害。例如，众所周知，算法对弱势群体存在偏见，例如在面部检测系统中，以及在语言方面，非常以盎格鲁-撒克逊文化为中心。

因此，我确实非常仔细地研究了当前的一系列风险，并尽可能以严谨的方式对其进行衡量。我们会在任何时候构建缓解措施。我们发明了新的水印技术，以确保虚假信息不会传播。我们在偏差评估方面做了很多工作，以便我们能够实际衡量算法的公平性性能。

我更多地关注当前的风险，而不是这些非常长期的风险，只是因为我觉得我们可以通过严谨的方法、指标以及真正分析危害是什么以及如何减轻危害来控制它。对于那些非常牵强的场景，这确实是假设性的。建立良好的系统很难。做好的科学很难。制定好的政策也很难。是的，我认为你关于偏见和指标的观点很好，

例如，你提到的这些模型内置了偏见，但是，我的天哪，它们是基于具有大量内置偏见的数据集构建的。我发现很难将其归咎于模型本身，而更多地归咎于训练数据。你的观点是，你可以在那里构建偏差缓解。你在这方面做了哪些事情？

是的，事实上，关于偏见的问题，两者都有点。毫无疑问，我们的许多数据集都存在偏差。数据集反映了我们的社会。不幸的是，大量的偏见仍然存在歧视，以及在我们的社会中弱势群体代表性不足。因此，毫无疑问，数据集本身并没有让我们有一个很好的开端。

然而，模型本身也往往会增强这些偏见，因为我们今天拥有的大多数机器学习技术都非常擅长对数据进行插值。因此，你采用以某种方式分布的数据，模型将真正朝着该数据的规范发展。模型往往非常不擅长外推。因此，在数据集之外进行预测，它们往往会产生更大的误差。因此，如果有什么不同的话，当我们训练模型并试图减少误差时，我们

通过预测更接近规范而不是分布的侧面来做得很好。因此，数据是负责任的，模型也负责这样做。然后是我们部署模型的方式。我们往往会查看聚合统计数据。因此，我们将查看模型的整体性能，并根据整体性能说，太好了，我们在该模型上获得了 95% 的性能。它已准备好部署。

但我们没有花时间查看更分层的分析结果。关于不同群体，性能如何？这些群体如何因系统在更大系统中的部署而受到不同的影响？我认为在不同方面，我们可以更加严谨和周到，以确保我们不会增强偏见。理想情况下，我们实际上将人工智能用于人们

一个更公平、更公正的社会。是的，我认为平均化的观点非常重要，我们有这么多

当模型给出我们预期的答案时，模型感觉是对的。当图像生成给出符合我们刻板印象的图像时，它感觉是对的。是的。你发现这似乎是一个相当困难的问题。但另一方面，我觉得这些模型可以尝试以一种我们不会说服世界上每个人明天突然停止偏见或明天突然没有刻板印象的方式来解决它。但我们可以说服算法明天不要有刻板印象，方法是

调整一些权重并更改某些内容。因此，这让我对管理风险更有希望。也许我们还没有达到生存威胁，但这对我来说似乎更可信。我认为挑战之一是确定我们想要从这些模型中获得什么，对吧？我们最近看到了一些非常恶劣的例子，这些群体，我认为，是出于良好的意图来重新平衡数据集，特别是关于

例如，图像中不同种族群体的代表性。你知道，当然，如果有人要求一张工程师的图片，你不会只希望出现男性。你会希望看到一些女性出现。并且有方法可以重新平衡数据。有方法可以在算法层面进行补偿。但有时你会得到非常不寻常的结果。

因此，这也是一个问题，即我们作为社会期望和容忍的结果分布是什么。在某些情况下，这并没有很好地定义，尤其是在现实世界中代表性也存在偏差的情况下。

这似乎非常困难，因为问题从工程问题变成了工程问题，你通常可以用足够的比萨饼和咖啡因来解决工程问题。当你遇到这些更困难的问题时，它们往往是权衡，它们往往是选择。这些选择非常困难。

它们不是改进算法，这是我们可以深入研究的事情。但知道它应该做什么似乎是一个更难的问题。同样，随着这些技术变得如此普遍，这似乎也更糟糕。例如，如果 Meta 将这些算法作为开源过程的一部分提供给人们，那么根据定义，更多的人可以访问它们，然后更多的人必须做出这些艰难的决定。这似乎比算法更难扩展。

我同意。我认为在许多方面，作为社会来决定我们希望这些模型优化什么以及我们如何使用它们是一个非常复杂的问题。这也是 Meta 为什么经常开源研究模型的原因。我们并不一定开源正在投入生产的模型。我认为这会让我们面临撤销攻击的风险，并且

这是我们必须注意的事情，但我们经常开源我们的研究模型。因此，这意味着如果存在改进它们的重大机会，我们就会更快地学习。因此，这为我们提供了一种方法，基本上可以确保在模型投入产品时，它实际上比第一个版本要好得多。随着研究的发展，我们将发布多个版本，例如，正如我们之前提到的 LAMA 语言模型一样。你知道，我们发布了 LAMA 1、LAMA 2、LAMA 3。

等等，每一代都得到了显著的改进。其中一些当然是我们自己优秀的研究团队的工作，但其中一些也是来自更广泛社区的贡献。这些贡献以不同的形式出现。你知道，有些人有更好的方法来减轻例如安全风险。有些人带来了新的数据集，使我们能够评估新的能力。

实际上还有一些非常好的优化技巧，使我们能够更快地训练模型。因此，所有这些都融合在一起，有助于随着时间的推移使模型变得更好。是的，我认为我坚持的类比是图像处理如何从 2012 年的 ImageNet 竞赛中得到改进，你知道，这最初来自学术界，多伦多，并且

但随后随着每个人都能看到其他人正在做什么而爆炸式增长。每个人都带来了更好的东西，更快的实现，更小的实现，更大的实现，并且准确性在很短的时间内变得真正惊人。是的。让我们稍微改变一下话题。Joelle，你是一位人工智能研究人员，也是一位教授。你是如何进入这个领域的？

我不得不说，我非常受好奇心驱使。我首先接触了机器人技术。那是我进入人工智能的途径。我在滑铁卢大学攻读工程学本科学位。快结束的时候，我有机会参与一个机器人项目，建造一个六足步行机器人。

特别是该机器人的传感器系统。因此，我们有一些声纳，并且必须处理信息，并据此决定环境中的障碍物在哪里。因此，这导致我在匹兹堡的卡内基梅隆大学攻读研究生课程，硕士和博士学位，这是一个学习机器人技术的绝佳场所。

从那时起，我真正开始接触机器学习。我发现，为了让机器人拥有相关且及时的信息并能够做出决策，你需要有一个强大的模型。因此，我的论文工作是在不确定性下的规划，即在对信息存在不确定性时做出决策的能力，以及为此开发算法。从那时起，我在蒙特利尔的麦吉尔大学开始了学术生涯，我仍然在那里。

并从事机器学习各个领域的跨领域工作，机器学习在医疗保健中的许多应用。麦吉尔大学有一个很棒的医学院。因此，我在那里有很多非常令人兴奋的合作关系。以及大量关于构建对话系统的工作，今天，你知道，我们将其识别为语言模型和聊天机器人。但我是在 2000 年代初期构建这项工作的非常初步版本。

2000 年代。因此，因为我确实以好奇心为我的主要动力，所以它使我能够在人工智能的几个子领域工作，包括机器人技术、语言、感知和应用。因此，这给了我相当丰富的知识和经验，然后进入像 Meta 这样的地方，

我与之合作的团队进行基础研究，但我们与产品团队紧密合作，并努力在科学方面以及新产品、新体验方面都推动前沿。因此，显然 Meta 在核心 Meta 产品方面做了很多工作，但 Meta 研究正在进行的还有普遍的科学发现。正在进行的一些项目有哪些例子？

这是一个非常有趣的领域。我认为人工智能具有巨大的潜力来加速科学发现过程。当我们思考它通常是如何运作时，你知道，假设你正在尝试发现一个新的分子或发现新的材料。存在一个非常大的解决方案空间，通常是组合上很大的。

传统方法让我们一个接一个地浏览分子空间，我们将它们带入湿实验室，并测试我们想要的特性，无论是开发新药还是开发新材料。

因此，多年来，我们进行了一些研究该问题的项目。最近，我们有一个项目专门研究直接空气碳捕获。真正希望构建能够以某种方式捕获碳的新材料，当然是为了解决我们的环境危机。现在，当你做这项工作时，有很多步骤。其中之一甚至只是构建用于执行此操作的数据集。因此，我们已经构建了一个数据集，综合了许多不同的材料

该问题的可能性。由此，我们经常与外部团队合作，以验证哪些解决方案可能带来最大的价值。

我们之前还在蛋白质合成领域做过类似的工作，尽管蛋白质的规格略有不同。但在核心基本方面，问题看起来非常相似。所以我真的很期待看到这个结果。我有一些案例，合作伙伴团队找到我说，在使用人工智能大约一年的时间里，他们能够减少蛋白质。

科学过程中的实验，如果他们使用更传统的方法来搜索空间，这将需要他们 25 年的时间。我认为这是我们从我们与之交谈的其他一些人那里看到的。例如，我们与 Moderna 谈论了他们的疫苗开发以及它如何帮助探索该空间。我们还谈到了倍耐力以及他们如何

将其用于轮胎部件。所以我认为探索组合上很大的空间的想法确实非常引人入胜。起初我没想到 Meta 会参与其中。例如，我可以看到空气中的二氧化碳问题。这可能只是你在数据中心面临的问题，但我没想到会这样。

是的，我认为，我的意思是，你提到了数据中心的情况。我会说这是一个主要的应用。我们正在建设多个数据中心，并且让这些数据中心非常节能符合每个人的利益。我们还对使用可再生能源做出了一些强有力的承诺。因此，在这个领域存在强烈的动机。

不要忘记，我们还在努力实现元宇宙方面的工作，即 Meta 的 Reality Labs 方面，这实际上是构建 AR 和 VR 设备的长期愿景。

当涉及到这种类型的硬件设计时，有很多非常困难的问题，无论是光学领域还是其他组件，人工智能引导的设计实际上可以非常有效地加速这项工作。是的，这很有趣。我们实际上刚刚与 Ty Sheridan 进行了交谈，他是《头号玩家》电影的明星，所以这是一个从元宇宙到那里的完美过渡。我们有一个环节，我们会问你一些快速的问题。所以首先想到的是，

目前人工智能最大的机会是什么？

我认为能够开放，跨语言连接人们是巨大的。我们有一些系统，我们正在构建机器翻译系统，以支持多达 200 种不同的语言，但还有更多语言只能口语表达。因此，我们真正拥有构建技术的能力，让任何人都能理解地球上的任何人。我认为这对于我们弄清楚如何在同一个地球上共同生活至关重要。

人们对人工智能最大的误解是什么？我不知道是不是最大的，但真正让我感到困扰的是将人工智能视为黑匣子。人们认为，你知道，信息输入，某些事情发生，然后某些东西输出。我认为，从我们今天的立场来看，人脑比人工智能更像黑匣子。当我拥有一个 AI 系统时，我可以非常精确地追踪信息是如何循环的、是如何计算的以及我们是如何得到输出的。

我无法以同样的方式对人脑进行操作。所以，是的，每当有人说人工智能是一个黑匣子时，我都会有点皱眉，觉得不，它是一个复杂的盒子。但我们对里面发生的事情有很多了解。是的，其他人的大脑对我来说毫无意义。我的大脑非常有意义，但其他人的大脑没有。你想要从事的第一个职业是什么？

哦，早些时候，我想成为一名图书管理员。我喜欢看书。我现在仍然很喜欢看书。我仍然读很多书。我想，你知道，有一份工作，你可以坐在一个充满书籍的空间里，整天看书，听起来很令人愉快。我们什么时候会有过多的AI？我们什么时候试图把方形木桩塞进圆孔里？

我不认为这像有一天我们有足够的，有一天我们有太多的那样。我认为这实际上是关于如何在系统中巧妙地引入AI。所以，已经有一些AI不应该涉足的地方，也有一些地方，或者至少是我们今天拥有的模型的版本，以及我们可以更积极地引入AI的地方，我认为。所以我认为真正重要的是弄清楚

如何以一种能带来真正价值的方式引入它，当然包括经济价值，但也包括真正的社会价值，并对此进行深思熟虑。是的，这与你之前关于使用这项技术或不坚持技术本身的困难部分的回答有关。那么，你希望人工智能现在能够做到但目前还做不到的一件事是什么？

我希望AI系统能够相互理解。现在，我们正在构建许多独立的AI系统。它们都针对个体性能进行了微调。但是，一旦我们开始在同一个地方一起部署许多这些AI代理，我们理解多个代理之间动态的方法就非常原始了。

我认为还有大量工作要做。你知道，如果我们把人类视为当今最先进的代理社会，我们会通过我们的社会联系获得我们长寿、稳健和成功的大部分原因。而今天的AI系统根本不知道如何建立社会联系。这很有趣，因为我认为我们花了太多时间思考人机界面和计算机-人类界面，而没有花太多时间思考计算机-计算机界面。

这是一次引人入胜的讨论。它确实让我对META正在做的所有事情大开眼界，这些事情超出了报纸和媒体报道中更明显的表面研究。感谢您今天抽出时间与我们交谈。是的，非常鼓舞人心的谈话。谢谢。我很乐意和你在一起。

感谢收听《我和AI》第九季。我们的节目将于9月回归，带来更多剧集。在此期间，如果您错过了之前关于负责任AI的任何剧集，请回顾并收听。我们与大赦国际、Airbnb和Salesforce进行了交谈。感谢您的收听以及对我们节目的评价。很快再聊。