A narrowing of AI research? with Juan Mateos-Garcia
59:18 Share

<context>人工智能研究的收窄？与胡安·马特奥斯-加西亚的访谈 与胡安·马特奥斯-加西亚的访谈，他是英国创新基金会Nesta的数据分析主任，领导着一个由数据科学家、开发人员、可视化专家和创新专家组成的团队，利用新数据集、分析方法和可视化工具来指导创新和人工智能政策。我们关注他与乔尔·克林格和康斯坦丁·斯塔图洛普洛斯共同撰写的最近论文《人工智能研究的收窄？》。 订阅：RSS | iTunes | Spotify | YouTube

主题：深思熟虑 凯文·麦克劳德（incompetech.com） </context> <raw_text>0 你好，欢迎收听Skynet今天的《让我们谈谈人工智能》播客，在这里你可以听到人工智能研究人员关于人工智能实际情况和那些只是点击诱饵标题的讨论。我们每周发布人工智能新闻报道，并偶尔进行访谈，比如今天。我是安德烈·克罗尼科夫，斯坦福视觉与学习实验室的三年级博士生，也是本集的主持人。

在这一访谈集中，我们将听到最近论文《人工智能研究的收窄》的作者之一胡安·马特奥斯·加西亚的声音。胡安·马特奥斯·加西亚是英国创新基金会Nesta的数据分析主任。他领导着一个由数据科学家、开发人员、可视化专家和创新专家组成的团队，利用新数据集、分析方法和可视化工具来指导创新和人工智能政策。

在加入Nesta之前，胡安曾在萨塞克斯大学的科学政策研究单位SPRU和布莱顿大学的Centrum担任研究员。胡安拥有萨拉曼卡大学的经济学学位和萨塞克斯大学SPRU的科学与技术政策硕士学位。所以，非常感谢你，胡安，能参加本集节目。谢谢你邀请我。

那么我们就直接开始吧。正如我所说，重点将放在最近的论文《人工智能研究的收窄》上，我觉得这很有趣。在我们深入任何细节之前，也许我可以让你先给出一个高层次的总结，说明这篇论文的内容以及你是如何进行这项研究的？

好的，这篇论文的想法实际上源于我在多伦多时的一些思考。

去年参加人工智能经济学会议时的思考。这个会议是许多经济学家聚在一起讨论人工智能经济学的地方。因此，这是一个非常激动人心的讨论。但我有一点可能感到沮丧的是，当人们谈论人工智能及其活动水平和创新时，他们使用的是非常综合的指标来衡量人工智能的现状。他们只是计算论文数量、专利数量，

查看企业在人工智能上的投资水平。他们并没有真正考虑人工智能的组成部分。你知道，人工智能作为一个领域有许多不同的技术，有许多不同的应用。多年来，人们尝试以不同的方式做事情。

而且，实际上，在相关文献中对此并没有给予太多关注。你知道，所有的东西都被汇总成一个单一的数字，即活动水平。我认为实际上我们应该开始更详细地分解这个人工智能领域，因为我们知道，近年来确实出现了一些非常成功的技术，尤其是深度学习，可能取代了其他方法。

而且在某种程度上，它们已经变得主导。但我们也知道，这些方法存在一些问题，比如

它们在面对超出训练集的情况时，可能会变得脆弱和崩溃，显然它们的可解释性水平较低。因此，它们需要大量数据进行训练，甚至对环境的潜在影响。

因此，有一种感觉，如果你开始打开人工智能领域的黑箱，看看它的组成部分，我们可能会发现一些有趣的可能性

证据，关于这个领域是如何发展的。特别有趣的是，看看我们是否看到某种程度上，人工智能研究的集中度在增加，例如，我刚提到的这些技术。还有关于这些技术的集中程度是否过高的问题。我想，

是的，我对这个问题的思考受到复杂经济学和演化经济学的思想的很大影响，在这些学科中，一个非常重要的观点是，技术进步并不是决定性的。

因此，技术的出现和主导地位并不一定是因为它们比竞争对手更好，而仅仅是因为它们出现得更早。它们在开始时运气很好。存在一种积极的网络效应，使这些技术变得主导，就像互联网平台的情况一样。因此，你知道，

在人工智能的背景下，你可以问自己一个类似的问题。是否有一种技术出现了。基本上，它在正确的时间出现在正确的地方。深度学习，许多数据变得可用，计算基础设施变得可用，处理基础设施如GPU等也变得可用。几乎就像这种技术赢得了人们所称的硬件彩票，并几乎确立了地位，

即使它有重要的局限性。这意味着实际上我们可能不想把房子押在它上面。实际上，我们可能想，当然，继续发展它，但我们也希望保持一些替代方案的活力，因为，知道吗，以防万一它不起作用，我们希望有其他方法来构建人工智能系统，继续发展，以便我们可以在深度学习不起作用的情况下采用它们。

这就是所有这些想法的来源。我想，显然，在多伦多思考这些问题是相当不错的，因为显然这是人工智能工作的热点之一。

而且，加拿大作为一个国家，多年来一直资助人工智能研究，知道吗，他们确实在保持人工智能的多样性方面进行了大量投资，就在过去几十年中，当时人工神经网络的想法非常有趣，但并不适用。你知道，CIFAR和类似的地方一直在投资这些技术并保持它们的活力。

你知道，最终我们达到了一个点，这些技术可以被应用，这导致了我们现在看到的几乎是深度学习的革命。我想这让我思考的是，好吧，

所以，你知道，如果我们现在在深度学习中有过多的人工智能研究集中，而我们只关注那些现在成功并创造价值的事物，那么未来的想法可能几乎没有空间呼吸，因为我们正在失去多样性。所以，是的。而且显然，这有一些非常重要的政策组成部分，对吧？即，政策制定者在维护人工智能研究系统中的多样性方面的角色是什么？私营部门公司的角色又是什么？

而且显然，一旦你开始进入政策讨论并思考政策决策，你很快就会开始考虑测量和指标。我想这就是，您知道，论文的方法部分的想法出现的地方。在某种程度上，问题是，我们如何将这个想法转化为...

查看人工智能的组成部分，并查看人工智能可能在小范围内变得更加集中在一些有问题的技术上。我们如何将所有这些想法转化为可以测量和量化的东西，以便我们可以查看这种演变并思考结果对政策的意义？我明白了。谢谢你提供的非常好的总结。确实，我发现看到这项新研究试图量化人工智能的多样性很有趣。

在我们深入探讨这是如何完成的以及结果是什么之前，我很好奇想多谈谈背景和该领域的相关工作。所以我在浏览时看到，一些相关的想法与定向技术变革、保护技术多样性的理由有关，

正如你所说，有一些相当直接的已知原因。如果除了深度学习之外还有其他技术没有深度学习的缺点呢？为了我们的听众，我想知道，你能否将其与其他技术进行比较？我想在论文中你讨论了汽车，还有一些关于军事资金的讨论。所以，是的，我很好奇听听这个类比。是的。

是的，我想有，嗯，历史学家喜欢几乎查看技术历史，可能是我之前提到的那种例子，知道吗，技术主导地位的感觉，嗯，没有成为最佳选择。

因为我知道这是主流经济学家面临的一个大挑战，他们喜欢认为市场通常会产生有效的结果。因此，经济历史学家喜欢查看这些技术，并有点像，“嘿，你如何解释这个？”你知道，显然最著名的例子，典范例子就是QWERTY键盘。

它最初是为了防止机械打字机被卡住而开发的，因为打字机的臂会相互碰撞，机器会被卡住。因此，键盘的设计基本上是为了避免这种阻塞。

然后，你知道，当我们进入，知道吗，数字打字机，然后最终是计算机时，打字机臂被卡住的问题不再是一个问题。我们仍然继续使用这个键盘。根据一些人的说法，几乎像基准测试一样，它并不是打字的最佳键盘。我们之所以坚持使用这项技术，仅仅是因为每个人都习惯了它。所有的键，像打字员都是用这个键盘训练的。

几乎就像有这种惯性，意味着在任何时候，几乎很难协调整个计算机和键盘设计师、打字员和培训打字员的人们说，让我们一起找出一个标准并转向它。这是非常困难的。因此，我们现在使用的是QWERTY键盘。这是一个有点，知道吗，民间的例子，但我认为它很好地捕捉了这里的问题。一旦这项技术被采用并获得动力，改变它可能会非常困难，即使每个人都更好地改变。显然，可能更贴近的例子是汽车和内燃机。你知道，在

汽车历史的早期，人们探索了许多不同的汽车制造方式。他们探索了非常不同类型的发动机设计。他们显然在探索内燃机。但显然还有蒸汽机。他们在探索电动车。内燃机变得主导。

你开始投资于它。你开始通过实践学习，发展这项技术。它变得更好。你开始投资于补充这项技术的事物，尤其是，我想，能够获取这种发动机所需的汽油的非常完善的管道。然后最终你发现自己处于内燃机主导的局面，你几乎重新设计了整个社会，许多行业围绕内燃机出现，这就是事情的运作方式。你知道，也许这是最有效的，除了那些古怪的人，没人会说，好吧，让我们继续开发电动车或蒸汽动力汽车。呃，但实际上，随着时间的推移，随着事情的变化，我们对这项技术及其环境影响的了解越来越多，你知道，我们开始思考，

也许如果我们现在回顾一下情况，凭借后见之明，我们会认为，好吧，也许如果我们选择了其他设计会更好，仅仅因为它们没有相同类型的环境影响。但是，你知道，现在我们几乎需要从头开始构建这些技术。想象一下...

假设在20世纪初，有人说，某个基金会说，实际上，我将继续投资电动车。我将继续投资蒸汽动力汽车，并让这项技术保持活力并得到发展，以便，假设现在，当我们发现

内燃机对环境有如此巨大的影响时，我们实际上可以很容易地切换到这项技术，而不是说我们需要几乎从头开始构建它，这就是我们现在所面临的情况。显然，这将需要一段时间，因为我们试图在很短的时间内压缩大量的技术学习和基础设施的变化，例如，电动车的充电点等。我们试图在非常短的时间内压缩所有这些活动，因为我们想现在就改变。

所以我想，也许这是另一个技术的例子，我想，查看技术和同质化以及在单一技术中活动的集中，失去多样性，在这种情况下，我们，我想，我们正在后悔。 我想我们在论文中看到的问题是，

我们可能会发现自己在人工智能方面处于类似的境地，也许我们展望未来，我不知道，几十年后，回顾过去。我们可能会说，实际上，天哪，也许我们不应该如此迅速地押注于这项技术，并发展所有这些庞大的数据收集基础设施和计算基础设施以及标记数据集，几乎是与之合作的方式。

而实际上，我们可能应该保持一些其他几乎像替代轨迹的活力，因为，知道吗，现在我们发现的关于这项技术的问题我们无法解决，而这些其他替代方案可以解决。我们处于一个良好的位置。它们处于一个良好的位置，使我们几乎可以切换或更改技术，而不必从头开始开发新的人工智能系统或新的人工智能工作方式。

太好了。是的，这很有道理。我认为，来自其他领域的这些例子确实更具激励性。我认为很多人现在对深度学习非常乐观，但从历史中进行比较应该激励我们想象可能还有其他被忽视的技术，正如你所说的那样。因此，既然已经建立了这一点，也许我们可以继续深入一些具体细节。

你所寻求解决的高层次问题已经建立，涉及多样性收窄的问题，但也许你可以告诉我们更具体的问题，具体的指标是什么，以及你希望回答什么？所以我想，你知道，一旦我们开始考虑多样性，问题就是如何测量多样性？

如何测量生态系统中的多样性？你知道，生态系统，比如说，你可以考虑任何类型的人口将包含几乎不同的类型，知道吗，多样性几乎是试图了解有多少不同的类型。

是否在单一类型上有很多集中，还是更均匀地分布？这些类型之间有多不同？所以这就是我们试图思考的一些关键思想。好的，我们如何将其操作化？我们如何将其转化为可以测量的东西，以生成这些指标？我们决定采取的策略是，好的，

让我们几乎考虑所有的人工智能研究，或者，嗯，我的意思是，某种相关的人工智能研究语料库。在这种情况下，语料库来自arXiv。让我们将其视为围绕人工智能的想法的种群。其中一些想法将围绕方法展开。其中一些想法将围绕用例展开。其中一些想法将围绕不同的技术展开。

而且其中一些想法将更受欢迎。其中一些想法将不那么受欢迎。其中一些想法将彼此更相似。我们将随着时间的推移看到更多新想法的出现，一些想法消失。因此，让我们尝试测量这一点。基本上，我们采取的策略是，几乎像从人工智能研究语料库转向这种

几乎像类型或想法的种群，使用主题建模，基本上将这个语料库分解为主题。我们将主题视为人工智能研究中的主题或想法。

然后我们可以查看，我想，它们的分布。抱歉，它们的数量，比如在不同时间点上有多少这些想法存在。我们可以查看它们的分布。因此，是否有想法出现在所有论文中？是否有想法出现在很少的论文中？它们是更均匀分布还是不那么均匀分布？还要考虑它们的距离。因此，是否有想法彼此非常相似？你总是会在同一篇论文中找到它们。你总是会在同一地方找到它们。

还是有想法彼此更不同？实际上，它们往往几乎定义了人工智能的不同领域或不同区域。这就是主题建模给我们的东西。然后基本上，我们所做的是，我想，利用这种几乎像人工智能组成的操作化，生成不同的多样性指标。

我们决定做的一件事是，你知道，如果你查看多样性文献，有无数的指标，还有许多不同的方式来施加这些指标，关于如何找到不同主题之间的距离？如何判断一个主题是否出现在一篇论文中？显然，使用主题建模时，你需要接受阈值，或许决定一个主题是否出现在一篇论文中。

或者你可以将一篇论文分配给其主要主题。有不同的方法来做到这一点。我认为没有明确的原则来选择所有这些不同参数之间的选择。因此，我们实际上在多样性的精神中说，实际上使用不同的指标，让我们使用不同的指标的操作化，实际上让我们并行运行它们所有。

实际上，然后我们可以比较结果，我想这使我们能够获得一种感觉。我们几乎没有把房子押在单一指标上。我们实际上在考虑不同的指标，我们可以在它们之间进行比较。我想，你知道，它们都朝着同一个方向发展。那么这表明我们的发现是稳健的，这给了我们对其有效性的信心。所以，是的。

这就是我们用来测量多样性的方法。我想论文的一个关键组成部分，我到现在为止还没有提到的是，比较私营部门组织进行的研究的多样性与公共部门或学术界进行的研究的多样性。你知道，我之所以对比较这个问题很感兴趣，是因为，随着时间的推移，随着我们的研究，尤其是自2012年以来，我想，随着Alex Net和深度学习的到来，我们看到了这种

我想，私营部门，尤其是科技公司，尤其是硅谷和中国的公司，开始在人工智能研究中发挥非常积极的作用。他们一直在雇佣大量研究人员，雇佣大量大学教授。他们在设定研究议程方面发挥了越来越重要的作用。你知道，这部分是因为他们有很多资金，他们有很多数据，他们能够投资于开发这些方法所需的计算基础设施。

而且他们还有将这些方法应用于货币化的平台，比如大型互联网平台，许多生成推荐和定向广告的机会。因此，这些公司进入并在开发这些方法方面取得了巨大的成功，他们可能比普通研究人员更少有动力去保持多样性，因为他们必须，尽管他们投入了大量研发，但他们没有太多理由去投资于保持多样性或投资于那些不立即适用的想法。

而且，经济学文献表明，在这种情况下，比如说，私营部门公司相互竞争以开发和应用技术，你将会失去多样性。因此，我们决定，好的，实际上，

让我们看看多样性的演变，但也让我们考虑，人工智能研究中的多样性演变可能与私营部门公司在该领域参与程度的增加有关。我们将这一点操作化，我的意思是，我们建立了一个相当...

复杂的管道，你知道，从论文到机构，然后从机构确定这些机构是私营部门还是教育机构。你知道，对于一些组织，比如DeepMind和OpenAI，我们实际上不得不抓取他们的网站以获取他们的档案ID。因此，收集所有数据有点麻烦。但我们最终得到了一个情况，我们有

我想分析的关键要素是，我们知道论文，我们已经识别了人工智能论文，我的意思是，我甚至不想进入论文的那部分，因为那也相当复杂。也许如果你感兴趣，我们可以稍后讨论。也许人们可以看看论文。我们有人工智能论文，我们有摘要，因此我们可以生成多样性指标。

我们知道它们何时被发表，因此我们可以查看这一点随时间的演变。我们知道哪些论文来自私营实验室和私营部门，哪些论文来自学术界。因此，我们将能够比较学术界进行的研究的多样性和私营部门进行的研究的多样性。

也许需要强调的一件事是，我们用于分析的所有数据和代码实际上都在论文的GitHub仓库中。任何想查看数据或进一步收集、分析、查看我们在论文中所做的事情的人，都可以使用这些数据。我希望看到社区利用这些数据和分析，朝着新的方向发展。

我明白了。是的，令人着迷。对于读者，我想提到，正如你可能从描述中想象到的，这篇论文相当丰富。它有很多内容，很多数据，很多结果。因此，你绝对可以继续搜索并自己浏览，像往常一样。尽管我们会尽量在讨论中涵盖一些亮点。

是的，正如你刚才所说，我发现这很有趣。你有五个主要研究问题，涉及人工智能研究的主题组成，私营部门组织的参与，主题多样性，私营部门组织的主题多样性，以及私营部门组织倾向于专注于哪些人工智能研究主题。因此，有很多有趣的内容。

也许为了开始，我们就直接进入重点，主要有趣的部分，即人工智能研究的女性多样性是增加还是减少？那么你的结果是什么？所以实际上是，嗯，

它实际上在深度学习革命中增加了很多。你可以想象，知道吗，围绕人工智能的活动爆炸，开始开发方法，找到新的应用案例，显然在计算机视觉和计算语言、机器人技术方面的革命。因此，我最初认为，随着该领域的不断发展，几乎像是围绕人工智能和深度学习的寒武纪大爆发。

但实际上，最近发生的事情是，在过去几年中，你开始看到这种几乎像稳定的趋势。因此，实际上，如果你查看我们生成的所有指标的趋势，实际上所有不同的操作化，它开始变得相当平坦，在某些情况下甚至下降。我认为这非常有趣，因为这是在一个背景下，

论文数量增长如此之快的情况下。语料库中60%的论文是在2018年之后发表的。即使在这种活动的巨大增长中，你也看到多样性开始停滞甚至下降。这表明我们可能正在经历人工智能研究的收窄，这我想就是论文的名称来源。

我明白了。是的。所以，我发现这非常有趣，自2012年以来，起初你发现多样性大幅增加，然后基本上现在稳定下来，甚至可能开始下降。因此，现在可能是进行这项研究的好时机，以了解这种情况正在发生。现在，我认为了解

你能够获得数据以进行此分析是相当有趣的。所以你能多谈谈语料库构建吗？我知道它来自arXiv或一些关键词，但也许你可以深入一些细节。好的，所以基本上管道是，我将高层次地描述管道。因此，基本上我们有一个管道来收集数据

来自arXiv。我认为在我们撰写论文时，宣布说，知道吗，我觉得数据，arXiv数据集现在要去Kaggle或其他地方。但我们有自己的管道来收集数据，因为实际上我们从arXiv获取数据。我们将其与微软学术图谱匹配。这是一个由微软认知服务运行的科学数据库。

这样做的好处是，对于每位研究人员，我们可以获得他们的隶属关系，而这在arXiv中是无法获得的。然后显然，一旦你有了他们的隶属关系，比如他们在发表论文时工作的机构，那么我们可以将其与另一个名为Grid的数据库匹配。它是一个全球研究标识符。这使我们能够查看地理位置。因此，这些机构位于哪里？它们在美国吗？在中国吗？在哪个城市？

而且你还可以获得机构的类型。因此，它是私营部门吗？是教育机构还是健康机构或其他？然后，为了识别人工智能论文，这实际上相当复杂，因为在之前的工作中，我们只是使用了主题建模，因为我们对深度学习不太感兴趣，因此识别人工智能的主题相对简单。

几乎像在该模型中，识别与深度学习相关的主题，因为我们在这篇论文中需要术语，因为实际上我们对人工智能研究多样性的演变感兴趣，跨越更长的时间框架。我们需要考虑如何生成一个词汇，不仅仅是深度学习，还有符号人工智能、专家系统、统计机器学习，

与胡安·马特奥斯-加西亚的访谈，他是Nesta（英国创新基金会）数据分析部的主任，领导着一个由数据科学家、开发人员、可视化专家和创新专家组成的团队，他们利用新的数据集、分析方法和可视化工具来为创新和人工智能政策提供信息。我们重点讨论了他与乔尔·克林格和康斯坦丁·斯塔图洛普洛斯共同撰写的最近论文《AI研究的收窄？》。 订阅：RSS | iTunes | Spotify | YouTube

主题：深思熟虑 凯文·麦克劳德（incompetech.com） </context> <raw_text>0 那么我们如何以更自动化和数据驱动的方式来做这件事，而不仅仅是想出一堆关键词，我想人们确实会这样做，但有时会感觉有点任意和复杂。

所以我们所做的，我想我会尝试从高层次描述一下，就是我们使用了各种档案类别，我想这些类别似乎与不同类型的人工智能相关。比如有一个叫做AI的类别，有一个叫做神经计算的类别，还有一个叫做统计机器学习、统计、ML的类别。另一个叫做CS学习。

基本上，我们认为，这几乎就像是一个标签数据集。这就像数据集中人们在做人工智能和不同类型的人工智能时可能会放置他们论文的类别。让我们看看这些类别中与其余语料库相比的显著术语。所以在...

在人工智能、神经计算等领域中，什么是独特的术语。然后基本上取这些术语，扩展，使用快速文本查找与它们相似的术语，只是为了不单单依赖于最初的种子，而是使其更广泛并增加召回率。然后让我们看看这些类别之外的论文，这些术语也出现的地方。所以它们几乎像是

使用标签数据集中使用的术语，但它们不在标签数据集中。实际上，当我们这样做时，我们开始得到相同的类别，几乎就像它们并不是

原则上，你不会期望它们在开发人工智能技术，实际上却有很多人工智能活动。显然你会知道这一点，因为计算机视觉是出现的关键领域。很多论文使用人工智能词汇，

同样来自计算机视觉、计算机学习，实际上还有很多来自CR（密码学和计算机安全）的论文。实际上，在这些类别中，有很多关于对抗示例和类似内容的东西。

所以在某种程度上，我们开始几乎像是从这个初始标签数据集滚雪球到其余的语料库，并开始获得一个丰富的图景，了解人工智能活动的去向。然后，是的，一旦我们有了这些类别，那么我想就是开始进行我之前提到的那种分析。

是的，正如我所说，整个流程你可以在我们的GitHub仓库中查看。而且所有的基础数据，包括说，匹配到机构的论文，匹配到地理位置，匹配到机构类型。我们从所有这些其他网站抓取的所有论文，所有这些都在那里供人们使用。因此，他们不必重新发明轮子，因为这是一项非常

复杂的工作。我们不希望其他人浪费时间试图重现这项工作，而是可以把它放在那里，让其他人基于此进行构建。是的，这听起来确实是很多工作，但我认为因此你们有非常引人入胜的数据和分析。是的。我很好奇，关于语料库的简单问题，你可能会回答的是

当然，我们知道自2012年以来，人工智能作为一个领域已经爆炸性增长。人们的兴趣、活动和参与人数都大幅增加。每年发表的人工智能论文数量的增长速度是否在放缓，还是我们仍然在以2016年、2017年时的速度继续前进？是的。

是的，它正在快速增长。我会说这加快了论文的生产速度。所以，是的，活动很多。再一次，这就是为什么我们发现令人惊讶的是，尽管这种活动的激增，我们看到多样性却停滞不前。就像是有更多的人进入这个领域，但他们集中在与那些已经在这里的人相同的领域。所以，是的，我想，这就是其中之一。

我的意思是，我想通过价格或你知道的领域，我们想知道，嗯，这里发生了什么。是的。然后与这个问题相关，你发现私营部门公司有什么模式？显然，他们的参与更多，但他们是否

可能比学术界少多样性，或者他们的多样性是什么？是的，我只是好奇听听我们所获得的见解。是的，所以我们基本上比较了他们的多样性，分为三个步骤。首先，我们简单地查看了私营部门研究的语料库，并与学术研究的语料库进行了比较，并根据不同的指标比较了它们的多样性，我们发现所有指标

是的，私营部门的多样性较低。你知道，我们想，好吧，但你知道，也许这只是因为在学术界的研究仍然比私营部门更多，你知道，就论文数量而言，因为我想学术界的工作在某种程度上是要发表论文，而在行业中，有些人可能会这样做，有些人可能不会。所以语料库较小。因此，可能是因为这是一个较小的语料库，可能导致这些结果。所以我们所做的是

让我们从私营部门语料库和学术语料库中抽取相同大小的样本，并进行多次计算指标并进行比较，控制语料库的大小。结果，我们发现所有指标、所有参数中，学术界的多样性更高，私营部门的多样性较低。然后我们说，实际上，让我们看看微观层面。在考虑私营部门研究时，将所有私营部门组织的论文归为一类，查看多样性，实际上让我们在组织层面上查看多样性。所以我们所做的是

在过去三年中。对于每个组织，我认为在数据中有超过75篇人工智能论文的组织，我们基本上计算了组织层面的多样性。然后基本上我们用这个创建了一个面板

数据集，我们将组织层面的多样性回归到该组织是私营部门公司还是学术机构。我们将其回归到年份。然后我们有一些固定效应，几乎像是一些虚拟变量在组织层面上，以便能够几乎像是

如果你控制组织类型，如果你控制年份，也非常重要的是，如果你控制不同组织发表的论文数量，我们能否几乎找到不同的多样性水平，告诉我们可能的某些东西或不同组织在进行人工智能研究时所遵循的策略？

我们在论文中展示了这些结果。我想标题是，你知道，像是我认为可能有一个例外，在九个例外中，所有模型显示出公司与主题多样性之间的负相关关系，这与所有其他条件相等的观点一致，即如果你是一家公司，你往往会倾向于较少的多样性。

我们发现，拥有更多论文的组织往往具有更多的多样性，仅仅因为他们可以探索更多的事物和想法。然后我们发现，我认为这非常有趣。实际上，当你几乎像是在组织层面上查看时，你知道，控制组织类型，控制规模。你会发现不同组织之间存在一些显著差异。我们发现

实际上，比如谷歌和微软，在控制了他们的活动量后，他们的多样性水平相对较低。我们发现开放AI的多样性水平非常低。他们似乎在非常少的主题和领域中高度集中，可能与这种多样性理念一致。

专注于基于大量计算构建大型模型的单一方式来构建人工智能系统。我们发现像DeepMind、IBM、Facebook这样的组织实际上似乎更具多样性。根据轶事，可能是因为他们更倾向于遵循DeepMind的做法，你经常会发现他们写的论文中说：“哦，我们要研究符号逻辑。这里我们在研究贝叶斯方法。这里我们在研究因果方法。”这几乎就像是感觉

他们似乎在探索的技术种类上更为多样化，并且，您知道，这似乎在数据中得到了反映。我认为这非常有趣，这也是我非常想深入挖掘的领域之一，实际上与其他团队最近发布的一些新研究相连接，呃，就是这个想法，实际上当

当你在美国查看时，像麻省理工学院、斯坦福大学、卡内基梅隆大学等精英机构，实际上，当你控制他们几乎像是活动量时，当你控制他们是学术机构的事实并且控制时间时，实际上，他们的主题多样性水平非常低。

所以几乎就像他们不是为人工智能研究的多样性做出贡献的地方。他们似乎在使用的技术上属于主流，并且在很大程度上没有使该领域更加多样化，可能使其变得更少多样化。我认为这非常有趣，因为我想

有这个想法，这些领先的机构，显然，你所在的地方，也可能有趣的是，听听你的反思，因为他们与行业中正在进行的工作联系紧密。很多来自这些机构的人进入行业，很多教授在某些情况下实际上有双重隶属关系，行业隶属关系。

和学术界，因为他们实际上经常与行业合作，并且他们可以访问行业的计算基础设施和数据。在某种程度上，这些机构在他们所做的事情上变得与行业相似。这导致了至少在精英机构中，包括行业和大学的研究活动方面，几乎像是该领域的同质化。所以是的，我想

是的，当你开始学习，深入挖掘并超越这种非常高层次的图景时，哦，你知道，大学做什么？行业做什么？你查看个别机构，图景变得更加细致，你会发现一些私营部门机构非常多样化，而一些学术机构则非常同质化。是的，我确实觉得作为斯坦福大学的一员，听到这些非常有趣。

我绝对可以理解这有道理。该领域有很多讨论，你知道，我们是否只是在追求最先进的结果？我们是否只是在构建不同版本的模型，真正试图解决更深层次的研究问题？我们是否对指标和评估过于上瘾？我认为很多学术界的人

对此感到有些焦虑。是的，这个问题经常出现，人们常常觉得过于关注指标，过于关注某种

无趣的研究，这可能反映在多样性上，因为然后你知道你看到一篇论文，它是一种你已经看到过一千次的论文。是的，所以，嗯，我认为这是学术界正在思考的问题，关于我们是否移动得太快，速度是否如此之快，以至于我们实际上无法暂停并尝试一些奇怪和不同的东西。

然后这也与同行评审有关，我认为，现在有很多焦虑，如果你尝试一些不同的东西，而你没有在50个数据集上进行评估并与所有以前的工作进行比较，那么更难以发表。有些人暂停了，这是导致多样性减少的部分原因。因此，听到你在结果中发现这一点非常有趣。

呃，也许是对像斯坦福大学这样的组织的一个很好的警钟。我认为这非常有趣。我觉得，你知道，我之前讲的故事就像是，

你知道，有一个关于私营部门进入并且你知道它使该领域变得更加同质化的故事，因为他们只是专注于可以在他们的平台上应用的技术和类似的事情，我认为这是一个有趣的几乎是这个问题的反面，你知道，在多大程度上，可能像某些学术界的竞争，学术界争相发表论文，学术界争相进入热门会议

所有这些行为在某种程度上使该领域更加同质化，甚至传播到行业，使行业变得比它可能的更少多样化。

我认为这是非常有趣的问题，我希望在后续研究中探讨这些问题，我们开始更深入地研究，我想，学术界和行业之间的复杂互动动态。人们如何在这些领域之间移动？他们如何在彼此的工作中构建？也许使用引用和类似的东西。

所以，是的，像是...一个非常有趣的研究议程可以建立。而且再次，这就是我如此兴奋地将所有数据和代码提供出来的原因，这样也许一些超越我们的人可以追求这些想法。我想然后有一个问题，这对政策意味着什么，因为我想，你知道，你可以说...

好吧，所以学术研究者需要以某种方式资助他们的工作。你知道，行业以巨额资金进入，提供了很多资金，像是为研究者提供了很多职业机会，很多数据，很多计算能力，你知道，谁会竞争，谁会竞争，试图与之竞争，知道吗？而且，你知道，这并不是说竞争，

你需要匹配他们的投资，因为我认为在这一点上这是不可能的。你需要的公共部门投资金额将是巨大的预算，以能够匹配私营部门所做的事情。但有这样的说法，美国的资助者，英国的资助者，几乎更具战略性地思考，好的，

我们可以做些什么是额外的，并将保持多样性？而不仅仅是做更多与行业已经在做的相同工作。我们如何使学术界正在进行的研究更具独特性，并专注于那些，我想你说过的，更奇怪的，像是，

像是可能更少主流的想法，我们需要保持活力，因为它们可能是，你知道，它们可能是产生未来的想法，像是下一个人工智能革命。我们需要保持它们的存在，因为我们不知道它们会是什么。我们只知道，我们需要继续投资于其中的一些。因此，它们在那里，你知道，也许是为了赢得下一个硬件彩票，赢得下一个应用彩票。是的。

所以，是的，我们一直在与一些资助者交谈，与一些基金会的人，英国的资助机构的人，讨论，好的，你知道，他们如何几乎可以开始使用这种思维，可能一些这些指标来告知他们所做的事情，并开始几乎像是解决保持多样性的问题，而不是解决

几乎像是让人们写论文，这些论文将获得大量引用，或者将做与私营部门已经发生的相同类型的事情。这很有道理。说到这一点，我有一个问题，我想，发现这些精英机构并不多样化有点令人惊讶。所以我很好奇，关于你得到的结果，一旦你处理了数据并完成了整个流程，

对你来说主要的惊喜是什么，以及主要的有趣结论，可能由于深度学习的原因，收窄是某种程度上可以预期的，但有什么是令人惊讶的？我认为最令人惊讶的事情是，领先的学术机构

似乎在遵循非常同质化的策略，像是在多样性方面非常集中，实际上专注于我想说的那些已经在行业中追求的相同技术，而不是进行更多的蓝天思考和蓝天工作。我觉得这很有趣。

我觉得这在我们在论文中进行的最后一部分分析中有所体现，这就像是我们使用BERT创建的论文的向量表示，并实际上将其投影到二维空间中，看看谁彼此接近。你知道，事实是

当你看到多样性进入该领域，领域变得非常分散和碎片化时，你可能希望如果你想要多样性的话。这与所有的小机构做随机事情几乎是一样的。似乎这些是那些似乎在做更多多样化事情的机构。对于政策制定者和研究人员来说，这个问题是，依赖于

一些大学，可能有些人会认为它们在工作质量上是落后的，或者甚至在保留顶尖人才的能力上。我们能否依赖这些机构来保持多样性？这是否可持续？这是否有效？这种多样性的价值是什么？其中有多少实际上是死重，像是非常低质量的，或者像是...

你知道，由那些没有真正跟上时代的人所做的工作。所以我认为这几乎是从查看该领域的语义图谱中得出的东西，看到你有这个顶尖机构的集群在中心，然后像是这个非常分散的机构星座围绕着它。

所以，是的，这令人惊讶，有点令人担忧。我做了其他一些有趣的事情。再次，我希望在未来深入研究的是，似乎在国际差异中存在一些国家差异，抱歉，在几乎像是语义图谱中。所以实际上你会看到所有这些，

你知道，几乎像是西方的机构聚集在同一区域，你知道，像是我们之前提到的那些和科技公司。然后实际上你会看到中国的机构和中国公司，实际上几乎像是在不远处，但几乎像是地图的不同部分。这表明他们专注于不同的方法。他们专注于不同的应用和用例。

也许他们再次专注于几乎像是人工智能的不同轨迹，这很有趣，因为这使得该领域更加多样化，对吧？如果他们在做不同的事情，但它可能通过关注我们可能会感到相当担忧的技术或用例来保持该领域的多样性，像是情感识别、行人监控，像是有争议的技术，如面部识别？所以再次，这很有趣。

这种事情，我想作为研究人员我喜欢，但这使得生成一个明确的信息变得相当困难，几乎像是查看这个地图并意识到多样性的一些缺点可能在于低效，或者保持多样性可能意味着做一些相当可疑的事情，或者开发一些非常有问题的人工智能变体。

是的，听起来有道理。我同意你关于多样性的结论非常令人惊讶。也许作为一个整体，领域变得更加狭窄是有道理的，但

说斯坦福或伯克利与开放AI同样缺乏多样性真是令人震惊。所以，是的，我想反思一下，你提到过，可能应该有政府倡议来保持多样性。你是否有任何喜欢的政策解决方案，或者你认为这是一个需要思考的开放性问题？

所以我会说这需要思考。我的意思是，我们在论文中确实说过，因为我们并没有真正研究支撑多样性的机制，或者其他的在非常高层次上，像是这个想法

该领域变得更加同质化，私营部门似乎在其中发挥了作用，私营部门与精英机构之间的关系变得更加紧密。但我们并没有真正深入探讨几乎像是什么因果决定多样性变化的因素，这可能几乎给你一个政策杠杆去推动。因此，我们有点，我想我们进入了推测和手势的领域，关于可以探索的潜在政策。

而且问题是，其中一些政策已经在探索中。所以我们只是给出一些例子，我想。一个我非常感兴趣的，可能也是因为我工作的地方，这是一个非常使命驱动的组织，就是设立创新任务，您知道，比如说，

让我们找到一个人工智能尚未应用的领域，可能是因为它不适合深度学习框架，或者没有足够的数据，或者你需要有很高的可解释性或稳健性等等。实际上在这些领域内，让我们设立任务，

以一种鼓励研究人员提出新想法的方式应用人工智能，或者几乎像是查看工具包并采用两种技术，这些技术可能你永远不想在更大规模的推荐引擎中使用，但你可能想在这些其他领域中使用。因此，开始鼓励几乎像是更应用类型的工作，在这些技术可能会闪耀的地方。所以我认为这很有趣。在英国，我们有很多任务工作

我知道在其他国家也是如此。所以看到这一点真正扩大，几乎像是思考，我该怎么说，

几乎像是思考，针对这些政策创造更多的多样性。我们有另一篇论文，像是关于人工智能和COVID-19的分析。我们发布了这篇论文，我想在几个月前，当每个人都在发布关于COVID-19的所有内容时。实际上我们发现，大多数关于COVID-19的人工智能研究是计算机视觉，用于检测医疗扫描中的COVID，你知道，你可以看到

人工智能研究人员如何利用数据来应对COVID的任务，你知道，在更容易应用深度学习方法和计算机视觉的领域，而不是可能思考，实际上，即使你解决了这个问题，这仍然不是对抗疫情的帮助。你知道，我们需要关注其他领域，也许使用其他技术。我认为，是的。所以我认为一般来说，如果我们有以任务为导向的政策来发展人工智能，

以应对各种挑战，实际上这个想法不是让我们看看如何使用深度学习来应对这个挑战，而是好的，让我们看看在人工智能中，我们可以使用哪些方法，而不一定是深度学习来应对这个挑战，我认为这会很有趣。呃，我再提到另外几个，我想另一个有趣的，可能这不是我的领域，看到你也会觉得很有趣，但我认为这很有趣，实际上你能否找到

你知道，其他基准、其他指标、其他，我想，评估模型性能的方式，为那些可能在这些方面表现更好的技术创造机会。我认为这将是一个有趣的方式，可能像是扩展范式，我想，常见任务框架，以一种为技术平衡竞争的方式。

然后我想第三个是我们在美国看到的东西。我们在欧盟也看到了这一点。在英国也是如此，开发基础设施、数据和计算基础设施的想法，研究人员可以使用这些基础设施进行，我想，最先进的工作，而不必与行业合作。我认为这非常有用。我们有一些关于研究人员从学术界流向行业的新研究。

看起来，显然研究人员喜欢钱，和其他人一样。而他们进入行业的一个驱动因素可能是财务。但我们还发现，转入行业的人工智能研究人员，

几乎是学术界表现最好的研究人员，他们在行业中的表现甚至更好。因此，几乎就像人们去行业工作是为了能够做出惊人的工作。对于政策制定者、研究资助者和考虑公共利益研究基础设施的人来说，问题是我们如何几乎像是创造基础设施，使那些想要找到地方做出出色工作的优秀研究人员能够做到。

我们如何创造基础设施，以便他们能够在公共部门和学术界进行这项工作，而不必转入行业去做？

绝对是。是的。希望这正是我们将要解决的问题。我认为对话已经开始，尤其是在斯坦福大学，现在有一个斯坦福人本中心人工智能研究所，试图鼓励更多的多样性，更多的跨学科工作，并且也试图解决这个问题，即我们如何使学术界的研究能够跟上，不落后，并做一些有趣的事情。是的。

所以，是的，我认为我们已经涵盖了论文中许多有趣的内容。所以我最后一个问题是，我们是否还有什么没有触及的内容，你认为对我们的听众来说值得强调的？是的，所以我最后的观察是，这篇论文只是其中之一，几乎像是一个新的...

这几乎像是一个新的领域，似乎是对人工智能轨迹和私营部门在这些轨迹中角色的更复杂分析。现在有一些非常好的论文从不同的角度、使用不同的数据集来看这个问题。我认为有一篇非常好的硕士论文，我看到上周发布，实际上是关于人工智能进展的，几乎像是从指标的角度开始看到一些收益递减的证据。

我认为将这种分析与我们在这里进行的分析联系起来几乎是非常有趣的，以便能够几乎像是了解保持多样性在多大程度上帮助我们保持可以利用的想法，以提高性能，像是在指标上，

所以我认为是的，我会非常感兴趣，所以，是的，我的意思是，所有的参考文献都在论文中。我现在不打算逐一列举，因为我认为我们没有时间，但我认为在这个领域现在有很多有趣的工作正在进行。我认为，嗯，我认为，前沿和我真正想要接下来的地方，显然我之前提到过的想法是，可能看看更像是所有这些的网络动态。

与胡安·马特奥斯-加西亚的访谈，他是Nesta（英国创新基金会）数据分析部的主任，领导着一个由数据科学家、开发人员、可视化专家和创新专家组成的团队，他们利用新的数据集、分析方法和可视化工具来为创新和人工智能政策提供信息。我们重点讨论了他与乔尔·克林格和康斯坦丁·斯塔图洛普洛斯共同撰写的最近论文《AI研究的收窄？》。 订阅：RSS | iTunes | Spotify | YouTube

主题：深思熟虑 凯文·麦克劳德（incompetech.com） </context> <raw_text>0 所以这就像是，看看影响，你知道，这是什么？几乎就像，我们如何衡量价值？不仅仅是衡量多样性，而是衡量多样性在帮助我们解决的问题、推动的创新、推动该领域的进步等方面的价值。

所以我认为这是我非常期待关注的事情，比如可能使用一些非常酷的数据集，这些数据集正在上线，比如带有代码的论文之类的东西。而且显然，如果听众中的人正在关注这些问题，或者对这些问题感兴趣，或者有有趣的数据来研究这些问题，或者正在寻找数据来研究这些问题，请与我联系，因为我会非常期待进行这些对话，并且我想把这项研究提升到一个新的水平。

太棒了。是的，我希望听众能从中获得很多讨论。我知道我得到了。我学到了很多。再次重申，我们讨论的论文是《AI研究的收窄》。你可以去谷歌一下找到这篇开放给任何人阅读的档案论文。即使你不是太技术性的人，也可以通过浏览它，看到工作和数据图表获得很多信息。

正如胡安提到的，你也可以在GitHub上找到源代码和数据，推测是通过谷歌搜索。所有链接都在论文内部。因此，最终都指向了这个仓库。这太棒了。所以是的，基于此，我想我们将继续结束。再次感谢胡安加入我们这一集。非常感谢你邀请我。真的很有趣。

是的，我知道我也玩得很开心。也感谢我们的听众陪伴我们收听这一集的《斯卡尼亚今日》播客《让我们谈谈AI》。你可以在scania2day.com找到与今天类似主题的文章，并订阅我们的每周新闻通讯。

在你获取播客的地方订阅我们。如果你喜欢这个节目，或者有任何建议让我们改进，请不要忘记给我们留下评分和评论。并确保收听我们未来的节目。