The De-democratization of AI: Deep Learning and the Compute Divide in Artificial Intelligence Research with Nur Ahmed
24:56 Share

订阅：RSS | iTunes | Spotify | YouTube

主题：Kevin MacLeod的深思熟虑（incompetech.com）

<raw_text>0 你好，欢迎收听SkyNet Today的《让我们谈谈人工智能》播客，在这里你可以听到人工智能研究人员关于人工智能的真实情况以及哪些只是点击诱饵标题的讨论。我们每周发布人工智能新闻报道，并偶尔进行访谈，比如今天。我是Andrey Krenkov，斯坦福大学视觉与学习实验室的三年级博士生，也是本集的主持人。

在这一访谈集中，我们将听到一位最近关于人工智能去民主化、深度学习和人工智能研究中的计算差距的论文作者的声音。这位作者是Noor Ahmed。

Noor Ahmed是加拿大西安大略大学Ivey商学院的战略博士候选人，也是Scotiabank数字银行实验室的研究员。他的研究重点广泛涉及创新和计算社会科学。目前，他正在探索人工智能。非常感谢你，Noor，加入我们这一集的讨论。非常感谢你邀请我。

好的，让我们开始吧。我们的重点将是最近发表的关于人工智能去民主化、深度学习和人工智能研究中的计算差距的论文，该论文刚刚在一个月前发布。你引用了Yoshua Bengio的一句我认为非常有启发性的名言。引用是：在人工智能领域，目前数据的专业知识的力量都集中在少数几家公司手中。

在我们深入探讨你在这篇论文中如何探讨这一信息的细节之前，不如让我让你告诉我们是什么激励了这项研究，以及你希望在其中解决的主要问题是什么？当然。正如你引用的Bengio的这句有趣的评论，数据和技能的力量都集中在少数几家公司手中，很多

专家实际上都在谈论这种问题。他们担心，也许大型企业或大公司比大多数其他组织更活跃，但我们并没有系统的证据证明这一点。此外，人们也一直在谈论我们需要去民主化人工智能。我们需要让人工智能对每个人都更可及。

这样，我们可以让世界变得更美好，因为人工智能是一项相当强大的技术。因此，基本上，我们想研究的是人工智能是否正在被更民主化？谁是对人工智能研究做出贡献的主要参与者？如果某些公司或组织比他们过去更活跃，

这对其他在研究中活跃的组织有什么影响？所以我们想探讨这些问题，这就是我们写这篇论文的原因。非常有道理。我认为我们在人工智能领域工作的人都知道这种情况似乎是正确的，但当然，正如你所说，拥有实际的扎实研究来支持这一点是很好的。确实如此。

也许你可以告诉我们，从高层次来看，你采取了什么方法来量化地回答这些问题？好的。所以我们所做的是，我们想检查主要的计算机科学会议，看看那里实际上发生了什么。因此，我们首先咨询了csranking.org，这是计算机科学家中非常知名的网站。

他们列出了大约60个相对可比的会议，在声望、提交数量和质量等方面都是如此。这些会议实际上会影响教授助理的终身职位决定。

因此，我们想看看，好的，让我们比较人工智能与其他非人工智能会议的情况，这将使我们能够找到一些证据，表明在人工智能中可能发生了一些不同的事情，或者可能没有。因此，我们只是想探讨一下。

为了给你一个高层次的概述，如果你只看我们论文中的两个图表，我认为这实际上会说服很多人，认为在人工智能相对于非人工智能方面发生了一些有趣的事情。因此，前两个图表基本上显示了至少有一个合著者参与的论文的比例。

与公司相关，我们发现只有在人工智能会议中，我们有一个一致的趋势，即大型公司实际上增加了他们在这10个计算机科学人工智能会议中的存在。另一方面，我们在这些描述性分析中没有发现任何证据表明公司或大型组织在非人工智能会议中增加了他们的存在。因此，基本上我们有10个人工智能会议

和47个非人工智能会议。我们还进行了一些统计分析，以提供更有力的证据。因此，我们使用了一种称为合成控制方法的统计方法。它的作用是为你的处理单位创建一个反事实。在我们的案例中，它是人工智能，而你的非处理单位。在这种情况下，它是非人工智能会议。

因此，为了使用这种合成控制方法，我们使用了2012年ImageNet竞赛的结果，这对许多计算机科学家以及许多行业观察者来说都是令人惊讶的。因此，人们并没有预料到深度学习会在GPU上表现得更好，深度学习会产生如此惊人的结果。

自那时以来，自2012年以来，实际上我们观察到许多公司和组织开始在他们的产品和研究中使用深度学习。这就是为什么实际上很多人将现代人工智能分为两个时代。他们称现代人工智能始于2012年，因为ImageNet竞赛的惊人结果。

谢谢。是的，这很清楚。我确实建议读者可以查阅这篇论文，看看那些图表。正如你所说，它们非常有说服力。因此，我现在正在查看图表一，你可以看到在过去十年中，比如说NeurIPS，这是最大的会议之一，至少有一个公司合著者的论文比例从大约0.2跃升到0.4。

对，所以在这个会议上，40%的所有论文都有行业关联，而我相信与其他非人工智能计算机科学会议相比，正如你所说，这个比例非常高，并且没有下降。确实，我的意思是，如果你看看KDD，对吧，所以它的比例从不到40%上升到超过50%，在2019年，基本上至少有四分之一的论文与大型公司有关。我是说，这非常有趣和令人惊讶。对某些人来说，这也可能令人担忧。

绝对如此。说到你在分析中发现的结果，其中一部分与大型公司的存在增加有关。但你还进行了分析，比较了顶尖大学的存在。因此，通过某种排名，前50所研究大学，以及排名较低的大学，排名大约在200到500之间。

是的，你能告诉我们你在这些领域发现的结果吗？当然。总体而言，我们发现是的，公司总体上，他们的存在增加了。特别是在其中，我们发现46家大型科技公司显著增加了他们的存在。我们还发现，排名前50的精英大学，我们使用了两个不同的排名。我们使用了

两个不同的年份。结果相当可靠。因此，我们发现全球前50所大学在人工智能领域的存在相对于非人工智能显著增加。我们发现大型公司主要与精英大学合作。因此，潜在的解释是

大型公司拥有计算能力和数据。另一方面，精英大学拥有人才，人力资本，实际上在深度学习方面具有专业知识，这就是为什么他们能够增加他们的存在。不幸的是，我们发现排名在201到500之间的大学，实际上在人工智能研究中失去了竞争力。

因此，结果在几个不同的方面都令人惊讶。特别是，过去七到十年的创新研究实际上记录了公司实际上减少了企业研发。然而，我们发现实际上在人工智能领域并非如此。至少在人工智能领域，公司增加了他们的存在。特别是，大型公司在人工智能研究中增加了他们的存在。

因此，这对更多的创新学者来说是一个非常令人惊讶的结果。

这些结果对排名在201到500之间的非精英大学也令人担忧。他们正在失去竞争力。这对很多人来说也是令人担忧的，因为这些大学实际上代表了来自美国以外的多样化人群。因此，这意味着人工智能研究正在变得不那么民主化，人工智能研究现在比以前更缺乏多样性。

当你说他们正在失去竞争力时，是指与大公司的合作，还是仅仅是他们发表的论文数量？是的，因此非精英大学的情况是，他们的存在略有增加。但当你考虑到发表的论文总数以及相对于他们的反事实时，他们的存在实际上显著减少。现在，他们发表的论文大约是排名在201到300之间的大学的论文数量的25%减少。

因此，这现在非常令人担忧，因为现在我们在这些顶级人工智能会议上拥有的多样性减少了。我明白了。我还发现你在论文中有图表八，进行了一些更多的分析，你实际上查看了来自AAAI（一个大型会议）的选定关键词，并展示了

这些公司进行的研究类型之间的某种区别。你能谈谈这个吗？

当然。因此，因为AAAI，正如你所知，是最著名的人工智能会议之一，我们想分析大型公司正在进行什么样的研究，精英大学正在进行什么样的研究，以及非精英大学正在进行什么样的研究。因此，我们进行了TF-IDF分析。这基本上是特定关键词在你的论文中有多突出。因此，当你查看图表八中的结果时，我们发现实际上...

大型公司在深度学习研究方面处于领先地位。因此，在卷积神经网络、机器学习、递归神经网络等方法中，他们远远领先于非精英大学，也稍微领先于精英大学。另一方面，非精英大学在传统的机器学习方法上更为活跃，例如支持向量机学习。

等等。因此，他们未能赶上大型公司以及精英大学。因此，我们认为这提供了一些暗示性证据，表明深度学习，特别是对计算能力的获取，可能是非精英大学在人工智能研究中落后的原因。

绝对如此。我也非常喜欢图表七，你展示了不同群体的深度学习论文中至少有一个合著者的论文比例。基本上，这是一个相当明显的轨迹，前50所大学和公司位于顶部。因此，随着时间的推移，那些进行所有深度学习研究的大学和公司。

而来自排名较低的大学，如100到200、300到400的大学，来自这些不那么精英大学的合著者的数量要少得多，这再次表明，要进行前沿的人工智能研究，如今涉及深度学习和计算，这里存在劣势。正如你所说，这里存在去民主化。

因此，鉴于这些结论，你在论文中提到了什么样的影响？根据这些结论，应该采取什么措施？因此，计算机科学家们表示，人工智能研究实际上需要很多多样化的人，以便我们制作的工具能够对每个人都有帮助。

因此，不幸的是，我认为我们的结果表明，可能正好相反，人工智能研究可能变得不那么多样化，因为公司实际上比非精英大学更不多样化。我们知道，如果你只看美国的大学，非精英大学

比精英大学更具多样性，并且比大多数公司，尤其是大型科技公司更具多样性。因此，如果我们有更多来自这些非精英大学的研究人员，他们可能实际上代表了真实的人口，而不是一小部分特权人群。

所以这是我们需要在人工智能研究中增加多样性的第一个担忧，而我们的结果实际上指向了相反的方向。第二点是，在我们看来，这是政府可能需要加强其在计算能力方面努力的第一个具体证据。就像斯坦福大学已经有一个中心，提出了美国政府应该拥有一个国家研究云的提案。但到目前为止，我们没有任何证据表明我们实际上需要这个。因此，我们的论文实际上为此提供了支持。此外，

你知道，现在有更多的公司参与人工智能研究，但这并不意味着这实际上是坏事。因此，这可能会让我们感到一些担忧，但也可能是好事，因为在过去，公司对基础研究和开发做出了很大贡献。因此，我们也不知道这会有什么后果。现在这些大型公司比大多数其他组织更活跃，

所以我们需要进行更多的研究。因此，基本上，我们的论文是对经济学家、科学社会学家和其他研究人员的呼吁，我们应该研究更多正在发生的事情。后果是什么？现在精英大学和大型公司在研究中更活跃，这有什么后果？我们需要真正了解更多关于这一点的信息。

绝对如此。这非常有道理。我很好奇，关于这些影响，你发现这种趋势仍在继续吗？差距是否仍在扩大，还是有某种平台？我们可以期待明年会发生什么，比如说？明年，比如2020年或2021年？你是说2021年吗？是的。

是的，趋势是否仍然是差距在扩大，还是可能有所减缓？因此，我们的数据表明，我们应该预计在接下来的几年中，差距会稍微扩大。这是我们的数据所表明的。

因此，再次，预测长期会发生什么更难。但在短期内，我们可能应该预计大型公司和精英大学在人工智能研究方面会与非精英大学逐渐分离。

是的，这对我来说非常有趣，因为正如你所展示的，差距已经非常显著。因此，不仅差距已经存在，而且仍在扩大，这确实意味着可能应该采取政府行动或某种政策解决方案，以允许更多的多样性，而不是仅仅让精英来做这项工作。我很好奇。

当你开始这个项目并处理数据并获得结果时，你是否对这种差距的程度和这种区别感到惊讶？

哦，是的，绝对如此。我们确实对差距如此显著感到惊讶。我们没有预料到。我是说，我们有一种感觉，可能我们会观察到精英大学，因为他们拥有经过培训的计算机科学家，会有更高的存在。因为我们知道谷歌和Facebook在研究中非常活跃。所以也许，是的，这几家公司会在人工智能领域活跃。

然而，我们没有预料到他们实际上拥有的存在程度。因此，如果没有进行扎实的分析，我们不会知道，实际上差距是如此显著。即使你去掉所有这些在人工智能研究中活跃的大型公司，实际上即使在去掉它们之后，你仍然会发现一般公司增加了他们的存在。

因此，在人工智能领域发生了一些有趣的事情，这实际上推动了或拉动了。我不知道是什么主要原因导致这些公司在人工智能研究中如此活跃。因此，我们需要调查这一点。比如说，除了大型公司之外，为什么公司在人工智能研究中活跃。是的，顺便问一下，我想问一下，

这篇论文是否存在任何局限性，还有什么下一步的计划？你刚才提到过一个，研究为什么公司在进行如此多的人工智能研究，还有其他未来的研究方向吗？

是的，当然，每项研究都有其局限性，特别是我们的研究论文。因此，我们没有关于其他会议或期刊的数据。因此，我们仅限于关注主要的计算机科学会议。

因为实际上更难找到可比的会议，因为我们本可以获得更多关于人工智能会议或其他期刊的数据，但我们不知道如何获得可比的数据。这是我们仅关注计算机科学主要会议的一个局限性。因此，我的意思是，我们确实希望其他人继续关注这种类型的出版物，比如说结果是否在其他非精英领域的

会议和期刊中成立。因此，这绝对值得关注。至于我们，我实际上正在尝试解释为什么一般公司在人工智能中增加了他们的存在。因此，因为我是一名博士生，我很快就会进入就业市场。因此，我实际上在我的就业市场论文中，试图回答为什么公司在人工智能研究中增加了他们的存在。

所以这是我计划立即做的事情。此外，我还想继续研究他们增加存在的后果。

因此，我们希望进行更多基于机器学习的文本分析和其他先进的统计方法，使用这些方法。我们想知道实际上可能会发生什么，现在我们有一小部分人比以前在人工智能中更活跃。因此，我们希望在不久的将来继续这一研究方向。

我明白了。是的，这非常有道理。我个人期待看到这种分析，因为考虑到你在这里指出的差距的大小，肯定应该观察到一些效果，并且应该进行一些研究。

我认为我们触及了论文的许多方面，我认为我们已经为听众提供了相当好的概述。还有什么我们没有提到的论文内容，你认为也想提及或指出的吗？

是的，我想谈谈两个特别的政策影响，也许。一个是对于初创企业，这意味着什么？如果初创企业没有资源在人工智能领域起步，这会伤害创新吗？因此，这实际上是另一个研究方向，政策制定者和其他社会科学家可以关注的。因此，我认为了解这一点对于人工智能的创新生态系统的未来是重要的。

另一个研究方向可能是，计算差距可能是一种新的数字鸿沟？想想所有其他甚至不在这些顶级研究排名中的大学。像这样的大学会发生什么？他们会因为这种差距而落后吗？

你知道，需要更高的计算量、大量数据或训练有素的计算机科学家。那些大学会发生什么，他们对那些国家，比如说世界各地的发展中国家，会有什么后果？

因此，是否会因此产生负面后果？所以也有这些担忧。因此，也许国际组织可以考虑如何帮助那些其他大学和其他参与者赶上这些精英大学和大型公司在人工智能研究中的进展。我明白了，非常有趣。

因此，我认为到此为止，我们可以结束了。这是一个很棒的、有趣的概述。希望听众喜欢这个。谢谢你，Noor，加入我们这一集的讨论。谢谢你邀请我。

太好了。谢谢你。听众们，再次提醒，论文的名称是《人工智能的去民主化：深度学习与人工智能研究中的计算差距》。你可以在网上搜索它，实际上自己查看一下，看看一些额外的图表。它变得有点技术性，但我能够从中获得很多信息。因此，我认为任何听众也应该能够浏览它。

感谢您收听这一集的《让我们谈谈人工智能》。你可以在ScanItToday.com上找到与今天类似主题的文章，并订阅我们的每周通讯。在你获取播客的地方订阅我们，如果你喜欢这个节目，请不要忘记给我们留下评分和评论。我们总是喜欢你的反馈，并确保收听我们未来的节目。