More Ethical Quagmires, More Surveillance, and more Academia Talk
27:03 Share

斯坦福人工智能实验室的博士生Andrey Kurenkov和Sharon Zhou讨论了本周人工智能的主要新闻。 查看此处讨论的所有故事以及更多内容，请访问www.skynettoday.com 主题：深思熟虑 Kevin MacLeod (incompetech.com) 根据知识共享许可协议授权：署名 3.0 许可协议 </context> <raw_text>0 大家好，欢迎收听Skynet Today的Let's Talk AI播客。我们将听到人工智能研究人员关于人工智能的实际情况以及哪些只是耸人听闻的标题。我是Andrey Korenkov，斯坦福视觉与学习实验室三年级的博士生。我的研究主要集中在机器人操作的学习算法上。

和我一起的是我的联合主持人。我是Sharon，机器学习小组的三年级博士生，与吴恩达一起工作。我的研究方向是生成模型，改进神经网络的泛化能力，并将机器学习应用于应对气候危机。Sharon，我们刚刚聊到Veneerub的截止日期是下周三，我相信你正在努力提交。那么最近你的研究进展如何？

我熬了很多夜，非常努力地朝着下周三下午1点（太平洋标准时间）的截止日期努力，这个日期已经深深地印在我的脑海里。

我相信，是的，至少对我们斯坦福大学来说，每个截止日期都会带来几周的努力工作，非常努力地完成它。你总是试图尽早做好准备，但这似乎从未奏效。所以希望这次提交顺利，之后你可以好好休息一下。

谢谢。是的。而且总是会在截止日期前几周出现集群故障。所以，这总是很有趣。当你试图完成事情时，总有一些令人兴奋的惊喜和问题需要处理。所以你只需要继续努力，希望一切顺利。是的，祝我好运。

是的。但现在，让我们继续深入讨论上周的人工智能新闻。你现在可以稍微考虑一下研究了，希望如此。我们可以从这第一篇文章开始，它来自Aeon，一个名为“将外观与犯罪联系起来的算法有着黑暗的过去”的在线杂志。

这并不是与新闻相关的。它更像是对一个主题的概述，即使用人工智能来预测某人是否可能犯罪或基于其面部照片是否已经犯罪的一般想法。

特别是，这篇文章关注几年前Xiaolongwu和Shi Zheng两位作者发表的一篇论文，该论文声称已经训练出一个算法，可以根据面部的形状（即面部照片）来识别罪犯，准确率为89.5%。所以它可以告诉你某人是否是罪犯，只需查看照片，准确率为90%。

这篇文章不仅指出这显然可能是不正确的，对吧？你不能仅仅通过查看某人的脸来判断他是否是罪犯。它还讨论了长期以来一直存在这种根据人的外表和面部来谈论人的性格的想法，现在被称为颅相学。并且基本上强调了

显然，这是有问题的，并且这种研究存在不同的

方法论问题，但也存在道德问题。所以基本上，进行这种研究存在一个普遍的问题，它本身就是有缺陷的。研究人员说，他们进行研究纯粹是为了学术讨论，仅仅是为了好奇。文章指出，你不能仅仅以进行研究为借口。这还不够。它以

指出，为了让科学家认真对待他们的道德责任，他们需要意识到他们的研究可能会造成的危害。更清楚地解释颅相学研究的错误之处，其影响力将比简单地抛出这个名称更有用。有趣的是，作者说他们对公众对其论文的强烈抗议感到“非常困惑”，并且该论文的目的是“纯粹的学术讨论”。

还有一些评论员认为，面部识别应该像钚一样受到严格监管，因为它几乎没有无害的用途。所以这些是这里正在争论的两个不同方面。是的，而且研究本身存在一些非常严重的问题。所以在人工智能犯罪研究中，或者在最近的一项研究中，

我们从两个非常不同的来源获取数据，罪犯的模拟照片和非罪犯的网站照片。该算法可以很容易地区分这两种不同类型的照片。所以当你看到这种研究时，你应该首先意识到，如果他们声称准确率很高，那么可能存在方法论问题，在数据的创建方式上存在非常基本的问题，导致了这么高的成功率，而不是它真的有效。

但其次，你还应该意识到，总的来说，殖民主义、阶级结构、种族主义长期以来一直是这种研究的基础。这就是潜在的根本原因。

这种研究所宣扬的信仰体系。我认为你应该非常怀疑。我想，Sharon，你会同意这非常成问题，甚至不应该在NeurIPS等会议的论文评审中被接受。是的，这非常令人担忧。我很高兴NeurIPS已经将更广泛的影响陈述作为所有论文提交的要求。所以

在我撰写论文时，我实际上一直在撰写这些部分，这实际上是一种非常好的方式，可以让我更多地思考我的研究，并对其进行反思，并尝试从不同的层面进行反思，例如，最初，哦，这对社会谁有利？这可能会伤害谁？然后进一步退后一步，你知道，不仅仅是，哦，这会影响研究界，而是，

整个社会，而且根据最终以某种方式应用你的研究或阅读你的研究并将其用于某种程度的人，整个社会还有许多许多不同的层面，所以我认为拥有这个部分非常有帮助，我希望这样的事情也能让作者进行一些自我反省

我希望会议会更强烈地考虑这些事情。是的，完全正确。这也可以追溯到这篇文章的结论，即为了让科学家认真对待他们的道德责任，他们需要意识到他们的研究可能会造成的危害，这正是NeurIPS会议的更广泛影响陈述旨在促进的内容，即研究人员更多地思考更广泛的影响

并希望避免这种似乎肯定弊大于利的研究所带来的危害，至少以其目前的方式而言。关于研究就先说到这里。我们将在后面的文章中再次讨论这个问题。我们接下来的文章标题是“美国人不知道为什么他们不信任自动驾驶汽车”。

它发表在Gadget上。所以自动驾驶汽车在过去几年一直是科技领域的一个热门话题。我们已经看到从特斯拉到谷歌的Waymo再到Argo AI等公司都加入了开发安全、功能齐全的自动驾驶汽车的竞争。

但道路一直非常坎坷。我们已经看到了特斯拉的自动驾驶模式在亚利桑那州坦佩发生的事故，涉及到一辆自动驾驶的Uber车辆。因此，考虑到所有这些，美国人与所有这些事件如此接近，对自动驾驶汽车的前景可能不太热衷，这似乎是显而易见的。

而且不信任感肯定很普遍，但今年2月和3月代表自动驾驶汽车教育伙伴（PAVE）进行的一项研究发现，这种不信任感实际上来自其他地方。因此，对于大多数受访者来说，与他们不信任感更相关的问题是他们没有机会亲身体验自动驾驶技术。

事实上，“58%的人表示，如果他们可以乘坐自动驾驶汽车，他们会对自动驾驶汽车更有信心”。这真的很有趣。所以我不信任感现在很大程度上源于这种未知的、不确定性的感觉。所以也许如果你体验过它，你就会了解它可能存在哪些缺陷。嗯，我认为这绝对说得通，人们，呃，

绝对不信任他们不了解的事情或信任他们不了解的事情。我想知道，你是否真的乘坐过自动驾驶汽车？我想我还没有。我没有。你是对的。我还没有，但我见过很多。

是的，它们遍布帕洛阿尔托、斯坦福大学和旧金山。所以我感觉我有点了解它们，但它们仍然处于测试阶段。我同意你的观点，许多美国人可能听说过一些关于它的信息，看过一些文章，但因为他们没有亲身体验过，所以他们真的不知道该怎么想。

这是有道理的。事实上，这篇文章说，根据调查，48%的人表示他们永远不会乘坐自动驾驶出租车，将近20%的人认为这项技术永远不会安全。如果能够进行测试，也许可以在车内安排一个人，你知道，呃，

作为安全驾驶员，也许，希望这种观点会改变。是的，这有点像一个两难的境地，因为它需要非常非常安全才能让人们信任它并让它存在。但我们可能需要某种测试才能确保它的安全。所以这可能是一种反脆弱的情况，其中……

它崩溃得越多，它就越好。但我们可能负担不起它崩溃的代价。

是的，这实际上也很有趣，说到刹车，大多数或87%的受访者表示他们对特斯拉自动驾驶事故一无所知或知之甚少。事实上，如果你去维基百科，有一个关于自动驾驶汽车死亡事故的页面。上面列出了迄今为止发生的所有事故。我想，大约有六起。

在过去几年人们进行测试的过程中已经发生了，其中大多数是特斯拉汽车。我们实际上，我认为，已经讨论过一两起。所以似乎人们犹豫不决是因为他们没有体验过，但与此同时，也许我们应该知道

此外，确实存在令人担忧的原因，即发生了一些事故。因此，当你使用高级驾驶辅助系统（特斯拉自动驾驶实际上就是如此）时，它基本上是高级驾驶辅助系统。它不是完全自动驾驶。你需要了解它的局限性，不要过于信任它，因为随着越来越多的公司推出像特斯拉这样的功能，

Sharon，你喜欢为你的汽车配备自动驾驶功能的想法吗？还是你更喜欢自己开车？我绝对不喜欢自己开车，但这也有一个附加条件，因为我没有驾照。

实际上，自从10年前承诺5年后就能实现以来，我一直期待着自动驾驶汽车的到来，是的。而且我们仍在等待，看来还要等一段时间。

但我想对于我们两个都不会开车的人来说，我们都喜欢自动驾驶汽车来到这里，这样我们就可以依赖这项技术，并且不再购买汽车了。

但从这个话题转移开来，让我们继续讨论我们的下一篇文章，即“一家中国人工智能巨头如何让聊天和监控变得容易”，这篇文章来自Wired。它讲述的是总部位于深圳的科大讯飞如何因其在人工智能语音识别方面取得突破而受到广泛关注。

但也因其是中国一家从事人工智能的主要公司而被列入美国贸易黑名单。现在，我们已经听说了很多关于中国基于面部识别的监控，但这篇文章指出，这家公司似乎也参与了基于音频和语音识别的监控工作。

科大讯飞在10年前的2010年发布了一款主要的消费者应用程序“讯飞输入法”，允许人们在手机上的任何地方进行文本听写。很多人都在使用它，科大讯飞显然在识别人们所说的内容和进行听写方面投入了大量资金。而这……

文章指出，科大讯飞的技术帮助中国政府将其音频信号整合到其数字监控网络中。更具体地说，2017年，人权观察组织发布了一份报告，详细介绍了科大讯飞的政府工作。在这份报告中，该组织的一名研究人员表示，该公司的工具是中国共产党建设数字极权主义国家的计划的重要组成部分。

并且他们的语音生物识别技术使得追踪和识别个人成为可能。

科大讯飞还实现了相当清晰的安全工作。2012年，中国公安部从科大讯飞购买了专注于智能语音技术的机器。公安部选择科大讯飞总部所在地安徽省作为编制语音模式数据库的试点地点之一。这基本上是人们独特语音模式的目录，使当局能够仅通过其声音来识别这些说话者。

是的。根据人权观察组织的报告，科大讯飞的技术似乎也能够对中国西北部以维吾尔族穆斯林为主的地区进行监控，该地区近年来一直是许多讨论的主题。

近年来受到压迫。显然这是一篇相当令人沮丧的文章，更多的是关于监控，这似乎是过去几个月新闻中的一个主要趋势。我们不断讨论越来越多的面部识别，现在显然还有语音识别。我想

一个积极的方面是，在美国和欧洲等西方国家似乎并非如此。所以在这里，我们至少还没有听说过这种系统。但我很好奇，Sharon，阅读所有这些新闻并讨论所有这些新闻文章后，你对监控以及仅仅为了识别我们而构建的人工智能数量的

总体担忧是否有所增加？你是否更多地考虑过这个问题？是的，我认为当像政府这样的大型实体想要使用人工智能来强加某些东西时，它可能会变得更有效，因为他们可以控制很多人。这确实令人担忧。

所以对于维吾尔族人来说，中国政府正在加强控制，利用科大讯飞让居民在手机上安装这些应用程序，这些应用程序会在定期的安全检查站提供生物识别数据。好的。

并在他们的家中安排文化检查员。所以我会说这有点令人担忧，因为这让我开始思考，哦，这不是大屠杀在最初阶段是如何开始的吗？所以我真的很担心这一点。当监控可以以非常广泛的方式进行时，特别是现在除了文本之外还有语音，

很难弄清楚你应该如何拥有任何隐私。是的。是的，我认为就我个人而言，看到这种情况不断出现并被提醒人们正在付出多少努力来构建这些系统，我感到非常担忧。

我认为这就是为什么我们不应该过于担心遥远的人工智能、通用人工智能接管以及天网等等的原因，因为已经有许多事情值得担忧，我们现在就应该努力避免许多人工智能技术在今天带来的负面影响。而这篇文章只是提供了更多关于这方面的细节。

这有多真实，它已经发生了，我们应该意识到这一点，而且至少应该意识到这一点，如果不是利用我们作为研究人员的地位，作为对人工智能有一定了解的人，让人们意识到这是一个担忧，这是一个我们应该努力避免的事情，至少在美国是这样。

是的，我认为这篇文章还谈到科大讯飞与麻省理工学院的CSAIL（麻省理工学院的人工智能实验室）达成了协议，这一点尤其令人担忧。基本上，科大讯飞向他们提供了未公开的资金，以换取麻省理工学院品牌的声望。我真的很认为，这些机构应该考虑何时应该与这些机构合作

实体，这些公司，并真正考虑其伦理问题。当然，这是在我知道麻省理工学院与杰弗里·爱泼斯坦发生过重大事件之后阅读这篇文章的。所以我开始质疑他们是如何筛选和决定谁被允许向麻省理工学院捐款的。

没错。是的。因此，随着工业界和学术界越来越接近，随着政府对人工智能的投资越来越多，我们研究人员可能必须越来越意识到这些伦理界限。而且，你知道，有时你可能不得不拒绝资金和资助，并坚持原则。毫无疑问，部分原因是监控，部分原因是军事。这很可能会持续增长。

让我们回到学术研究。有一篇文章发表了题为“研究摘要：机器学习学术研究中令人不安的趋势”。我们过去报道过的一些文章已经考察了机器学习学术研究中的问题。例如，Yasho Avengeo讨论了我们会议出版系统的问题。这篇论文的作者说，

“提请注意一些常见问题，由于经验丰富的审稿人队伍越来越少，他们承担着越来越多的论文评审任务，可能需要默认使用清单式模式来评估论文，这些问题在该领域变得更加严重。”作者确定了四个主要关注领域。第一个是未能区分推测和解释。

第二，未能确定经验性收益的来源。所以你的模型可能表现良好，但你不知道它为什么表现良好。第三，使用数学来混淆或夸大而不是澄清。我肯定见过这种情况。你只需要加一个数学方程式来使其看起来更复杂。

第四，滥用语言，使用具有其他含义的术语，或用现有的技术定义来超载术语。

因此，从这些方面来看，作者确实提供了一些改进方法的建议，建议我们应该考虑为什么我们会得到某些结果，作为这些论文的作者，以及它们的含义，而不是仅仅关注人们如何获得这些结果。

然后对于审稿人来说，指导原则是要理清术语、不必要的数学使用、甚至拟人化，

用来夸大结果，这基本上是将人的属性应用于许多这些模型，而是批判性地询问作者得出结果的原因，评估论证的强度和凝聚力，而不是仅仅查看在产生更好的最先进结果方面竞争的经验性发现。绝对正确，是的。是的。

我认为这确实很有挑战性，因为涌入的论文数量呈指数级增长。当然，正如我所说，审稿人队伍被经验不足的人稀释了。此外，审稿人还承担着大量的论文评审任务。

是的，我认为NeurIPS本身今年确实制定了一些新的政策来帮助减轻评审负担。其中一些是桌面拒稿，有些论文甚至没有进行评审。他们只是浏览了一下。如果有一些强烈的信号表明它们不会被接受，它们就会在流程的早期被淘汰，诸如此类的事情，这在宣布时也引发了很多讨论。

我想知道你是否记得这些变化，Sharon，鉴于这些问题，你是否认为这些是一个好主意。是的，我认为这绝对是一个好主意。我认为如何过滤和筛选论文，哪些论文应该进行桌面拒稿，这可能是一项非常具有挑战性的任务，因为通常来说，最有影响力的研究是

那些最具争议性的研究，它们实际上可能在被接受之前就被首先拒绝，因为它具有开创性，对吧？所以这是优秀研究的本质。所以我认为这肯定具有挑战性，尽管我审阅了很多论文，但肯定有一些应该被桌面拒稿，因为它们只是不完整。是的。是的。

是的，我在大多数评审工作中都很幸运，因为我评审的大多数论文都不是完全糟糕的论文。尽管我见过很多平庸的作品，并没有特别令人兴奋，但你知道，还是有用的。

是的，也许对于学术界以外的人来说，这描绘了该领域现状的一个合理的画面，我们经历了这个巨大的增长阶段，现在有大量的作品涌现出来。很多都是非常渐进的。坦白说，就研究而言，很多都是相当粗糙的。因此，这篇论文认为我们已经有了这些趋势，我们应该努力解决这些问题。我想积极的一面是，

神经预览系统中的变化，例如添加公共影响陈述等事情，确实表明我们作为一个领域正在努力应对我们的增长和所有这些趋势，并希望找到如何在规模和实际优秀学术研究之间取得平衡。

最后，感谢大家收听本周Skynet Today的Let's Talk AI播客。你可以在skynettoday.com上找到我们今天讨论的文章，并订阅我们的每周新闻通讯，其中包含类似的文章。无论你在哪里收听播客，请订阅我们，如果你喜欢这个节目，请不要忘记给我们评分。请务必收听下周的节目。