We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode The Path to Facial Recognition Reform and Regulation

The Path to Facial Recognition Reform and Regulation

2020/6/19
logo of podcast Last Week in AI

Last Week in AI

AI Deep Dive AI Chapters Transcript
People
A
Andrey Kurenkov
S
Sharon Zhou
Topics
Andrey Kurenkov:本周人工智能领域的主要新闻是IBM、微软和亚马逊停止向警方出售面部识别技术。近几个月来,执法部门使用面部识别技术引发了诸多担忧,并且越来越多的公司向警方及其他机构提供此类服务加剧了这一问题。2018年,近70个民权和研究组织致信杰夫·贝佐斯,要求亚马逊停止向政府提供面部识别技术,并向这些公司展示了2018年“性别阴影”项目的结果,该项目研究了人工智能在性别分类任务中的偏差。IBM停止开发面部识别技术;微软承诺在制定法规前停止;亚马逊对其面部识别系统实施为期一年的暂停使用。这些举措是对此前担忧的不同程度的回应。面部识别系统存在严重的偏差,例如在性别分类任务中,IBM系统对深肤色女性的分类准确率比对浅肤色男性的分类准确率低34.4%。即使准确的面部识别系统也可能被危险地部署,因此出现了呼吁禁止和规范面部识别技术的强烈声音,而不是仅仅在最终使用前改进它。需要研究人员和普通民众向这些公司施压,仔细审查这些技术,才能促成这些决定和行动。在“性别阴影”项目发布后,IBM率先联系研究人员,试图解决其系统中的偏差问题;而亚马逊则对该项目的结果反应冷淡。应该继续保持怀疑态度,并支持对此进行调查的活动家。亚马逊可能会等到抗议活动平息后,再恢复其向警方出售面部识别技术的做法,因此活动家和研究人员推动立法至关重要。作为人工智能研究人员,应该支持这些运动,例如签署请愿书或关注可能的立法,推动更多法规的通过。即使暂停或限制面部识别技术,也需要法规来确保其有效使用,因为这项技术无法完全消失。即使大型公司暂停使用面部识别技术,其他公司仍然可以提供此类服务,并且这项技术可能通过许可协议继续被执法部门使用。《真实身份法案》要求收集生物识别数据,包括面部照片,这使得面部识别技术的立法变得复杂。 Sharon Zhou:需要研究人员和普通民众向这些公司施压,仔细审查这些技术,才能促成这些决定和行动。YOLO的作者PJ Reddy退出计算机视觉研究,因为他看到他的系统被用于不良用途,这引发了对人工智能研究人员责任的思考。在安全与隐私之间存在权衡,需要在允许面部识别技术用于安全目的的同时,限制政府对其的使用。应该立法禁止公司允许任何人下载应用程序来识别他人。面部识别技术的监管类似于过去优生学或基因编辑的监管,需要谨慎处理,以避免负面后果。随着技术的不断发展,需要及时应对其使用方式和应用,特别是考虑到Clearview AI等公司已经向大量个人和组织出售技术。算法正义联盟对IBM等公司停止向警方出售面部识别技术的回应,呼吁关注算法正义和种族正义。研究表明,面部识别系统对深肤色女性的识别效果最差,突出了交叉性在人工智能中的重要性。算法正义联盟呼吁科技公司为种族正义事业捐款,并签署“安全面孔承诺”,以减少该技术的滥用。

Deep Dive

Chapters
The episode discusses the recent decisions by IBM, Microsoft, and Amazon to halt the sale of facial recognition technology to police, highlighting the role of civil rights and research organizations in pressuring these companies.

Shownotes Transcript

斯坦福人工智能实验室的博士生Andrey Kurenkov和Sharon Zhou讨论了本周人工智能的主要新闻。 查看此处讨论的所有新闻以及更多新闻,请访问www.skynettoday.com 主题:深思熟虑 Kevin MacLeod (incompetech.com) 根据知识共享许可协议授权:署名 3.0 许可证 </context> <raw_text>0 您好,欢迎收听Skynet Today的“让我们谈谈AI”播客,在这里您可以听到AI研究人员对AI实际情况以及哪些只是耸人听闻的标题的看法。我是Andrey Karenkov,斯坦福视觉与学习实验室三年级的博士生。我的研究主要集中在机器人操作的学习算法上,和我一起的是我的联合主持人……

我是Sharon,机器学习小组的三年级博士生,与Andrew Ng一起工作。我的研究方向是生成模型、改进神经网络的泛化能力以及将机器学习应用于应对气候危机。

本周我们将继续上周关于面部识别的主题的讨论。上周IBM、微软和亚马逊都宣布他们不会向警方出售面部识别技术,这是一个巨大的新闻周。

从那以后,实际上并没有太多偏离这一主题的新闻。因此,我们将讨论一些与之相关的其他新闻,首先是《技术评论》报道的为阻止亚马逊向警方出售面部识别技术而进行的为期两年的斗争。

作为这篇文章的总结,首先,在过去的几个月里,许多新闻报道了执法部门对面部识别的使用。这绝对令人担忧,并且由于越来越多的公司向警方以及其他机构提供这些服务而加剧了这种情况。

文章称,2018年,“近70个民权和研究组织致信杰夫·贝佐斯,要求亚马逊停止向政府提供面部识别技术”。这些公司还获得了2018年名为“性别阴影”的项目的成果,该项目研究了性别分类任务中的人工智能偏差。

两年后,IBM、微软和亚马逊的最新举措终于对这些担忧做出了不同程度的回应。例如,IBM已经停止开发面部识别技术。微软承诺在制定法规之前停止。亚马逊对其面部识别系统(即其面部识别系统)的警方使用实施了一年的暂停。

面部识别系统存在相当严重的偏差。在性别分类任务中,IBM系统对深肤色女性的分类效果比对浅肤色男性的分类效果差34.4%。

但即使是准确的面部识别系统也可能被危险地部署。因此,我们看到了大量关于禁止和同时监管面部识别技术(而不是仅仅在最终使用之前改进它)的强烈论点。对于像亚马逊这样的公司是否会坚持他们的行为(例如暂停)存在多种乐观情绪。因此,人们非常支持监管,而且是快速监管。

没错。我认为这篇文章很好地总结了通往这些事件的道路。它表明,这确实需要研究人员和普通人向这些公司施压,并审查这些技术,以便随着时间的推移,做出这些决定,并实现这些转变。

文章指出的一件有趣的事情是,在此之前发生过各种行动。例如,在“性别阴影”项目发表后,IBM是最早联系研究人员以了解如何解决其偏差问题的公司之一。

另一方面,当“性别阴影”项目包含其产品并显示其存在非常严重的偏差时,亚马逊似乎并没有与活动家合作,并且对结论并不支持。因此,保持怀疑态度非常重要

并支持正在调查此事的人权活动家。美国公民自由联盟的一名成员实际上说,我悲观的一面认为亚马逊会等到抗议活动平息,等到全国对话转向其他事情,然后才会恢复其先前的立场,即使用面部识别技术并将其出售给警方。

因此,活动家和研究人员推动未来的监管可能比以往任何时候都重要。是的,莎伦,我不知道你怎么样,但我一直在学习和听到这些新闻等等,特别是作为一名人工智能研究人员,我越来越觉得。

你知道的,如果我能支持这些运动,即使只是通过签署请愿书或关注可能的立法,我认为这是一个我将密切关注并可能试图参与其中的话题,是的,我会努力推动通过更多法规,因为是时候了。是的。

是的,我绝对认为这极其重要。这让我想起了YOLO的作者PJ Reddy,他退出了计算机视觉研究,因为他看到他的系统被用于不正当用途,而他的系统正在为其中一些技术提供动力。我可以理解他为什么选择这条路。

对。所以很高兴看到还有其他研究人员也是活动家,并且一直在向这些公司施压。我认为,希望他们的行动能够导致这些公司做出重大转变,这将成为更广泛社区的灵感来源。关于这个话题,我们可以转向我们的下一篇文章,这篇文章实际上是由其中一位活动家撰写的。所以这是在Medium上

由John Boulamwini撰写,更广泛地说,是由算法正义联盟的成员撰写的。标题是《IBM领先,更多公司应该效仿。种族正义需要算法正义》。这大体上是算法正义联盟对上周事件的回应,并评论了

他们对这些公告的看法以及未来,我们应该如何看待事情的发展。

在这些研究中审查的系统(包括IBM、微软和亚马逊的系统)确实被发现普遍在较暗肤色面孔上的表现比在较浅肤色面孔上差,在女性面孔上的表现比在男性面孔上差,在较暗肤色女性面孔上的表现最差。这突出了这种交叉性经常被忽视但却至关重要的影响。

是的,这是文章中指出的一个要点。除此之外,是的,正如标题所示,呼吁……

更多地支持种族正义以及算法正义。它指出,为了加强公众对“黑人的命也是命”运动的了解,公司还需要投入资源来实现这一目标。它更具体地呼吁从人工智能中获益匪浅的技术公司,首先是IBM,每家公司至少承诺投入100万美元用于促进科技行业的种族正义。

具体来说,他们有一个“安全面孔”承诺,他们呼吁这些公司成为该承诺的签署者。这是他们开发的一种机制,用于对减轻这项技术滥用行为做出实质性公开承诺。

是的,我认为这是一篇很好的文章。它也很短。所以如果你有时间,我建议你看看。再说一次,标题是《IBM领先,更多公司应该效仿》。是的,正如标题所说,这实际上是关于下一步以及继续走算法正义和种族正义的道路……

为这些大型公司提供一些非常具体的步骤,以继续采取行动,而不仅仅是发表一些漂亮的声明,然后不做更多的事情。说到这里,我们的最后一篇文章名为《亚马逊无法让面部识别消失》。

总的来说,这篇文章的意思是,即使我们可能暂停使用面部识别技术或以某种方式限制其使用,我们可能仍然需要监管以确保其有效使用,因为我们无法完全使其消失。这项技术已经存在。

因此,文章指出,即使是三家大公司的最佳努力也无法阻止技术的传播或滥用。许可协议可能允许警察部门使用这项技术的部分内容,即使他们无法使用特定的算法。还有很多

其他供应商,例如我们之前讨论过的Clearview AI以及Palantir,他们现在可以填补这三家大公司至少一年后留下的空白。

有趣的是,这篇文章还指出,从法律角度来看,早在2005年,国会就通过了《真实身份法案》,以解决“9·11”袭击事件暴露的一个问题,即大多数参与袭击的恐怖分子都获得了假身份证。因此,该立法实际上要求官员验证个人只拥有一张许可证,他们

需要收集生物识别数据并在不同的州和联邦机构之间共享。生物识别数据可能包括面部照片。因此,从法律上讲,这有点棘手,《真实身份法案》尤其使得立法面部识别变得困难,正如这篇文章所论述的那样。所以我认为……

我的结论是,这有点复杂,希望在这些公司发布公告后,我们可以开始关注政治家们可以为之奋斗的具体立法和行动。对。我同意。我认为安全与隐私之间总是存在这种微妙的界限或权衡,并且假设,比如说,一个仁慈的政府,

一个纯粹仁慈的政府,只将面部识别技术用于善事,那么在这种情况下,这很好。它可以帮助提高安全性,它可以做所有这些伟大的事情,但问题是我们并不完美。我们是人,我们负责这项技术,这项技术是用人类生成的数据训练的,它也由人类使用。所以,嗯,

是的,这是一个关于什么是合适的微妙界限。绝对的。它也让我想起了我们之前听到的一些关于Cleanly AI共享技术的故事,这些技术并非来自政府,而是来自对该公司有利的公司和个人。我认为在这种情况下,我们可以非常明确地说明

应该有立法禁止公司仅仅允许或制作任何人都可以下载的应用程序,然后只需一张面部照片就能识别其他人。这至少是一个良好的开端。

然后,我们将面临一个棘手但必要的问题,即如何在仍然允许在需要安全性的情况下使用面部识别技术的同时,限制政府对面部识别技术的使用。我绝对认为这

类似于或至少与过去优生学问题或至少基因编辑及其对社会的影响以及对

遗传学的监管,它们对于我们作为一个社会如何前进以做一些好事非常重要。是的,它确实会导致很多额外的可能批准层等等限制。但我认为

总的来说,这是值得的,这样我们就不会完全退化成我们真正害怕的东西。是的,我认为随着任何技术的进步,我们都需要考虑它如何被使用及其应用是不可避免的。对于人工智能来说,鉴于像ClearUI这样的公司已经向大量人群和组织出售技术,现在可能已经过了这么做的时间了。

因此,随着我们对情况越来越清晰,并对其有了更深入的了解,希望在未来几年,我们最终将开始稳定并了解如何在仍然获得技术益处的同时控制局面。同意。

说到这里,非常感谢您收听本周Skynet Today的“让我们谈谈AI”播客。您可以在skynettoday.com上找到我们今天讨论的文章,并订阅我们每周的类似新闻通讯。无论您在哪里收听播客,请订阅我们,如果您喜欢这个节目,请不要忘记给我们评分。请务必收听下周的节目。