AI Setting Grades, ICE Pays Clearview, and Much More
30:10 Share

您好，欢迎收听SkyNet Today的Let's Talk AI播客。我们将从AI研究人员那里了解AI的实际情况，以及哪些只是耸人听闻的标题。我是Andrey Kronikov，斯坦福视觉与学习实验室三年级的博士生，我的研究方向是机器人操作的学习算法。和我一起主持的是我的共同主持人……

我是Sharon，机器学习小组三年级的博士生，与吴恩达教授一起工作。我的研究方向是生成模型、改进神经网络的泛化能力以及将机器学习应用于应对气候危机。和往常一样，本周我们将讨论上周的重大AI新闻。但在那之前，我们想请您，我们的听众，告诉我们您收听节目的原因。

我们已经播出了这个播客一段时间了，似乎我们有一些固定的听众。因此，我们在bit.ly/LTA survey创建了一个调查问卷。

您可以在其中填写一些关于您喜欢节目的哪些方面、不喜欢哪些方面以及我们可能需要更改的内容等简单问题。我们非常想知道您，我们的听众，对节目的看法以及您收听节目的原因。因此，请访问bit.ly/LTA survey给我们一些快速的反馈。

话虽如此，让我们开始讨论本周的新闻吧。本周的新闻很多，所以我们会很快地进行讨论。

首先是这篇文章，ICE刚刚与人脸识别公司Clearview AI签署了一份合同，这在The Verge上有报道。标题几乎就是文章的全部内容。文章是关于ICE（移民执法机构）如何与Clearview签署了一份合同，Clearview是一家销售其使用人脸识别技术检测给定照片中是谁的能力的公司。

这份合同是用于任务支持的。购买订单价值224,000美元的Clearview许可证和ICE任务支持票证。

达拉斯是那里的合同办公室。所以，对于ICE来说，这是一个相当大的理论技术订单，大概是为了在美国执行移民法。好吧，这有点令人担忧。

我们之前已经报道过许多关于Clearview AI的文章。在5月份，他们表示将停止向私营公司销售其应用程序，并将避免与非政府客户进行交易，我想他们仍在遵守与ICE的交易。但他们之前也与NBA、美国银行、梅西百货、沃尔玛等以及私人个人合作过。

然而，ICE在其对美国与墨西哥南部边境人员的待遇方面一直备受争议，其中包括将移民儿童与家人分开以及拘留难民。

我想联邦政府能够使用这项技术和人脸识别是有道理的。但另一方面，许多人非常不喜欢ICE所做的事情，并且强烈反对它。我认为这对许多人来说可能是一个例子，即人脸识别和AI广泛用于产生负面结果。所以这绝对值得关注，并且

你知道，继续关注Cleaver在做什么以及人脸识别技术的发展方向。关于有缺陷的AI，我们的下一篇文章来自华尔街日报。种族检测软件的悄然增长引发了对偏见的担忧。

因此，露华浓等公司正在使用来自迈阿密凯罗斯等公司的种族检测软件来找出不同种族或不同国家的女性正在使用什么口红。现在有十多家公司在市场上提供种族检测软件。这对照片处理很有用。

营销人员以及看似无害的应用程序，例如为您找到合适的口红颜色。但一些研究人员和供应商表示，这项技术不应该存在，因为它会产生一些、一些不良后果和副作用。

当然，政府禁止使用种族来决定治疗哪些病人以及雇用哪些求职者。但是，种族检测软件可能会导致公司根据一个人的种族做出决定，无论是故意还是无意。但这很难从软件中检测出来并分离出来，因为它隐藏在这些黑盒应用程序中。

是的，我认为这非常有趣。正如这篇文章指出的那样，

我发现整个面部分析的事情有点被忽视了。我们谈论了很多关于人脸识别以及它已被证明是有缺陷的等等。但就我个人而言，我不知道已经有商业解决方案可以对人们属于哪个种族进行分类，而且实际上公司正在软件中使用它。Sharon，你是否知道这些东西的存在？

没有。而且我认为，我认为这里的益处并不完全超过风险。我确实理解其益处，因为作为一名亚裔美国女性，有时很难找到合适的唇膏颜色和化妆颜色，因为西方世界市场上的许多产品都不是为我量身定制的。但是，是的，

但我认为这种益处根本无法超过风险。而且，市场上有很多这种软件，它可能会被忽视，并以多种方式渗透到各种决策中，这有点令人担忧，或者非常令人担忧。是的。

是的，完全正确。我认为，我的意思是，可能有办法让这成为一种改进个性化并真正造福人们的方式，我想，以你的情况为例。

但这篇文章确实指出，例如，种族检测软件带来了令人不安的可能性，即机构可能会故意或无意地根据一个人的种族背景做出决定，而这些决定更难以检测，因为它们发生在复杂或不透明的算法中。例如，对于混血人来说，可能会出现各种问题，

如果种族识别被用来将边缘化人群推向特定产品或提供歧视性定价，那么所有这些似乎都有些问题。所以也许有办法两全其美，你可以选择加入，并说，是的，请使用这个。

我不介意使用我的种族来帮助定制产品建议。这可能是一种方法，但在我看来，而且对你来说也听起来像是，如果这是在后台进行的，没有任何解释，可能以一种有缺陷的方式进行，听起来有点问题。

对。继续出现问题的技术趋势，我们的下一篇文章来自《连线》英国版。警方构建了一个预测暴力犯罪的AI，它严重有缺陷。因此，英国警方承认，用于检测枪支和刀具暴力的旗舰AI系统存在严重缺陷，这使其无法使用。

因此，名为“最严重暴力”（MSV）的预测系统是国家分析解决方案项目的一部分，该项目是内政部的一部分，并获得了超过1000万欧元的资金，用于在英格兰和威尔士各地创建机器学习系统。

除了“发现了训练数据集定义中的编码错误，这使得MSV的当前问题陈述不可行”之外，没有提供关于该问题的任何数据。我认为我们在研究中可能从未遇到过这种情况。我认为这听起来有点相关。但我认为这是一篇很有趣的文章，因为……

这是关于基本上没有发生的事情的报道。所以他们正在开发这个预测系统。它从未被部署。我们只是发现它正在开发中，而且是有缺陷的，并且引发了一些讨论和报道。

来说明它可能走向何方。人们对它可能偏向少数群体以及即使它有效，它是否对警务有用提出了质疑。

这个系统真正有趣的是，他们实际上包括了一个伦理委员会，伦理委员会实际上能够提出一些紧迫的问题并从他们那里得到答案。这在警务部门AI系统的开发中，甚至在更广泛的AI系统开发中，都是闻所未闻的。

所以我认为，在这种情况下，这是一个巨大的进步。围绕这一点的透明度以及伦理人员的参与非常重要。

是的，我同意。文章还指出，目前的思路是，这种预测暴力工具可以用来增强警官使用的现有决策过程，而不是自行做出任何决定或更大的调整。所以看起来，正如你所说，至少在这种情况下，这是相当谨慎地进行的，并且

而且，正如我们从结果中所知，他们至少足够小心地发现了这个缺陷，并意识到准确性非常低，而且这是不可用的。但他们也在考虑如何在这些FX配置中使用它。所以也许实际上是一个很好的例子，说明如何

这种相当敏感和伦理上棘手的AI可以在未来得到发展。我会说，即使作为决策增强器，AI也是

通常情况下，即使它是在增强决策，人们也会开始过度依赖它们作为他们的决策者，因为这更容易。这就像一条懒惰的道路。这并不是说这个人真的懒惰。只是你已经有人给了你答案。如果这个人或系统大部分时间都很懒惰，

对，或者只有在必须非常、非常专注和谨慎的情况下才会出错，那么你可能不会过多地质疑它。而且更容易接受它。所以我认为，我认为，关于如何使用AI、构建AI系统和设计AI系统以

更好地让人们不要过度依赖它们，并没有那么多讨论。我不知道这应该如何设计，但我非常好奇地想看看这会走向何方。如果有一种方法可以更好地增强人们的能力，而AI系统更

是的，将减少依赖。这是一个很好的观点。是的。但即使AI系统本身可能没有偏见，而且它可能旨在以某种好的方式使用，但即使如此，你也需要谨慎小心它在实践中最终是如何使用的。

实际上，我们可以继续我们的下一篇文章，这与之有些相关。它的标题是《关于印第安纳假释犯的有问题的研究试图用AI预测累犯》。这来自VentureBeat。所以非常相似，这里有一些预测性的警务活动，只是这里指的是目前在狱中的人是否会再次成为累犯并再次入狱。

这由司法部的一笔拨款资助，并由佛罗里达州立大学、阿拉巴马大学亨茨维尔分校以及蒂珀卡努县警长办公室合作完成。

普渡大学理工学院的研究人员还计划使用AI来算法识别假释犯中的累犯。所以这是不同部门和团体之间进行的大规模合作，试图将AI应用于预测累犯。这里的目标并非完全不好。它是为了识别干预机会，以帮助释放者重新融入社会。

所以其想法是用来避免人们出现不良后果。但至少这篇文章指出了一点，而这在AI中经常是正确的，那就是研究人员可能没有充分解决AI延续社会中现有偏见的可能性，基本上

捕捉所有现有的偏见和统计数据，即某些少数群体更有可能成为累犯。然后，即使这是准确的，如果在实践中使用SAI并且没有得到足够的质疑，并且，你知道，过度依赖，它肯定是有问题的。我在这篇文章中发现非常有趣的一点是

在大型数据集中，历史偏见会加剧。所以基本上，你使用的历史数据越多，这些历史数据中可能包含的偏见就越多，呃，在这些历史数据中。这绝对让我想到，哇，我们使用什么数据？你知道吗？嗯，

尤其是在趋势随时间变化或类似情况时。所以这篇文章确实让我思考了一点。是的，这是一个有趣的观点，因为这篇文章指出，研究人员的计划实际上是招募250名假释犯，因为他们被释放了。

然后收集数据，实际上使用可以收集实时信息（如压力生物标志物和心率）的手镯，而智能手机还会记录从位置到照片的大量个人数据。所以目前还不清楚他们是否主要想使用历史数据并用这些额外收集的数据对其进行增强，但无论哪种方式，听起来他们确实打算

以数据驱动的方式应用和执行此操作，这在今天是很常见的。文章还指出，这一点绝对值得注意，其他不幸的实验试图预测诸如GPA、毅力、驱逐、工作培训裁员等方面的情况，

和物质困难揭示了AI算法的偏见性质。正如Sharon指出的那样，即使是在大型数据集中，历史偏见也会加剧。

所以是的，有一整类事情与生活结果和人性等有关，似乎我们可以尝试应用AI，但很难根除任何有问题的偏见。正如你所说，即使目的是让AI只提供帮助，也需要非常小心地使用它，以免让事情变得更糟。

说到学校的成绩，我们来自哈佛商业评论的下一篇文章的标题是：《当AI用于设定成绩时会发生什么？》所以AI被用来预测A-level或GCSE学生的成绩，这与之前的IB考试非常相似。

这是根据之前的表现预测的，所以是学校的表现和老师的评估。当然，这个AI也存在一些问题，这些问题根植于现有的不平等现象。是的。

是的，这是一个大新闻。我看到它在推特上引起了很大的反响。很多人受到了很大的影响，因为这些事情会，你知道，决定你是否能进入英国的一所好大学，我相信。所以这对人们的生活来说是一件大事。至少在某种程度上，这个算法现在正在设定成绩，而不是能够参加考试，因为COVID使得无法参加这次A-level考试。

我认为，其想法是创建一个正常的统计分布。所以有些人必须不及格，有些人必须及格。当然，如果你是一个因为你的历史以往表现或其他原因而不及格的人，

感觉不公平而且非常成问题。当然，我会觉得这个算法只是说我会不及格，而我从未参加过考试，这不好。Sharon，你有什么看法？我的意思是，我真的很担心，最贫困地区的学生被降分最多。

因为他们可能一开始就没有学习资源，或者这只是加剧了数据中的偏见。因此，当然，结果实际上将个别学生的命运与预先存在的成果不平等联系起来。因此加剧和强化了偏见

基本上是薪酬差距，以及……呃……社会经济地位的差距。所以这真的很令人担忧。虽然我很高兴我不必参加考试，但我还是会很生气，

无论他们会给我什么分数。除非我得了好成绩。所以是的，我的意思是，很明显人们会对此感到生气。这有点荒谬。你不能指望人们会……我实际上很惊讶他们认为人们会接受这个。是的。是的，我同意。我认为他们以这种方式继续进行令人惊讶。而且……

不一定预料到他们会因此而受到所有反对，所有愤怒，我认为这是正确的。我们这里还没有文章，但是……

我认为这是一个快速发展的局面。所以他们肯定目前正在审查这项计划，而且似乎他们很可能会很快改变结果。因为同样，如果你是一个算法说会得到低分的学生，那么以这种方式做似乎不公平，对吧？如果没有追索权，如果没有办法质疑算法，我认为人们不会接受。

对。也很难说，如果你一直做得很好，实际上你得到了这个不用参加考试的免费通行证。我甚至不确定这是否公平。那么他们为什么不能进行在线考试呢？我想在线考试更容易作弊等等。是的。我想这是基础设施问题，他们认为这是最简单的解决方法，但是是的，

正如你所说，你也可以清楚地看到为什么人们会对此有异议。鉴于其可预测性，人们根本不会同意，这令人惊讶。

说到这里，也许我们可以谈论一个稍微典型一点的话题。我们看到了一种我们经常谈论的AI，那就是deepfakes。本周有很多关于这方面的报道。所以我们将快速浏览它们，而不会深入探讨。

第一个故事是“亲华宣传活动使用了使用AI生成的图像制作的虚假粉丝”，来自PCMag.com。标题几乎概括了全部内容。一场名为“Spamoflage Dragon”的亲华宣传活动自6月以来一直在Facebook、Twitter和YouTube上发布批评特朗普政府的英文视频。并且发现

这些视频使用了AI生成的图片和假名，以便无法找到它们。所以这个……

案例有一些很容易分辨的宣传。这些视频很笨拙。它们制作得不是很好，但这仍然是使用GAN和假图像以及假装未来的另一个例子，在这个未来中，这种情况非常普遍，我们经常看到这种情况发生。

Andre和我录制之前谈到了这一点，但从本质上讲，如果你点击链接，你会发现有趣的是

他们似乎使用的GAN只生成看起来不像是亚洲人的图像。他们为发布笨拙的中文短语的虚假个人资料的头像使用了俄罗斯名字，我想。所以这看起来很……

执行得很差，但我认为这很大程度上是说，嘿，这是民主化的，所以任何人都可以在没有任何质量检查或思考的情况下发布它。如果这个人多花一点力气，这肯定可以改进。这确实令人担忧。确实如此。说到令人担忧，实际上我们可以继续我们的下一篇文章。

它可以阻止deepfake新闻，使用一种可以判断面部是否不匹配的AI算法。我想好消息是，正如你所知，Sharon，人们正在研究各种方法，我们可以通过这些方法来减轻这个问题，并实际检测到它们是否被正确使用。

检测GAN和deepfakes的使用情况等等，并使其更容易打击。是的，文章强调了

从本质上讲，虽然deepfakes会损害声誉并传播错误信息，但也同时开发了相反的方法，基本上是试图采取防御措施而不是进攻措施。它还可以用来预防这些所谓的“信息疫情”，这是

在COVID-19大流行期间以及deepfakes持续流行期间的额外副作用。我们的下一篇文章和技术评论的标题是《一个大学生，你能移动你的光标吗？一个大学生伪造的AI生成的博客愚弄了数万人。他是如何做到的》。

所以，加州大学伯克利分校的学生利亚姆·普尔（Liam Poor）请一位有权访问GPT-3模型的博士生朋友运行一个脚本，该脚本提供了GPT-3，这是一个最近的自然语言处理模型，能够生成非常逼真的文本。

所以他给了这位朋友一个带有博客文章标题和引言的脚本。然后，给定该输入的GPD3能够输出几个完整的博客文章版本。利亚姆·普尔然后复制粘贴了这些输出，几乎没有进行任何编辑。这篇文章实际上登上了Hacker News的榜首。

我不知道你呢，Andre。我认为我也在那里看到了它。我认为我看到了他发布了一篇揭露这件事的文章时的讨论。并且有很多关于这种情况的讨论。是的。对。我认为这使它更逼真了。有趣的是，我认为，呃，

是的，绝对如此。你可以从评论中看出谁读了整篇博客文章，谁只读了标题，以及人们根据评论在文章中读到了多远。但总的来说，这个实验表明，人们可以使用GPD-3和类似工具生成大量点击诱饵内容，这在错误信息时代可能非常危险。是的。

是的，我认为做了这件事的利亚姆·普尔实际上提到，他关注的是那些容易获得大量点击的话题，比如生产力之类的话题，并使用了这些话题，因为你可以写出相当，我不知道，模棱两可的建议等等。相当简短，不是超级深入的帖子，并获得了很多关注。所以他自己实际上说

他感到不安，也许人们可以使用它来生成大量点击诱饵内容，而不一定创建任何超级deepfake文本，不为人们假装，但如果互联网充满了这种点击诱饵内容，它将使它更加

充满了无用的垃圾，我想我们不想要。完全正确。这让我们谈到了我们最后一篇文章的防御方面，标题是《Photoshop将帮助识别已被篡改的图像》。

这是一篇《连线》杂志的文章。所以Photoshop经常用于数字伪造，通常是使用图形的deepfakes，

但制作Photoshop并发布Photoshop的Adobe公司打算添加技术来标记这些图像，基本上是用元数据或某种水印来帮助识别这些deepfakes或被篡改的图像。但是这种真实性标记将需要……

显然，其他供应商和其他平台也需要支持该标准。这是一种基本上识别某些内容来自Photoshop的方法。当然，该系统只能应用于一小部分在线内容。许多deepfakes并非来自Photoshop，但也许这可以帮助打击它。我很高兴，我实际上非常高兴看到Adobe这样做，即使它不会涵盖所有内容。

你有什么想法，Andre？是的，绝对如此。我认为，正如你指出的那样，这需要许多不同的参与者同意一个标准。这篇文章也提到了这一点。我们采用的这种方法，这种内容真实性倡议，

似乎是一个很好的推动，像Adobe这样的大公司推动它，似乎他们实际上会成功地做到这一点。我还发现有趣的是，有一篇文章提到，内容真实性倡议在新闻业务中的第一次现场测试很可能来自《纽约时报》，因为该报的研发人员马克·拉维尔（Mark Lavelle）

想已经测试过这个了。所以我认为，是的，这长期以来一直是deepfakes的建议之一。你添加更多媒体数据，你更容易追踪媒体，并实际上说它没有被篡改。并且它可能随着Adobe的推动而实现，我期待听到更多信息，并希望这实际上能够实现，并防止deepfakes接管我们的Twitter信息流。

说到这里，非常感谢您收听本周SkyNet Today的Let's Talk AI播客。您可以在skynetoday.com上找到我们今天讨论的文章，并订阅我们的每周新闻通讯，其中包含类似的文章。无论您在哪里收听播客，请订阅我们，如果您喜欢该节目，请不要忘记给我们评分。并务必收听下周的节目。