We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode More Unethical AI Research, More Google Drama, More Clearview AI

More Unethical AI Research, More Google Drama, More Clearview AI

2021/2/26
logo of podcast Last Week in AI

Last Week in AI

AI Deep Dive AI Chapters Transcript
People
A
Andrey Krenkov
D
Daniel Bashir
S
Sharon
国际仲裁专家,擅长复杂争端解决。
Topics
Daniel Bashir: 本周新闻综述涵盖了AI在医疗保健和教育领域的积极应用,以及Clearview AI面部识别技术引发的伦理担忧。新型AI国际象棋程序Maya能够预测人类的走法,包括错误,这有助于AI更好地理解人类行为,并应用于医疗保健等领域。FindSolution AI开发的软件Four Little Trees通过测量学生面部肌肉点来识别情绪,从而帮助老师更好地了解学生学习情况,并进行个性化教学。然而,Clearview AI的最新专利申请显示其面部识别技术可能被用于政府和社会各个领域,包括约会和职业社交,并可能带来严重的隐私风险。许多AI研究项目,例如预测犯罪的可能性,存在伦理风险,需要对AI研究的伦理影响进行更深入的探讨。 Sharon: 学术界论文署名存在问题,一些人为了提高论文被接受的概率,会将知名学者的名字添加到论文中。Google处理Margaret Mitchell和Timnit Gebru离职事件的方式不够透明,引发了负面关注。 Andrey Krenkov: AI研究领域的快速发展导致论文评审机制难以跟上,出现了一些学术不端行为。Clearview AI的专利申请显示其面部识别技术可能被用于约会、识别吸毒者和无家可归者等用途,引发了对隐私和伦理问题的担忧。Google重组AI团队领导层,Margaret Mitchell和Timnit Gebru两位负责道德AI的领导者相继离职,引发了对Google处理AI伦理问题的担忧。

Deep Dive

Chapters
AI chess program Maya predicts human moves, including mistakes, aiming to develop AI that understands human fallibility for better interaction, potentially in healthcare.

Shownotes Transcript

你好,欢迎收听Skynet Today的《让我们谈谈AI》播客,在这里你可以听到AI研究人员关于AI实际情况和那些只是点击诱饵标题的讨论。这是我们最新的《上周AI动态》节目,你将快速了解上周的AI新闻,以及两位AI研究人员对这些新闻的讨论。首先,我们将把时间交给Daniel Bashir,让他总结一下上周AI领域发生的事情。

我们将在几分钟后回来,深入探讨这些故事并给出我们的看法。你好,我是Daniel Bashir,带来我们的每周新闻摘要。本周,我们将关注两个积极的AI应用故事,一个消极应用故事,以及一个关于伦理AI的故事。当开发者首次尝试教AI系统玩象棋等游戏时,他们展示了专家的比赛,以向它们展示如何正确下棋。

但正如《连线》报道的那样,一个名为Maya的新AI象棋程序专注于简单地预测人类的走法,包括错误。康奈尔大学教授John Kleinberg领导了Maya的开发,他表示这是朝着开发理解人类错误的AI迈出的一步。这种知识可能帮助AI更好地与人类互动。

Kleinberg认为医疗保健是一个可能的案例,在这个案例中,能够预测错误的系统可能能够训练医生。但他专注于象棋,因为这是AI击败人类的第一个战场之一。随着我们开发出更好的AI系统,那些理解人类行为的系统可能能够帮助那些无法跟上它们的人类。我们将看看Kleinberg的程序是否能帮助创造这样的系统。

如果你在讲座中曾感到困惑,你的老师可能会注意到你脸上的表情,并鼓励你提问或停下来重新解释一些内容。但在网上授课时,老师很难做到这一点。根据CNN商业新闻,总部位于香港的初创公司FindSolution AI创建了一款名为Four Little Trees的软件,帮助老师了解课堂气氛。

当学生在平台上进行测试和作业时,AI系统会测量他们脸上的肌肉点以识别情绪。该系统还测量学生表现的多个指标,并生成关于他们优缺点的报告。它可以利用这些信息来适应每个学生,提供有针对性的学习帮助。创始人Viola Lam表示,使用该软件的学生在考试中的表现提高了10%。

随着技术的进步,Lam希望将其应用扩展到商业领域。在一个不太积极的应用案例中,Clearview AI似乎并没有消失。他们最新的专利申请描述了从政府到社交的面部识别应用,比如约会和职业网络。正如InputMag报道的那样,Clearview的专利声称,人们可以通过公司的面部匹配系统识别无家可归者和吸毒者。

Clearview已经表示,其应用可以用作商业或约会背景调查。与之前的工作一样,Clearview对其新应用所带来的隐私风险保持沉默。面部识别技术已经涉及到两起错误逮捕事件,引发了对联邦立法的呼吁,以规范面部识别技术的使用。

Clearview表示,它将让国家标准与技术研究所对其软件进行测试。看来,Clearview在没有大量反对的情况下不太可能停止,我们可能会在其新应用受到监管之前发现其带来的危险。

最后,针对生成面孔和预测犯罪等应用的AI研究相当多。虽然研究人员可能认为这些想法是有用的,但许多人认为这样的研究方向因多种原因极其危险,因此不应存在。

正如《纽约客》报道的那样,“AI领域在其研究的伦理问题上并没有受到太多质疑,仅仅是潜在的商业应用。但AI研究组织已经开始开发系统来解决伦理影响。”但目前,AI研究在很大程度上是自我监管的,遵循的是规范而非规则。某些论文,例如预测犯罪是否可能与帮派有关的论文,会引发反对和Twitter风暴。

但我们开始看到一些变化,顶级会议呼吁明确考虑作品对社会的影响。同时,由于研究人员在动机、背景、资助者和环境方面的多样性,创建一个更有组织的伦理流程也面临困难。希望如果该领域至少在其工作的影响上变得更加透明,我们可能会继续在伦理方面看到改进。

这就是本周新闻汇总的全部内容。请继续关注我们对近期事件的更深入讨论。

谢谢你,Danielle,欢迎回来,听众们。现在你已经了解了上周的AI新闻摘要,欢迎继续收听我们两位AI研究人员对这些新闻的轻松讨论。其中一位是我,Sharon,机器学习组的四年级博士生,和Andrew Ng一起工作。我研究生成模型、提高神经网络的泛化能力,并将机器学习应用于应对气候危机以及医学。而与我一起的是我的联合主持人...

大家好,我是Andrey Krenkov,斯坦福视觉与学习实验室的三年级博士生。我主要专注于机器人操作的学习算法。说到研究,我们的第一个故事有点有趣,也许有点令人不安,标题是“AI研究论文是真实的,合著者却不是”。所以这里的摘要是...

有一篇论文,著名学者David Cox,他是马萨诸塞州剑桥AI实验室的共同主任,这位学者发现他的名字与他不认识的中国前几年的合著者一起列出。这发生在两篇不同的论文上。

所以这有点不寻常。通常,当你写论文时,你知道自己是合著者。至少应该是这样。文章指出,直到他威胁采取法律行动,出版商才删除了他的名字并发布了撤回声明。所以,是的,这个故事有点好奇,也有点幽默。

你对此有什么想法,Sharon?是的,这有点疯狂。老实说,我真的很惊讶这没有更早发生。我知道有很多高级研究人员并不知道他们可能参与的很多论文。

因为他们有太多了。是的,我真的很惊讶这发生了,但老实说,我也很惊讶这没有更早发生,因为我可以想象人们只是把著名的人放在他们的论文上,试图获得,我不知道,接受之类的,这真的很可怕,让我想推动,让会议和提交变得更加盲目。我的意思是,

我的意思是,当东西被放到我们的档案上时,它们在某种意义上也不是完全盲目的。那么你对此有什么看法,Andre?是的,正如你所说,我想我并不感到太惊讶,因为我们拥有的论文数量和该领域的规模。并不令人惊讶。是的,

我认为我们已经看到,随着规模的扩大,领域中出现了不同的问题。因此,我们知道,例如,论文审查和评审工作过载。论文发表的过程几乎无法跟上这股研究洪流。

所以这可能是另一个原因,为什么这篇论文能够通过系统,因为审查过程相当有缺陷,真的无法跟上研究。我们还看到过一些案例,

你有一些非常可疑的论文,比如试图从某人的声音中猜测性别的论文,竟然在像NeurIPS这样的著名会议上发表。所以,是的,正如你所说,这也许并不令人惊讶,但这又是一个信号,表明当你有一个迅速膨胀的领域时,会发生什么。

而且无法及时跟上和适当调整。所以,是的,我想这又是一个信号,表明我们确实需要弄清楚如何进行审查,以及如何在保持学术诚信的前提下进行扩展。

是的,绝对如此。你说得对,还有其他诚信领域。这是一个有趣的合著者问题。自从人们过去购买合著者以来,关于合著者的规则确实有很多。一旦论文被接受到NeurIPS,我记得曾经有一段时间,初创公司会以每篇论文2万美元的价格购买合著者。

这就是为什么NeurIPS不得不说,我们需要锁定。我们必须在提交时冻结作者名单,你知道吗?所以这确实很有趣。我简直不敢相信这发生了。我的意思是,围绕这一切发生了这么多奇怪的伦理或非伦理,抱歉,不道德的事情。确实如此。

接下来是我们的下一个故事,我们有一个我们经常讨论的话题。也许我们对此有点厌倦,但值得讨论。这是...

文章《Clearview的AI计划进行侵入性面部识别比你想象的更糟》。这篇文章实际上基于BuzzFeed News的一份报告,标题更具描述性,即《Clearview AI专利申请描述了用于约会和识别吸毒者及无家可归者的面部识别》。

所以我们听到了很多关于Clearview及其努力的消息,基本上是一个搜索引擎,你可以输入某人的面孔并获得他们的名字。这篇文章基于上周提交的专利,基本上描述了Clearview为其应用所做的宣传。这很有趣,因为

在一场争议之后,Clearview表示他们将避免与任何非政府客户进行交易。但在这份专利中,他们表示,在许多情况下,个人可能希望了解更多关于他们遇到的人的信息,例如用于商业、约会或其他关系。它表示,迫切需要一种改进的方法和系统来获取有关某人的信息。

还有其他应用,比如使用他们的技术来授予或拒绝某人进入某个设施、场所或设备的权限。最后,他们还可以使用查询来识别性犯罪者或无家可归者,或者确定某人是否有心理问题或残疾,这将影响警方对情况的反应。

所以,是的,这让我们一窥Clearview的想象。也许对于一家科技公司来说,他们有一些宏伟的计划,想要用于很多事情。但正如我们之前讨论的那样,Clearview在这些话题上确实在法规之前急速前进。对于他们希望在所有这些案例中使用的内容,确实令人担忧。你有什么想法,Sharon?是的,我的意思是,他们知道他们需要在公众视野中保持低调,但他们仍然会继续做这些事情。所以,我的意思是,这就是TLDR。这就是Clearview。是的。是的。

我的意思是,他们的整个产品就是为此设计的。我不,我不明白他们会如何尝试改善或其他什么。我,是的,我不明白他们的专利是关于试图找出谁是吸毒者或谁是无家可归者之类的事情。是的,很明显他们的用途是什么。确实如此。是的,嗯,

这里,专利本身也描述了我们希望占据的技术。同样,它相当广泛。因此,它列出了两个通用概念,一个是网络爬虫,用于搜索带有面孔的图像,另一个是面部识别技术。这两者在技术上都是相当成熟的。

然而,当然,Clearview公司希望尽可能多地占据知识产权。因此,他们的专利相当广泛,涵盖了大量的应用和技术。因此,再次,这是一个案例,你知道,

该公司显然雄心勃勃,他们在构建面部识别技术,以供警方和其他企业使用。这是需要关注和担忧的事情,因为在这一领域并没有真正的监管和良好的安全措施来保护

确保没有滥用,当然我们听说过。最初被滥用,不同的企业和个人在此之前获得了访问权限,导致了争议。然后它被撤回。对吧。

好吧,接下来是一个更积极的消息。我们的下一篇文章标题是《这款AI驱动的设备可能会彻底颠覆荒谬的助听器市场》。这篇文章讲的是Whisper,这基本上是一种助听器,利用技术帮助听力障碍者更好地捕捉声音。这包括许多老年人,因为听力损失实际上是军人退伍军人中最常见的服务相关残疾之一,全球超过5%的人口遭受听力损失。因此,这是一个巨大的问题,巨大的市场,服务不足,竞争不足。我很高兴看到有公司在努力解决这个问题。是的,我同意。我认为这是一个很好的例子,说明AI实际上可以以非常具体的方式带来好处。

你知道,在一种非常具体的方式上。因此,这里的想法是,与现有的助听器技术不同,现有技术只是让声音变得更大,并不一定能很好地区分不同的噪音并改善周围声音的清晰度。在这里,想法是

与其仅仅这样做,他们使用不同的算法来聚焦于你想要放大的声音,基本上拥有一种智能助听器,利用自然语言处理、音频检测、分割和隔离来真正提高增强效果。而且

此外,Whisper这家公司还考虑采用订阅计划,而不是为设备收取数千美元的费用。因此,是的,这是一个AI用于积极用途的很好的例子,以一种没有AI就不可能实现的方式。但有了AI,这一切都变得可能。我认为总体上...

有很多应用可以满足不同的需求。当然,我们也看到过为视力障碍者提供的应用。我们甚至看到过为行动不便的人提供的应用,我们有辅助机器人。因此,是的,很高兴提醒大家,这是一个AI的整个领域,我们没有理由对其产生怀疑或担忧其误用。

没错。我想最糟糕的情况是它检测到一些,你知道,放大了一些不正确的东西。所以。

是的,我可以想象在某些情况下这可能会很糟糕,尽管我不认为这会自动发生,除非他们对某些人的声音有偏见,比如女性的声音,音调较高的声音。例如。因此,我的意思是,像这样的事情仍然可能发生,但。

但我猜想它会比当前的方法有显著改善。我希望他们在考虑这些事情。是的,我认为幸运的是,使用音频分割的技术是一个已经研究了几十年的主题。因此,当然,在过去十年中得到了很大的改善。

所以,是的,我认为有理由希望这能很好地工作,并且比不使用这种技术的现有解决方案要好得多。没错,绝对如此。接下来是我们的最后一个故事,回到一个不太积极的事情。我想我们这周有一个很好的混合。这个故事是《谷歌在研究人员有争议的离职后重组AI团队领导层》。

实际上,除了这个故事之外,还有很多其他故事我们可以深入探讨。但首先,我想,第一件事情是Marianne Croke的晋升。

她在公司担任副总裁已有六年,参与了不同的项目,包括在印度的公共Wi-Fi和铁路建设。因此,这个人将负责谷歌研究中专注于负责任AI的新中心。现在,伴随着这个故事,随后还有其他新闻。

Margaret Mitchell,谷歌伦理AI团队的共同负责人之一,已被解雇。这是在Timnit Gebru被解雇或被称为“辞职”两个月后发生的。

看起来很明显,Margaret Mitchell抗议了她同事的待遇。我们知道几周前她在试图整理电子邮件时被锁定在她的账户之外。

虽然这并不令人惊讶,但看到另一位杰出的研究人员Margaret Mitchell被解雇并被谷歌解雇,确实令人感到遗憾。是的,看到这样一个团队,拥有如此优秀的领导者,在如此短的时间内经历了根本性的转变,确实令人感到悲伤。你怎么看,Sharon?没错,确实很遗憾。不幸的是,我认为谷歌处理这次晋升的方式也非常...

非常秘密,因为显然该小组的员工只是在网上的某篇文章中得知这一消息,而不是内部通知。但这已经在内部得到了验证。因此,我认为谷歌试图以非常温和的方式处理这一切。但与此同时,随着他们越是试图小心翼翼地处理这一切,产生的新闻报道就越多。因此,我认为他们在保持这一情况的安静方面做得不太好。确实如此。

是的,很高兴看到其他人被晋升,他们可能非常有资格在这里做出良好的贡献。但与此同时,这确实令人震惊,老实说。没有多少案例,像这样,知名研究人员与大型公司之间发生了如此重大的发展,基本上与Timnit Gebru的情况一样,我们知道这是因为一篇研究论文,最终导致她被解雇。而现在Margaret Mitchell为她的共同领导站出来,这也导致了她被解雇。因此,毫无疑问,这可能是知名研究人员与公司合作以及在负责任AI这一不断发展的主题中的最大进展,而这两个人在开发许多初步成果方面发挥了重要作用。

是的,我想如果你没有太多背景,很难夸大这件事的重要性。但我认为这确实是相当巨大的。哦,绝对如此。人们对谷歌的许多行为非常评判,并且真的在重新思考。我想我最近和一位风险投资家谈过,他告诉我,很多人现在开始创业,我不禁想,这可能是因为...

人们正在离开这些公司,思考,知道还有什么其他事情可以做?我的意思是,显然这不是唯一的原因,但我可以看到很多人离开。我知道很多人至少在考虑离开。因此,我们将看看这个团队的未来。我想知道他们将如何修复自己,或者成为其他人认为他们会成为的样子,也就是仅仅成为一个外壳,以一种虚假的方式让谷歌说,嘿,我们在做伦理,而他们并没有。我不知道。我们将拭目以待。是的,我们将拭目以待。但很难想象谷歌会恢复过来,并在这一领域被视为一个严肃的团队,考虑到事情的发展。是的,绝对如此。我认为他们确实失去了这一点。

是的,这很遗憾,非常遗憾,因为他们可能是唯一有机会的人。是的。在此之前,他们在这一领域产生的研究和工具的数量是相当显著的。他们确实在这方面做了相当多的工作,这个伦理AI小组。因此,这种突然的解散或至少领导层的丧失

再次是相当巨大的。我们之前提到的唯一一点希望是,希望这能促使这两位非常有才华和有影响力的研究人员在其他更支持的组织中做一些事情。然后我们可以从他们那里获得更好的成果,尽管现在我相信他们对事情的发展并不满意。

是的,绝对如此。我确实想看看Timnit和其他人去哪里,看看他们接下来会做什么,向世界展示如何真正做伦理。没错。就这样,我们将结束本期节目。非常感谢您收听本周的《Scanning Today的让我们谈谈AI》播客。

你可以在scannettoday.com找到我们今天讨论的文章,并订阅我们的每周通讯,获取类似的内容。请在您获取播客的地方订阅我们,如果您喜欢这个节目,请不要忘记给我们留下评分和评论。请务必在下周收听。