Protecting Society From AI Harms: Amnesty International’s Matt Mahmoudi and Damini Satija (Part One)
28:19 Share

大赦国际汇集了全球 1000 多万名工作人员和志愿者，致力于倡导社会正义。达米尼·萨蒂亚和马特·马赫穆迪在大赦国际科技部门工作，该部门是该人权组织的一个部门，专注于政府、大型科技公司和人工智能等技术在监控、歧视和偏见等领域中的作用。在本期节目中，马特和达米尼与萨姆和谢尔文一起，重点介绍了人工智能工具可能使人权面临风险的情况，例如，当政府和公共部门机构使用面部识别系统追踪社会活动家或使用算法对公共住房准入和儿童福利做出自动化决策时。达米尼和马特警告说，人工智能技术无法解决人类问题，例如偏见、歧视和不平等；这需要人为干预和改变公共政策。在此处阅读剧集文字记录。有关组织可以采取哪些措施来应对自动化技术使用带来的意外负面后果，请收听我们与马特和达米尼对话的下一期节目，即 2023 年 9 月 13 日播出的第二部分。我和人工智能是一个来自麻省理工学院斯隆管理评论和波士顿咨询集团的合作播客，由萨姆·兰斯博瑟姆和谢尔文·霍达班德主持。我们的工程师是大卫·利尚斯基，协调制作人是艾莉森·莱德和索菲·鲁丁格。通过加入我们的 LinkedIn 群组“领导者的人工智能”，网址为 mitsmr.com/AIforLeaders，或关注 LinkedIn 上的“我和人工智能”，与我们保持联系。嘉宾简介：马特·马赫穆迪是一位讲师、研究员和组织者。他一直领导着大赦国际关于禁止面部识别技术和揭露其针对种族化社区（从纽约市到被占领的巴勒斯坦领土）的使用方面的研究和倡导工作。他是剑桥大学乔·考克斯博士奖学金的首位获得者，在那里他研究了数字城市基础设施作为种族资本主义的新前沿，并且仍然是社会学系的一名附属讲师。他的作品发表在《社会学评论》和《国际政治社会学》杂志以及《数字证人》（牛津大学出版社，2020 年）一书中。他的即将出版的书是《数字边缘的移民：新的城市控制前沿》（加州大学出版社，2023 年）。达米尼·萨蒂亚是一位人权和公共政策专家，从事数据和人工智能工作，重点关注算法歧视、福利自动化、政府监控和技术公平。她是算法问责实验室的负责人，也是大赦国际科技部门的副主任。她曾担任英国政府的数据和人工智能伦理顾问，并代表英国在欧洲委员会担任人工智能和人权政策专家。她拥有哥伦比亚大学国际和公共事务学院公共管理硕士学位。我们鼓励您对我们的节目进行评分和评论。您的评论可能会用于“我和人工智能”的材料中。</context> <raw_text>0 今天，我们播放的是由我们的朋友 Modern CTO Podcast 制作的一期节目，他们最近很友好地邀请我作为嘉宾参加。我们讨论了生成式人工智能的兴起，成功运用技术的意义，以及领导者在指导技术实施工作时需要考虑的一些因素。您可以在 Apple Podcast、Spotify 或您收听播客的任何地方找到 Modern CTO Podcast。

我们的许多嘉宾都致力于在其组织中将人工智能用于善举。在今天的节目中，我们将与两位专注于在使用人工智能工具时保护人权的研究人员交谈。我是达米尼·萨蒂亚。我是大赦国际的马特·马赫穆迪。您正在收听“我和人工智能”。欢迎收听“我和人工智能”，这是一个关于人工智能和商业的播客。在每一期节目中，我们都会向您介绍一位在人工智能领域进行创新的个人。

我是萨姆·兰斯博瑟姆，波士顿学院分析学教授。我还是麻省理工学院斯隆管理评论的人工智能与商业战略客座编辑。

我是谢尔文·科多班德，BCG 的高级合伙人，也是我们人工智能业务的领导者之一。麻省理工学院 SMR 和 BCG 自 2017 年以来一直在研究和发表关于人工智能的文章，采访了数百名从业人员，并对数千家公司进行了调查，了解构建、部署和扩展人工智能能力以及真正改变组织运营方式需要什么。

欢迎。今天，我和萨姆很高兴能与大赦国际的马特·马赫穆迪和达米尼·萨蒂亚交谈。马特、达米尼，感谢你们今天加入我们。让我们开始吧。马特，请告诉我们一些你在大赦国际的角色信息。

当然。是的，非常感谢你们的邀请。我是大赦国际科技项目中的人工智能和人权顾问和研究员。我的工作重点是某些人工智能技术，特别是人工智能驱动的监控如何被执法机构采用，这些技术表面上是为了

效率而开发的，但往往会导致歧视性结果、各种形式的不平等以及影响历史上最边缘化的社区。因此，在过去几年中，我一直在追踪面部识别的部署、所涉及的公司以及警察使用这些工具的地方。我们研究了面部识别技术在

纽约市、印度海得拉巴市和被占领的巴勒斯坦领土等地的情况，并真正关注这些承诺提高效率、承诺成为更智能的人员移动方式或确保其安全的技术实际上是如何导致其权利受到侵蚀的。马特，请告诉我们一些关于大赦国际的工作内容、组织结构以及其技术实践是如何开始的。

大赦国际是一个由全球 1000 多万人组成的运动，他们通过例如志愿服务或进行研究、倡导和宣传来共同努力，以动员围绕当今的关键人权问题。至于技术与人权项目，也称为大赦国际科技部门，我们是

我们是技术专家、研究人员、倡导者、法律学者等的集体，我们共同努力，让公司和国家对其使用和开发真正危及这些基本人权的技术负责。因此，我们的工作是调查，

并揭露这些技术配置被用来侵蚀这些权利的方式，并在可能的情况下倡导更强的保障措施、法规和人权实践，使我们能够享有这些权利，即使我们继续生活在一个快速变化的世界中。

多米尼克，请告诉我们一些关于算法问责实验室的工作内容。是的，非常感谢你们今天邀请我们。我在科技项目中工作，并领导着一个名为算法问责实验室的团队，这是大赦国际科技部门的一个相对较新的团队。

我们专门研究公共部门中自动化和人工智能技术的日益增多，尤其是在福利和社会保障领域。因此，我们研究政府和公共部门机构如何使用自动化来确定谁可以获得住房、教育、医疗保健、福利等基本必需服务。

我们特别感兴趣的是调查和了解这些工具如何对已经边缘化的群体产生歧视性影响或不成比例的影响，这是我们在公共部门自动化或福利自动化中已经看到的证据。该团队本身是一个由七名成员组成的多学科团队，包括数据科学家、人权研究人员、倡导者、法律专家等等。并且要

支持我们对这些系统对社会的影响进行全面调查和理解的愿景。感谢你的介绍。这很有趣，萨姆，因为当我们的大多数嘉宾都在向我们讲述他们如何使用人工智能来创造更多利润或收入、降低成本或普遍行善时，你们的角色似乎是

确保我们不会用人工智能做坏事，对吧？因此，在这种情况下，鉴于你在人工智能方面的背景和专业知识，你认为一些指导原则是什么，以及它有何不同？例如，当你寻找坏人时，我必须想象这与寻找行善的方式根本上有所不同。所以我将从你开始，马特。你是如何做到这一点的？

好吧，我们经常了解到一些涉及特定人员的案例，这些人面临某种形式的歧视。例如，在纽约市，我们与一位名叫德里克·英格拉姆的活动家取得了联系，他创立了一个名为“花园中的勇士”的集体，也是黑人生活问题运动中的一位杰出活动家。

他曾受到警察的骚扰，警察出现在他家门口，有效地骚扰了他四个小时，原因是他自己都没有意识到。实际上，他们为什么会在那里并没有明确的答案。事实证明，鉴于某些记者在他家附近，在他受到骚扰时，他们发现警察打印了一份面部识别身份报告。

该报告出现在现场，随后发现该报告将他认定为在特定抗议活动中唯一可识别的抗议者之一，这是一场抗议乔治·弗洛伊德被谋杀的黑人生活问题抗议活动。

在这种情况下，我们发现警察只是认出了这位拿着扩音器的重要抗议者。由于能够认出他，即使没有搜查令，他们也认为自己有权出现在他家门口，试图盘问他并试图骚扰他。警察最终想出一个虚假的指控，他们

指控他将扩音器太靠近警官的耳朵。但与此同时，大赦国际一直在调查纽约警察局还用该软件针对哪些社区成员，以及谁开发并提供了他们正在使用的软件。纽约警察局对此并不特别坦率。因此，我们的工作通常围绕着传统方法展开，例如信息自由法案请求，

信息自由法案请求，但也包括使用例如谷歌街景图像来标记由纽约警察局运行的摄像头，以便让我们了解纽约人暴露在网络摄像头系统下的程度，特别是带有面部识别的网络摄像头系统。这让你了解风险的广泛程度。因此，当人们谈论人工智能时，让我感到困扰的是

这种倾向，我认为，是使用拟人化的语言，它倾向于使用诸如“人工智能做 X”或“人工智能做 Y”之类的短语。在与你们两位交谈中，你们都没有将人工智能作为行为者。它是一种工具，你们似乎非常关注行为者是谁。因此，困难之处在于，如果一种工具可以放大好坏，我们如何向实际行为者宣传信息？

你如何让行为者使用一种可以用于善事和坏事的工具来做善事或坏事？甚至善恶之间也很难划清界限。是的。如果我可以利用这一点来补充之前的提问，你问到了坏人，我认为这本身就很有启发性，因为我们非常关注行为者，而不仅仅是人工智能。这还包括谁设计了人工智能，人工智能的设计方式，谁在部署它，它在什么环境中被部署。

我们必须非常小心，不要关注人工智能有什么问题，因为这也会让我们陷入这样的陷阱：这个问题有一个技术解决方案。但是，我们正在研究的人工智能工具通常也会运作我们所关注的特定环境，对吧？例如，如果我们正在研究在移民环境中使用的工具，并且普遍的叙述是仇外心理或反移民的，那么它将运作。

运作符合该类别的政策。因此，正如你所说，这不仅仅是关于技术，还关于这些技术被开发、采购和部署的环境。因此，这意味着我们并不总是将坏人视为这样，而是将坏的用途简单地说出来。但我认为，这对于我们寻找需要调查的案例来说，与马特所说的寻找歧视性影响一样重要。

我认为另一个例子可以在这里说明，一个工具并非专门为产生负面后果而部署，但它最终产生了负面后果，这是一个在旧金山使用的住房算法的案例。

大约一年前，有一个关于这个的故事，有一个工具是为社会工作者开发的，用于分配公共住房。开发该工具的意图是提供一些东西，让社会工作者能够与他们正在帮助的需要住房援助的个人进行更深入的交谈。该工具专门可以帮助他们建立对该人的脆弱性或风险评估，然后确定他们需要多少住房援助。

该工具旨在帮助促进对话。它的使用方法是，社会工作者根据该工具输出的内容做出是与否的决定，关于谁应该获得住房援助，谁不应该获得住房援助。所以，我的意思是，你可以说这是错误的使用，但它也是对该工具的某种意外使用。因此，我们正在研究各种现实情况，这些现实情况并不容易。说问题在于人工智能本身从来都不容易。

这并没有回答你最初的问题，但我想要补充一些关于“坏人”问题的背景。它也突出了你所说的，人工智能和人类的关键性，而不仅仅是一个与另一个相对立，或者是一个或另一个。对。

因为在所有这些例子中，都有意外或未预料到的使用，或者可能是由于缺乏培训，或者因为根本的叙述不是你一开始就打算造成伤害。你只是不知道或没有预料到，哦，我应该只将其用作输入，而不是用作指示。我有一个问题，你提到了它，

但你走的方向与我想象的不同，因为你说我们不是在谈论技术有什么问题，因为这意味着存在技术解决方案。但我想要挑战这一点，因为为什么至少一部分解决方案不应该属于技术范畴？

是的，在偏见方面存在技术解决方案，并且有些人已经提出了消除工具偏见的方法。我认为我们不想完全局限于此的原因是我前面概述的内容，即我们需要采取更全面的方法来理解这些技术的影响，因为正如我们所说，这不仅仅是关于工具的设计方式。尽管是的，这也很重要。它还与人类与工具的互动以及人类如何使用它们有关。我认为另一个问题是，技术解决方案路线可能会让我们对问题是什么采取非常孤立的方法。例如，

在人工智能伦理、算法公平领域。已经提出了许多消除偏见和解决方案。这意味着以算法或人工智能系统内部非常技术的方式来理解偏见是唯一的问题。但我认为，我们很有可能

从技术角度解决这个问题，但我们正在研究的工具仍然存在无数其他问题。A，即使进行了技术修复，它们仍然可以以歧视性方式使用。存在监控问题。这些是数据密集型技术。我们还经常担心这些技术造成的二阶和三阶影响。例如，

再次以住房为例，如果使用旅游来拒绝某人的住房或拒绝某人获得社会保障福利，然后他们无法支付房租或为家人购买食物，那么这些影响是在旅游发生后两到三度分离发生的。即使你扭转局面或将算法从图中移除，这种影响仍然存在，并且仍然发生了。我认为，从我们的角度来看，重点是保持对

社会、政治、经济以及技术后果的全面理解。我不知道马特是否想补充一些内容。我很想进一步阐述这一点，特别是由于住房的例子和其他类似的例子，还有风险指标算法，儿童保护服务机构使用这些算法来确定是否将儿童从寄养家庭中带走，甚至将他们送入寄养家庭，弗吉尼亚·尤班克斯的工作将概述如何

如何让面临这种算法的社会工作者根据基于光的指标做出决定，如果看起来对儿童福利的危险报告过多，则会给他们一个红色信号。这实际上告诉我们的是，系统本身，技术本身

它并不像，你知道的，说，哦，那么去掉指标，将它们变成更具描述性的文本那样容易修复。因为你处理的是一种远远超出实际代码本身的技术，这也是多米尼克在这里要表达的意思。这是一个完整的社会技术系统。你不能持有……

人工智能是一件事，而不认为存在人机交互，它赋予了该系统功能和作用的方式以活力。因此，代码中写了什么，我已经采取了一种立场，这在某种程度上是无关紧要的。它在世界上做了什么，以及它最终做了什么，不用太多学术术语，但就像现象学一样，

才是真正重要的，它告诉我们系统实际上是什么。因此，通过将自己从认为消除偏见是人工智能技术中的美德的概念中解脱出来，并通过将自己从认为系统存在技术解决方案的想法中解脱出来，而是认为这些系统都应该在技术上

在它们甚至被考虑推出之前，就测试并了解它们对整个社会和人们人权可能产生的影响，这可能会导致我们应用和部署所谓的“更好”的技术。至于我们如何使用技术来识别某些有害技术，

我之前举的一个例子是，我们如何使用街区地图工具来了解摄像机在哪里，对吧？需要明确的是，我们没有在那里使用图像识别算法。都是人。这使我们能够扩展图像。

志愿者工作遍及全球 7500 人，他们帮助我们标记了纽约市每个十字路口上的摄像头。我认为，这是一个相当引人注目的模型，说明你如何能够扩大倡导活动和工作，这些倡导活动和工作正在推动杠杆，朝着在技术方面看起来像某种形式的正义和公平的方向发展，当然，这是一种可能促进对抗议权的更大尊重的干预措施。

我认为，我的观点是关于技术的。并不是说，让技术来解决它所造成的问题，因为正如你所说，问题是由它的使用造成的。当然，当你谈到一个强大的技术被拥有制定政策、制定法律、进行逮捕或发动战争的权力机构使用时，当然，

行为者以及行为者的动机和用途比技术解决方案更重要。但我也不得不相信，人工智能不会消失，这项技术只会得到改进。所以我很好奇……

你的团队在发现的所有缺陷方面，我的意思是，在你的例子中，你没有依赖图像识别来识别摄像头，因为你认为人类会更准确。好吧，这是一个反馈因素。

对算法和进行图像识别的仪器。而且，你知道，多米尼克，你在住房方面谈到的例子中，我想知道是否可以设置一些保障措施或额外的提示或额外的数据馈送，这实际上会使

几乎不可能让做出人类行为选择的这项技术依赖于技术选择。所以我必须相信，作为用户和作为监控使用的机构，对开发这些工具的开发者社区有一些反馈，并不是说偏见是中心问题，而是，我的意思是，你已经强调了这么多不同的

技术人工制品可以帮助推进你正在谈论的同一事业的领域。

是的，我的意思是，就保障措施而言，我们可以讨论很多，就我们作为人权界在监管方面呼吁的内容而言。我认为马特已经提到了最重要的保障措施，那就是在一开始，在这些技术的构思阶段就明确质疑是否需要这些技术，以及在特定情况下自动化是否真的必要。

并且在这样做时，要审查和仔细研究这项技术可能造成的侵犯权利或不成比例的影响。我认为，在这样做时，在我们工作中一次又一次出现的问题是，哪些声音被听到，谁对需要使用技术来解决的问题的表达在该构思阶段被听到。

而我们工作中经常面临的是，有一些非常有影响力的声音，你刚才也提到了。你知道，政策制定者、大型科技公司、那些有资金开发新技术的人、那些资助新技术的人、那些真正能够决定人工智能轨迹的人，他们的声音也体现在人工智能的开发和部署中。而那些受到这些系统使用影响的人，特别是我们关注的社区

我们已经提到了种族化影响，通常是黑人和棕色人种社区，他们受到这些系统的严重负面影响和伤害。这些声音并没有被纳入需要通过这项技术来解决的问题，正如你所说，这项技术就在这里。人工智能的开发正在非常迅速地进行。但正是这种力量失衡让我们真正担心的是，谁的声音被听到，以及应该构思什么。

这是一个无形的保障措施，但对我们来说，在我们工作中非常非常重要。是的，说得很好。这很有趣。你提到了社会工作者的例子。我的母亲是一位社会工作者，从事寄养工作，这是一个人员严重不足、工作过度的领域。因此，当你举这个例子时，我必须说，我的一部分仍然觉得它很有吸引力，我们可以帮助这些人，

改进，它可能无法完美地纠正。它可能无法完美地进行预测，但鉴于其他许多事情，它可能是一个更好的解决方案。那么，我们如何在不打开这个充满困难的潘多拉魔盒的情况下找到一个更好的解决方案，以便我们能够改进它并随着时间的推移获得经验？这是如何发生的？

所以，如果我可以在这里插话，萨姆，我认为就像坚持社会工作者的例子，并且只坚持弗吉尼亚·尤班克斯研究的特定项目一样，这很有趣，因为国家最终花费在试图维持一项失败的技术上的资金比仅仅试图为社会工作者提供更多资源以能够雇用更多社会工作者、能够有效地开展工作所花费的资金还要多。

更充分地并符合需求。因此，我认为，你知道，只是从我经常分配给我的科学与技术研究课程的一篇文章中摘取一页，这是一种从大提琴家格伦·丹宁对新卢德主义者宣言的笔记中摘取的内容。我会说我不是反技术的，新卢德主义者也不是。我认为这是关键点，即 A，新卢德主义者不是反技术的，并且

他们担心技术如何将数字从人身上剥离，并导致超理性，从而忽略了这些重要的伤害问题。其次，这是一个非常重要的点，所有技术都是政治性的，对吧？我们必须了解支撑特定部署过程的政治和政策形式是什么。

一种技术，而不是说，投资于所需的特定社会项目。因此，多米尼克一直在提出的例子以及我们一直在讨论的例子实际上表明，例如

坚持投资于技术工具，以其将导致未来节省成本为名，而现实情况是，国家往往不得不花费更多资金，要么试图让公司对他们承诺但无法兑现的内容负责。

或面临个人提出的诉讼，无论是集体诉讼还是其他诉讼，鉴于他们对那些受到这些大规模理想化技术影响的人造成的损害，我认为这指的是，例如，

试图揭示其背后的政治是什么，并看看是否存在比试图避开我们的方式并走向人工智能将解决一切的幻想之地更可持续的社会、政治和经济解决方案，这种技术狂热

梅雷迪思·布鲁萨德谈到的意识形态，并稍微摆脱这种意识形态，并考虑一下我们的社会除了这些技术之外还需要哪些投资。我认为重要的是，对于诸如基于 GPT 的聊天机器人模型之类的工具，

你处理的是似乎处于永久测试阶段的系统。因此，他们可以不断声称他们没有按照应有的方式工作，只是安静。他们可能会有意想不到的后果，因为他们没有处理足够的数据或没有完全正确地建立模型。你可以长期坚持这种说法。

但问题是，我们作为公民社会，以及我们作为对立法者构成选民，可以代表我们发言并代表我们进行监管的人，何时踩刹车并说，不，你知道，这些产品已经公开发布。

它们正在产生影响，因此应该受到监管。大型语言模型的大小无关紧要。它需要多大才能达到饱和点，才能按照某些规定的效率幻想来运作，这无关紧要。我们必须达到一个点，我认为这个点是昨天，

我们说我们需要监管。我认为欧盟人工智能法案，多米尼克也正在广泛参与其中，是试图制定一项区域性立法的一次非常好的尝试，该立法了解我们正在处理的后果类型以及这些技术可能对我们权利和我们参与我们今天享有的自由的能力产生的影响类型。

多米尼克、马特，非常感谢你们进行的这次富有启发性的讨论。谢谢。感谢收听。请下次加入我们，我们将邀请马特和多米尼克回来继续讨论人工智能监管，包括其他人可以做些什么来帮助限制技术工具使用造成的损害。

感谢收听“我和人工智能”。我们相信，与你们一样，关于人工智能实施的对话不会始于本播客，也不会止于本播客。这就是为什么我们在 LinkedIn 上专门为像你们这样的听众创建了一个群组。它被称为“领导者的人工智能”。如果您加入我们，您可以与节目创建者和主持人聊天，提出您自己的问题，分享您的见解，并了解有关人工智能的更多信息。

并获得有关麻省理工学院 SMR 和 BCG 人工智能实施的宝贵资源，您可以通过访问 mitsmr.com/AIforLeaders 来访问它。我们将把该链接放在节目说明中，我们希望在那里见到您。