Protecting Society From AI Harms: Amnesty International’s Matt Mahmoudi and Damini Satija (Part Two)
22:29 Share

今天，我们播放的是由我们的朋友 Modern CTO Podcast 制作的一期节目，他们最近很友好地邀请我作为嘉宾参加。我们讨论了生成式 AI 的兴起，在技术方面取得成功的意义，以及领导者在指导技术实施工作时需要考虑的一些因素。您可以在 Apple Podcast、Spotify 或您收听播客的任何地方找到 Modern CTO Podcast。

一个致力于保护人们免受 AI 危害的激进组织能教会企业什么？在今天的节目中找出答案。我是 Damni Satija。我是来自大赦国际的 Matt Mahmoodi。您正在收听《我和 AI》。欢迎收听《我和 AI》，这是一档关于人工智能和商业的播客。在每一期节目中，我们都会向您介绍一位在 AI 领域进行创新的个人。我是萨姆·兰斯博瑟姆，波士顿学院分析学教授。

我还是麻省理工学院斯隆管理评论的 AI 和商业战略客座编辑。

我是谢尔文·科杜班德，BCG 的高级合伙人，也是我们 AI 业务的领导者之一。麻省理工学院 SMR 和 BCG 自 2017 年以来一直在研究和发表关于 AI 的文章，采访了数百名从业者，并对数千家公司进行了调查，了解构建、部署和扩展 AI 能力以及真正改变组织运营方式需要什么。欢迎大家回来。

在上一期节目中，多米尼克和马特加入我们，分享了他们的组织大赦国际科技部为打击 AI 的有害用途所做的一些工作。今天，我们将继续讨论，并更详细地分享如何提高对人工智能危险的认识，以及更重要的是，如何提供帮助。

多米尼克，让我们从上一期节目结束的地方开始。对于我们的听众，如果您还没有听过上一期节目，我们建议您先回去听一下，以便更好地了解大赦国际科技部以及马特和多米尼克正在做的工作。多米尼克，你和马特开始谈论 AI 监管以及它们如何帮助我们解决具有挑战性的技术问题，例如住房算法、社会工作和面部识别系统。让我们从那里开始。您能否分享更多您对规范 AI 的看法？

监管是这里工具包中的一个关键部分。我们正在努力推动欧盟的《人工智能法案》，该法案目前是规范 AI 的最全面的框架之一。我认为，监管中真正重要的是，而我们现在真正缺少的是，能够真正关注我们想要预防甚至促进的结果的监管框架。

我的意思是，我们看到的许多法规，即使是在《人工智能法案》中，这也是一项非常先进的 AI 法规，但即使在《人工智能法案》的情况下，也往往与技术炒作周期和当时炒作的技术有关。我们通过《人工智能法案》非常清楚地看到了这一点，在过去几周和几个月里，随着围绕生成式 AI 的讨论真正升温，我们看到那些深入参与《人工智能法案》的政策制定者

它正处于最后阶段，不知道如何将生成式 AI 纳入框架。我认为，如果一个监管框架无法吸收新的技术发展，那么它就不是一个非常稳健的监管框架。这不是目标。在早期，在《人工智能法案》中做了很多前期工作，说我们想要“防范未来”这项法规。它将成为一种工具，能够随着技术的进步，随时施加我们需要的限制和保护措施

发展。但现在看来它并没有这样做。我认为这是因为监管尝试本身与技术炒作周期密切相关，正如我所说。我们需要更多地关注我们想要预防的结果。许多这样的结果都体现在我们对人权的思考方式中。因此，你知道，不受歧视的权利，隐私权，有一些结果我们知道我们需要达到，以保护人权，无论我们谈论的是什么技术。所以，

这就是我要补充的关于监管方面的内容，也是我认为现在真正缺少的内容。鉴于技术发展的快速步伐，我还想补充一下这方面的紧迫性，但也略微有些旁逸斜出，但算法和 AI 以及一般技术在公共部门环境中得到了发展，这是我的大部分关注点，也是马特的大部分关注点。

在这些受限的环境中。因此，它们被称为紧缩机器。鉴于世界目前正处于疫情的最后阶段，全球经济面临多重冲击，我们无法

很容易预料到这些紧缩机器可能会变得更加普遍。这就是为什么这适用于 AI 的原因。但仅考虑我的团队在福利和社会保障领域非常具体地工作的领域，这种紧迫感现在非常非常强烈。其次，这些效率工具通常旨在检测或淘汰福利和公共服务的欺诈性申请人。所以它

这些也是以效率的名义实施的惩罚性工具。这就是对低收入群体、有色人种社区等造成不成比例的影响的地方。因此，这种说法导致了非常有害的结果。鉴于我们所处的环境，我们看到这种说法只会加速。因此，现在对该法规的需求和紧迫性非常强烈。

所以我认为这很有趣。我的背景故事的一部分包括，我曾经在维也纳的国际原子能机构工作，这是一个核库。你可以指出该模式的许多困难，但自 1945 年以来，我们没有发生过核爆炸，或者我们没有发生过核战争。

但是马特，你还提到了地方法规。这是一个想法，即使是欧盟也是，比方说，国家或国家集团相关的，但是

但这似乎必须是全球层面的事情，而不是地方层面的事情。或者你认为这种监管的层面应该在哪里发生？对于核武器，它似乎需要在全球层面进行。我认为它做得很好，我有所偏见，但它在将技术的积极用途与限制其负面用途方面做得很好。那么这种监管的层面应该是什么呢？

我的意思是，没有反驳意见说不应该对此进行全球立法，或者不应该就此事达成全球协议和决议，在涉及 AI 的部署、开发和使用时，对各国施加具有约束力的义务，不仅是在民事问题上，而且在战争背景下也是如此。然而，我认为就倡导监管而言，我们所看到的进步和最直接的影响

期限的影响是在地方层面，因为选民非常善于促使他们的地方立法者在例如市议会层面采取果断行动。我们看到

就在我们说话的时候，纽约市议会正在采取行动，以禁止在住宅住房中使用面部识别技术。我们还看到了一些运动，这些运动将在稍后推出，并将讨论执法方面的相关问题。我们在俄勒冈州波特兰市看到，在

在一个如此关键的时刻，尤其是在乔治·弗洛伊德被杀害之前，这些技术的种族影响和种族化影响变得越来越清晰，通过允许部署面部识别技术，你不仅仅是允许使用一种实验性工具，该工具的污点记录多于其显示任何积极用途的记录。

而且你还支持现有的制度性种族主义，这种种族主义确实存在于警察部队中，并在很大程度上得到了加强。当然，抗议者在这个时刻提出的许多说法都是针对警察滥用职权的。因此，你不能一边挑战警务，一边又使用面部识别技术，对吧？所以这就是说，地方层面将推动很多需求，即使是在全球层面进行监管。我认为

将这些部分缝合在一起，并能够描绘出这些故事，看起来，在任何情况下都没有 XYZ 形式的技术或 AI 驱动的监控的例子向我们表明，我们可以安全地放开手，让它自行运行。这就是将激发我们在该层面可能希望看到的各种监管。而且

某些民间社会组织提到的欧盟效应可能是值得关注的事情，即法规和监管模式从一个领域跳到另一个领域的方式。我还想说，联合国已经有一些程序专门讨论自主武器系统的问题，这是一个漫长的过程，但确实试图解决 AI 在战争背景下的问题。

我们迄今为止的大多数播客都是关于这些工具如何帮助大幅提高效率和有效性，以及如何为世界和环境带来积极影响的，对吧？还有另一方面，多米尼克和马特已经如此雄辩地阐明了这一点，那就是……

使用和结果的力量失衡。我认为这是一个必须随着时间推移发生的重要的辩证法。所以，虽然我很想进一步推动技术至少能否成为解决方案的一部分，我完全相信技术是解决方案的一部分，但我认为问题的存在性使得你必须进行这种对话和讨论

马特，你谈到了图像识别，对吧？如果你看看图像识别技术的改进，它也呈指数级增长。到目前为止，当它被大规模使用时，它仍然会造成问题，对吧？显然，如果它有如此近距离的视野，它可能不会。但想象一下，也许十年后，也许二十年后，谁知道呢，仪器如此先进

算法如此先进，安全措施到位，实际上胜过人类。那些去数这些摄像头的人，就像胜过他们区分人与人的能力。我会假设在这个世界里，

你会同意使用它还是不同意。比方说，如果你要预测十年后的情况，如果其中一些工具不再犯错误，现在你只有坏人情况，但工具本身不会犯错误，这会改变你的立场吗？

这太可怕了。对我来说，这太可怕了，因为它创造了一种条件，在这种条件下，那些不完善的机构以及在伦理层面持有不同立场的机构突然被赋予了以极高的精度大规模做事的能力。所以不再是，你知道，纽约警察局能够使用提供给他们的面部识别技术找到任何他们能找到的人，这被提供给他们作为一种测试案例，就是他们可以去针对某人。

具体来说，他们能够大规模地做到这一点，不再是我们在底特律、新泽西州和其他地方听到的那种误报，而是实际上使他们能够实现现有的。对此有数据，对吧？例如，有数据支持，例如，拦截和搜查事件的目标人群高达 90% 是黑人和棕色人种，而且这些事件发生在

主要是黑人和棕色人种的社区，这并不是因为黑人和棕色人种的社区主要充满了犯罪。这是因为目标发生在那里。因此，可见度更高。而且碰巧的是，

大多数拦截和搜查事件实际上并没有导致逮捕。所以这再次向你表明，这种说法没有任何可信度，即这些社区本质上以任何形式都是犯罪的。那么，想象一下，未来警察被授权去做 exactly that。也就是说，进行数字拦截和搜查。每个人都在不知情和未经同意的情况下被虚拟地排队，仅仅是因为这个机构就是这样运作的。现在它被自由地这样做。

在一个它以前无法达到的规模上。这对我来说是可怕的。我们不能那样做。我认为这是一个我们必须考虑的非常现实的场景，它对，你知道，美国人的第一修正案权利，对地球上其他人的抗议权都有深远的影响，这变得越来越困难。那么，当我们面临例如一个突然失宠的国家或政府时，我们该怎么办？

可以说它是民粹主义的，但它已经配备了这些令人敬畏的恐怖技术，如果你事先没有保护措施来确保这些技术没有被赋予他们，那么你如何挑战这个政府呢？例如，这就是我为什么认为这是一个可怕的场景的原因。是的，我认为你是对的。我认为你是对的。这就是为什么我实际上，我认为这非常有帮助，因为

你不能将技术与用户、权力失衡以及某些情况下腐败的根本可能性分开。你提到了国家和政府实体。你甚至没有提到企业界，在那里，很多事情都以非常集中的方式发生。

权力霸权，无论你可能担心纽约警察局的什么监督。我认为我们在缺乏监督或

控制公司内部黑暗中发生的事情的能力方面，这种情况得到了加强。即使是那些好心人在那里也是如此。这并不是说必然存在恶意。它只是在描述自身利益。我认为，当我想到权力失衡时，我们作为个人与任何其他集体相比，拥有的权力非常少。这些人工智能算法或推荐引擎中，没有一个关心我想看什么。

他们关心的是公司或广告商或任何人的目标函数，他们的目标函数从根本上来说不是我的目标函数。现在，它通常足够相似，以至于还可以，但本质上，他们的目标函数不一定是我的目标函数。这就是权力平衡似乎非常困难的地方。多米尼克，我还想问你十年后，你如何看待未来的情况？

什么会好？什么会可怕？马特描绘了一个非常可怕的未来。是的，我希望有一个不那么可怕的未来。我认为这个问题对我来说回到了权力的问题。我们现在都提到了这一点，以及我们看到的当前技术轨迹中的权力失衡。是的，企业权力和政府权力。这两者也不是相互脱节的，对吧？例如，政府从哪里获得这些技术，越来越少见？

内部开发并从某个地方采购。政府创造了对这些技术的 demand。公司销售这些。这一切都是相互关联的，都是权力从始至终在哪里坐的问题的一部分？例如，谁在投资什么技术？这项技术是如何开发的？谁决定在哪里部署，在哪里销售？谁在购买？

如果我试图设想十年后的未来，这不是你和马特讨论的可怕未来，而是它的反面。这是一个能够拆除一些驱动当前技术发展轨迹的权力结构的未来。这是一个能够赋予那些通常在什么技术被开发以及如何将其用于他们利益方面没有发言权的人以权力的未来。因为我相信，正如我之前所说，

有一些方法我们可以使用这些技术并开发这些技术，以真正将人们从社会中系统性劣势和边缘化的地位中解救出来。但是我们需要提出如何做到这一点的愿景。而现在，这些愿景已经无法存在了。

现在没有时间让我们这些从事技术人权影响工作的人，更重要的是，那些受这些技术使用影响的人，来表达这些愿景。所以我没有一个具体的未来要给你或为你概述，而是一种我希望朝着定义未来面貌的方向前进的方式。我认为，为了做到这一点，对我们来说非常重要的是不要

总是采取一种立场，即每项技术的益处和风险是什么，并强迫自己从这种平衡的角度来评估我们看到的每项新的技术发展，因为到目前为止我们一直在这样做，这导致我们达到了这样一个地步：这些公司拥有巨大的霸权权力。社交媒体就是一个很好的例子。我认为多年来，我们一直强迫自己说，是的，所有这些

正在发生或我们可以预见会发生的坏事，但也考虑一下社交媒体给社会带来的所有好处，是的，但我们有理由关注这些危害，我们有理由更多地关注这些风险，因为如果我们不这样做，我们就看不到我们需要改变技术发展方式的地方，以及我们需要划定的红线以及我们需要改变什么。我们的大多数听众是公司或政府工作人员

现在，假设他们认同你所说的话。他们应该做什么？他们应该考虑什么？每个人现在应该做什么？我的意思是，无论你在哪里工作，我认为你都有责任，特别是如果你正在构建新技术，你正在为技术的发展、技术的应用、制造做出贡献。

马特和我从事我们今天谈到的某些非常具体的领域的工作。但正如我们在这通电话中提到的那样，技术应用的领域有很多我们没有参与的，例如教育、医疗保健等。这些问题存在于所有这些领域。所以我只想说，想想你的立场，你拥有的权力，你所负有的责任，要提出这些问题。

在内部，无论你在哪个组织或公司，我认为人们有时会忘记你可以在幕后将这些问题公之于众的权力。我们的一些工作非常公开，但许多这些对话和真正重要的决定都是在幕后做出的。马特，多米尼克，这对我们来说是一次很棒的不同寻常的讨论。随着消费者 AI 工具开始激增，这似乎尤其重要。虽然我们经常关注组织可以使用 AI 的积极方式，

正如我们现在所知，积极用途并不是我们使用 AI 的唯一方式。但好消息是，我们在如何使用这些工具方面拥有相当大的人为能动性。感谢您抽出时间与我们交谈。感谢您邀请我们。这是《我和 AI》第七季的结束。我们对节目的受欢迎程度感到震惊，我们非常感谢所有听众。请随时提出建议，因为我们将继续发展壮大。我们将在今年秋季晚些时候推出更多新剧集。

在此期间，请考虑加入我们的 LinkedIn 社区并对我们的节目进行评分和评论。此外，请向可能从这些对话中受益的任何朋友或同事推荐它。感谢您的支持，我们很快会再次与您交谈。

感谢收听《我和 AI》。我们相信，与您一样，关于 AI 实施的对话不会始于本播客，也不会止于本播客。这就是为什么我们在 LinkedIn 上专门为像您这样的听众创建了一个小组。它被称为 AI for Leaders。如果您加入我们，您可以与节目创建者和主持人聊天，提出您自己的问题，分享您的见解，并了解更多关于 AI 的信息。

并获得来自麻省理工学院 SMR 和 BCG 关于 AI 实施的宝贵资源，您可以访问 mitsmr.com/AIforLeaders 来访问它。我们将把该链接放在节目说明中，我们希望在那里见到您。