Tech and Ethics: The World Economic Forum’s Kay Firth-Butterfield on Doing the Right Thing in AI
32:02 Share

今天，我们播放的是由我们的朋友 Modern CTO Podcast 制作的一期节目，他们最近很友好地邀请我作为嘉宾参加。我们讨论了生成式 AI 的兴起，技术成功的意义，以及领导者在指导技术实施工作时需要考虑的一些因素。您可以在 Apple Podcast、Spotify 或您收听播客的任何地方找到 Modern CTO Podcast。人工智能治理如何帮助组织？

“治理”一词可能带有许多包袱和一些负面含义，但治理也能使组织受益，问题在于我们如何结束这个季度。我们将与凯·弗斯·巴特菲尔德进行一次讨论，她是世界经济论坛执行委员会人工智能和机器学习主管。通过与凯的交谈，我们将了解她不仅在法律领域的具体背景，而且她还将帮助我们思考本季度我们学到了什么。欢迎收听《我和 AI》播客，一个关于人工智能和商业的播客。

每周，我们都会向您介绍一位在人工智能领域进行创新的人。我是萨姆·兰斯博瑟姆，波士顿学院信息系统教授，也是麻省理工学院斯隆管理评论人工智能与商业战略大创意项目的客座编辑。

我是谢尔文·科达班德，BCG 的高级合伙人，我共同领导 BCG 在北美的 AI 实践。BCG 和麻省理工学院 SMR 共同研究人工智能已有四年时间，采访了数百名从业人员，并对数千家公司进行了调查，了解构建、部署和扩展人工智能能力以及真正改变组织运营方式需要什么。

好的，凯，首先，让我正式地说，我们很高兴今天能与您交谈。感谢您抽出时间。欢迎。谢谢。当然。凯，你有一份令人着迷的工作，或者说，实际上是几份工作。你有很多事情要做。那么，对于我们的听众来说，你能介绍一下你自己并描述你目前的角色吗？当然可以。我是凯·弗斯·巴特菲尔德，我是世界经济论坛的人工智能和机器学习主管。

所以，这实际上意味着我们与多方利益相关者合作，例如公司、学术界、政府、国际组织和民间社会，真正思考人工智能的治理

问题。当我提到治理时，我非常强调小写的“g”。我们考虑从规范到规章制度的一切。但是，我们认为人工智能较难受到监管。你能告诉我们你是如何走到这一步的吗？请简要介绍一下你迄今为止的职业生涯，以及你是如何最终担任这个职位的？

我的背景是人权律师。我是一名律师，就是那种戴假发和长袍的诉讼律师，

在我职业生涯的某个阶段，我被考虑担任司法职位。在英国，他们会友好地试探一下你是否想成为一名法官，以及他们是否认为你在这方面很擅长。我不知道他们的看法是什么，但我的看法是，这并不是我真正想要的法律职业生涯的顶峰。

我一直对技术对人类和人权的影响非常感兴趣。因此，这给了我一个重新思考我的职业生涯将走向何方的绝佳机会。因此，我很幸运能够来到奥斯汀，在那里教授人工智能、法律、国际关系。

为了继续我关于法律与人工智能、国际关系与人工智能以及这项发展中技术的地理政治影响的自身研究。然后，纯粹是出于运气，我在从希思罗飞往奥斯汀的飞机上遇到一个人。那里有 10 个小时的路程。

他是一家人工智能公司的董事长兼首席执行官，当时正在考虑人工智能伦理问题。这可以追溯到 2014 年，当时除了我和我的狗以及其他一些人之外，几乎没有人考虑过这个问题。所以，当我们下飞机时，他问我

是否愿意担任他的首席人工智能伦理官。所以，这实际上就是我进入人工智能领域的方式。但显然，随着社会正义，随着人工智能可以为社会带来什么好处，以及我们可能需要担心什么的想法，

因此，自 2015 年以来，我一直担任 IEEE 伦理一致设计倡议的副主席。我参与了 Azulimar 会议，该会议在 2015 年再次讨论了人工智能的伦理原则。

因此，我的职业生涯最终让我在 2017 年获得了在论坛的工作。我说最终，但也许不是。谁知道呢？是的，我们现在还不会称之为结束。那么，人工智能意味着什么？

好吧，部分问题和部分复杂性在于，人工智能对不同的人意味着不同的东西。对于工程师来说，人工智能意味着一种东西，而对于作为公众成员通过手机使用人工智能的人来说，人工智能则意味着另一种东西。因此，我们正在不断地改变我们的定义，并且也将继续这样做。是的，有句老话，一旦完成，它就不是人工智能了。

你认为有多少是教育，以及源于缺乏理解和缺乏教育，而不是将所有治理付诸实施中固有的技术或流程复杂性，对吧？我的意思是，我想部分原因是你无法真正管理或治理你并不真正理解的东西。这是……

大部分的战斗。一旦每个人都理解了它，因为它很常见，那么他们就会开始说，好吧，现在我们如何像治理其他任何东西一样治理它，因为现在我们理解它了。

是的，我认为这是组织变革。这是对员工的教育和培训。但它也需要非常仔细地考虑产品设计，这样，如果您实际上正在开发算法产品，那么从您构思这个想法的那一刻到您将其发布给其他企业或客户的那一刻，甚至可能在那之后，它的路径是什么？

我不禁注意到你关于治理具有负面意义的说法。但我们几年前的一项研究发现，医疗保健共享数据多于其他行业。这似乎与直觉相悖。但当我们深入研究时，我们发现他们知道他们可以共享什么。他们对此有结构。因此，这种结构使他们能够知道他们可以做什么，知道他们不能做什么。而在其他地方，当他们谈到数据共享时，他们会

好吧，我们必须与我们的合规部门核实，并必须核实我们能做什么。而且，你知道，检查要少得多，因为它是明确的，我们越明确越好。这是治理的促成因素，而不是治理的压迫因素。是的，我认为治理本身名声不好，因为，你知道，监管会阻碍创新。情况并非总是如此。是的。

我认为目前我们正在探索所有这些不同的软治理理念，主要是因为首先，是的，我们可能会看到监管。欧盟，我们将看到来自欧洲关于面部识别和人工智能在人力资源中的使用等方面的法规，因为它们被归类为高风险案例。但许多并非一定是高风险案例。它们是……

企业想要使用的东西，但他们想要明智地使用。因此，我们也创建了许多工具包，例如指南和工作簿，公司或政府可以说，哦，是的，这可以指导我完成例如人工智能采购的过程。举个例子，我们调查了我们的一些董事会成员，

他们对人工智能的理解。他们并没有真正很好地理解人工智能。因此，我们为他们开发了一个在线工具来了解人工智能，但也要说，好吧，我的公司将要部署人工智能。我的监督责任是什么？

以及冗长的问卷，如果您是审计委员会或风险委员会的成员，或者您正在考虑战略，您可能想问董事会的问题。

因此，真正深入研究董事会应该如何跨企业思考人工智能的部署。是的，因为我猜大多数人都需要这种指导。是的，大多数人肯定需要这种指导。我认为这是你提出的一个非常恰当的观点。我们不希望发生的事情是人工智能方面落后太多

理解、教育和任何技术的治理，然后它就会变成一个巨大的黑匣子，任何人都需要巨大的激活能量才能到达那里。而且，你知道，我们也从

Humana 的 Slava Kirner 那里听到过，我们从 H&M 的 Arti 那里听到过，跨组织培训的重要性，不仅仅是针对董事会，不仅仅是少数人，而是几乎对所有人来说。就像，你知道，我认为我们从保时捷那里听说过，他们实际上为他们的整个技术组织进行了培训，对吧？

这是人工智能。这就是它能做到的。这就是它可能做错的事情。这是你需要学习的。顺便说一句，这就是它如何为你提供所有这些新的设计，作为一名工程师或设计师，你可以探索这些设计来设计下一代模型。这就是它如何成为你的朋友。但我认为你指出的是，

现在是我们真正将所有这些内化的时候了，不仅仅是锦上添花，而是至关重要，我甚至可以说几乎是领先一步之前的第一步。是的，是的，绝对如此。事实上，芬兰有一家公司要求每个人学习一些关于人工智能的知识，即使是最基本的知识。他们为员工开设了一门课程，这很重要。显然，并非每个人都能掌握数学，但你甚至不必走那么远。或者应该。我不禁要从你的人权背景出发。让我印象深刻的一件事是，组织（特别是大型组织，特别是资金雄厚的组织）使用人工智能取得了令人难以置信的进步。作为个人，我们在这里有什么机会？我们每个人都需要为我们工作的人工智能吗？

我们如何赋能人们在这种可能不平衡的安排中工作？是的，我认为权力失衡是我们必须作为个人和公司来解决的问题。你知道，有些公司比其他公司拥有更多的人工智能能力，作为非营利组织，也作为世界，因为目前人工智能公司的集中度

人才、技能和工作在世界各地非常不平衡。我们真的必须从全球的角度思考如何代表人类部署人工智能，以及是什么使我们成为人类，以及我们希望在 15 年或 20 年后人工智能能够完成我们目前正在做的事情时处于什么位置。所以我认为这是我们必须进行的系统性和结构性对话。

在所有这些不同的层次上也是如此。对，系统性和结构性问题很大，因为我必须说，我认为大多数公司并不打算以邪恶的意图启动人工智能。我的意思是，他们并没有咯咯地笑着，搓着手，密谋。我认为这些事情比这更阴险、更系统化。那么我们该如何做到这一点呢？根据我与许多公司、政府等合作的经验，

我会说你是绝对正确的。公司希望做正确的事情。我们需要做的是确保我们帮助他们做正确的事情。这很可能缺乏对技术的理解会歪曲他们使用技术的方式。因此，这些都是我们一直在论坛上努力关注的领域。

这样，那些怀着正确心态使用人工智能的人最终会得到正确的结果。而且，你知道，你的公司是社会的一小部分。这个想法应该是每个人都一起工作，因为你最终会得到更好的产品。我认为根据你的观点，我们使我们的客户或公众更好地理解人工智能，

它就会不那么可怕。

我还担心，许多公司被告知要出去获得人工智能，而他们实际上并不知道他们正在获得什么，或者真正的好处是什么，或者缺点可能是什么。因此，董事会能够提出正确的问题绝对至关重要。但是，你知道，我们目前正在为不同类型的 C 级高管团队开发类似的工具包。

这样他们也能被赋能以更好地理解。但我同时也看到了从上到下和从下到上仔细思考人工智能的必要性。这就是为什么我回到你所做的调查，组织和跨组织的理解实际上非常重要。我认为你在一些人工智能的发展中看到了一些

你知道，那些一直在处理这个问题的公司，比如微软，他们组建了一个以太委员会。他们真的开始战略性地思考我们如何使用人工智能。所以我认为我们可以利用他们早期学到的经验，然后开始将其从董事会带入设计部门。是的。

而这其中的好处是，教育成分可以防止它仅仅是伦理剧场，一种薄薄的面纱，用来盖章并勾选我们已经做了伦理工作这个框。但我猜想，企业在努力教育人们理解方面的作用是什么？

拥有更好的人机协作。显然，我们已经听到很多关于人工智能可能影响工作场所和工作保障的讨论，但人们在工作中已经非常忙碌了。人工智能有什么潜力可以让我们摆脱一些这些平凡的事情，并带来更大的创新？当我们与 DHL 的 Gina Chung 交谈时，她在创新部门，而这就是他们关注人工智能工作的地方。这是白日梦吗？还是这里有潜力？

不，我认为这绝对不是白日梦。大多数人都拥有创新实验室，无论是在公司还是国家。联合国儿童基金会也有一个创新实验室。我们正在谈论儿童和人工智能创新。

因此，人工智能让我们摆脱一些我们认为是平凡的事情的潜力，它帮助我们发现新药物、应对气候变化的潜力，这些都是我继续在这个领域工作的原因。

你可能会说，好吧，你从事治理工作。这难道不意味着你只是把人工智能看作一件坏事吗？事实并非如此。举个例子，目前，我们只是使用 Zoom 进行教育就遇到了问题，因为许多孩子无法访问宽带。因此，这让我们面临农村贫困问题以及……

许多人从农村社区搬到城市。然而，如果我们看看疫情，城市往往对人类不利。因此，我们应该进行的对话以及思考人工智能将创造的创新，这些创新允许农村与城市一样富裕，

我们应该就我们的未来是什么样子进行真正深入的结构性对话。它看起来像《银翼杀手》中的城市，还是看起来像其他东西？你提到过，我想我是在暗示孩子们是一个极端，而你一直在谈论董事会级别，这似乎是另一个极端。似乎在这两个极端之间还有很多其他人需要学习如何与孩子们一起工作。

我想只是寻找一些实际的方法，企业如何让人们对机器作为队友感到舒适，而不是对普通工人作为队友感到舒适？实际上，例如，我们看到人们对机器人完全不耐烦。你知道，如果它一开始就不完美，那么我为什么要费心教这台机器如何做这件事呢？

你永远不会对另一位同事如此不耐烦。你还记得你第一次学习做一份工作的时候吗？那么，我们如何获得同样的，我想，也许是对可怜机器的同理心呢？是的，好吧，我认为，正如我所说，我认为这是公司必须实施的教育和培训环节。但是，是的。

这很重要，因为有时我们过于信任技术。所以电脑告诉我们这样做。你知道，例如，在我们遇到的刑事判决问题中，我们已经注意到这一点，法官们过于依赖机器告诉他们的这一点。因此，这种教育是为了不要过度信任机器，并且相信机器不会抢走你的工作。

不会监视你。你知道，员工害怕的事情有很多。因此，你必须确保他们对机器人或机器将与他们做什么有一些更好的理解。这是一种人机交互，而不是一方支配另一方。你对……的想法是什么？

为了带来大规模的理解和改变，不仅仅是在董事会层面，而是从组织的结构中，公司开始理解人工智能与人类之间不同的交互模式并开始测试其中一些事情有多重要？

显然，这非常重要。我们确实有一个项目，实际上是由 Salesforce 领导的，名为“负责任的技术使用”。我们在这个项目中看到的是，我们试图将所有不同的公司（如 BCG）聚集在一起，这些公司实际上正在考虑这些问题，并

并提出一些最佳实践。那么，你如何帮助你的员工真正思考与人工智能的这种互动呢？你如何确保公司本身专注于技术的道德部署以及你的员工将在哪里专门使用这项技术呢？

但他们并不害怕。我认为现在有很多恐惧，这可能根本没有用。如果你害怕某人，你显然不可能成为朋友。是的。我们看到的是，你知道，当我在 2014 年谈论人工智能和伦理时，很少有人谈论它。现在每个人都在谈论它。

不是每个人，但每个有远见的人都在谈论它。但企业正在谈论它。我们在这里谈论的是企业。企业正在谈论它。政府正在谈论它。政府正在谈论它，如果有什么不安全的东西，通常我们会规范不安全的东西。所以我认为现在是时候就这些问题进行对话了

我们是否要进行监管？我们是否要依赖更软的法律方法？因为我们正在做的事情，我们现在正在实施的是未来。这不仅仅是我们地球上的未来，如果我们要前往火星，我们将使用大量的人工智能。我们需要真正进行这些对话。我们一直在做的一件事是进行一场探讨积极未来的对话。

因此，你可以看到科幻小说的全貌，它几乎都是反乌托邦的。因此，我们想说，好吧，我们有这种人工智能的潜力。我们想创造什么？因此，我们将科幻作家、人工智能科学家、企业和经济学家以及人们聚集在一起。

真正进行这种对话。因此，我们正在就人工智能伦理进行对话，但接下来的对话必须是，我们如何系统地想要发展人工智能，以造福世界，而不仅仅是世界的一部分？我可以回忆起五年前我会进行的这类对话的味道。它非常侧重于技术。这在人工智能方面告诉你什么？

你知道，未来的人工智能领导者，你认为正确的特质、技能、类型是什么？

我认为我们会看到，所以我有人文背景，我认为我们会看到更多的人文。所以，你知道，技术人员必须处理人工智能部分。但我们知道的是，有一项 Gartner 研究表明，到 2022 年，如果我们不处理偏差，85% 的算法将由于偏差而出现错误。

如果这在任何地方都是真的，这对你的研发和公司来说都是非常糟糕的。所以我们知道我们必须创建那些多方利益相关者团队。而且，我认为人工智能的未来，这场讨论，是 ESG 的一部分。

所以我认为人工智能伦理讨论正在转向公司思考他们所做的一些事情的更社会化的领域。

而这是我们从例如 Picard Walmart 那里听到的，他们正在从宏观角度思考这些如何连接并消除流程中的低效率。这当然具有 ESG 意义。我们从我们与之讨论人工智能与商业的其他一些人那里看到的是，他们将从一个组织中所做的事情转移到另一个组织的学习。

他们已经转移了之前提到的教育组件，这并没有在公司内部发生。它发生在公司之间，也发生在职能领域之间。我们如何鼓励这种做法？我们如何让人们获得这些不同的经验？

是的，我认为这是 A，对，而且 B，非常重要的是我们这样做。所以我昨天实际上正在与某人交谈，他建立了一些关于银行人工智能的非常好的资源和培训，然后转到政府，然后转到另一个私营部门的工作，并且正在做同样的事情。

我们需要注意的人工智能培训有很多是跨部门的。

因此，我们对所有现有的伦理原则进行了有趣的考察。从北京原则到 Azulimal 原则等等，现在已经有超过 190 个了。这与 2014 年不同。这与 2014 年非常不同。过去很多人对我说过的一件事是，好吧，你到底在谈论谁的伦理？

我们发现，实际上大约有 10 件事情是所有这 190 个不同的伦理原则所普遍存在的。因此，有 10 件事情是我们作为人类在世界任何地方都关心的。

而这 10 件事情实际上是相当跨部门的。它们与安全性和稳健性有关。它们与问责制、透明度、可解释性有关。它们与我们之前讨论过的人机交互有关。然后它们与人工智能如何使我们作为人类受益有关。所以……

我认为能够将你在一个部门中学到的东西转移到另一个部门的能力很重要且相对简单。而且它似乎也很人性化。是的。我认为机器本身将会为此而挣扎，并且至少在一段时间内需要我们的帮助。哦，毫无疑问。是的。而且对这个听众来说，这可能不需要说，但值得一提的是，这些机器现在还不够聪明。

还有时间。我们仍然，我们仍然很好。谢天谢地。

好的。感谢您抽出时间与我们交谈。我们真的很享受。是的。非常感谢你，凯。很高兴听到你对这个话题的看法和领导力。非常感谢你们两位。很高兴也很荣幸能与你们在一起。我本可以聊上几个小时。但我们不能，因为这是我们这一集的结尾，也是我们第一季的结尾。感谢您收听本播客。非常感谢。

感谢收听《我和 AI》。如果您喜欢这个节目，请花点时间给我们写评论。如果您给我们发送截图，我们将向您发送麻省理工学院 SMR 关于人工智能的最佳文章合集，在有限的时间内免费提供。将您的评论截图发送至 mit.edu 上的 smrfeedback。