Building Trustworthy AI: A Holistic Approach
26:41 Share

倡导以道德的方式构建和部署人工智能，这不再仅仅是一个合规性问题，更是企业发展的当务之急。在本期 IBM 智能对话节目中，马尔科姆·格拉德威尔与耶鲁大学幸福实验室主持人劳里·桑托斯博士以及 IBM 咨询公司 AI 信任实践负责人菲德拉·博伊诺迪里斯探讨了这一话题。菲德拉在 IBM 的团队正在创造性地应对全球构建值得信赖的 AI 的需求，他们采用整体方法来应对这一挑战，在问题出现之前就运用设计思维来解决问题。此为 IBM 付费广告。请访问 omnystudio.com/listener 获取隐私信息。</context> <raw_text>0 哈喽，哈喽。欢迎收听 IBM 智能对话，这是普希金工业、iHeartRadio 和 IBM 联合推出的播客节目。我是马尔科姆·格拉德威尔。在本季节目中，我们将与新一代创作者、开发者、数据科学家、首席技术官以及其他有远见的创新者们对话，他们正以富有创造性的方式将技术和商业应用于推动变革。他们运用自身的知识和专业技能，正在开发出更具创造性和有效性的解决方案，无论行业如何。

我们今天的嘉宾是菲德拉·博纳迪里斯，IBM 咨询公司的 AI 信任实践负责人。倡导负责任地构建和部署人工智能，这不再仅仅是一个合规性问题，而是一个企业发展的当务之急。菲德拉工作的一部分是帮助公司在编写任何代码之前就识别潜在的风险和陷阱。

在今天的节目中，您将听到菲德拉在 IBM 的团队是如何整体性和创造性地应对这一挑战的。菲德拉与普希金播客《幸福实验室》的主持人劳里·桑托斯博士进行了对话。劳里是耶鲁大学的心理学教授，也是人类认知和阻碍更好选择的认知偏差方面的专家。让我们开始访谈吧。♪

菲德拉，我很高兴今天有机会和你聊聊。你知道，首先，我想知道，你是如何开始在 IBM 担任这个职位的？比如，你是如何走到今天的？哦，天哪。我的背景实际上来自娱乐视频游戏领域。所以人工智能一直让我非常感兴趣，尤其是在人工智能与游戏相结合的时候。

但几年前，我开始对新闻中关于恶意使用人工智能的报道感到非常沮丧。我学习得越多，研究得越多，我就越认识到，即使是那些拥有最好意图的组织也可能无意中造成潜在的伤害。所以这太酷了。我喜欢你对更负责任的人工智能的兴趣来自游戏世界。所以，谈谈你与游戏的历史，以及它是如何影响你对值得信赖的人工智能的兴趣的。嗯，在我从事游戏工作时，并不是人工智能的伦理成分，而是更多像

看看非玩家角色能做什么。我的意思是，如果你有一个充当游戏角色的人工智能，那么你如何才能使用人工智能来使游戏体验更有趣呢？实际上，我最终加入 IBM 是为了成为我们第一个全球负责人，负责一项名为“严肃游戏”的东西，也就是当你使用视频游戏来做一些娱乐以外的事情时。

所以，将真实数据和真实流程整合到由人工智能驱动的复杂游戏中以解决复杂问题。直到后来，正如我提到的那样，当我们开始听到越来越多关于问题的新闻时，关于可能发生的事情，关于渲染或发布不准确或不公平的模型。是的。

我知道你从你所做的其他采访中获得的灵感之一是科幻小说。我也是一个科幻迷，我知道科幻小说已经谈论了很多关于我们在处理人工智能时出现的可信度问题等等。所以，谈谈你是如何将这些带到你的工作中，来开发更具伦理道德的人工智能的。一个很好的问题。我的父母都是主要的科技爱好者。他们都是美国移民，来这里学习工程学，他们在

大学相遇，在我成长的过程中，我和我的妹妹每天晚上都在看《星际迷航》。我的父母都是吉恩·罗登贝瑞的忠实粉丝，他设想技术可以真正用来更好地帮助人类。当然，这就是我们成长中的信条。

科幻小说的妙处不在于它预测了汽车，例如，而在于它预测了交通堵塞。我认为我们可以从科幻小说中学到很多东西，或者像我说的那样，将游戏作为一种教学机制。科幻小说预测交通堵塞。我喜欢这个。但是当我们考虑人工智能和科幻小说时，我们需要小心。

我们需要记住，人工智能并不是将来某个时候才会进入我们生活的东西。人工智能就在我们周围。如果你家里有虚拟助手，那就是人工智能。你的手机应用程序预测交通？人工智能。当流媒体服务推荐电影时？你猜对了，人工智能。菲德拉说，人工智能可能在幕后决定你的贷款利率。

甚至你是否是申请工作的合适人选。人工智能既无处不在又无形，这就是为什么公司必须学习如何构建值得信赖的人工智能如此重要的原因。

我们该如何做到这一点？当考虑获得对人工智能等事物信任需要什么时，需要提出一些根本上以人为本的问题，对吧？例如，这个特定的人工智能模型的意图是什么？该模型的准确性如何？它公平吗？如果它做出可能直接影响我生计的决定，它是否可以解释？

我可以询问你使用了关于我的哪些数据来做出这个决定吗？它是否保护我的数据？它是否健壮？它是否受到保护，以防止那些可能会欺骗它来让我处于劣势的人？我的意思是，有很多问题需要问。

获得对人工智能等事物的信任，从根本上来说不是一项技术挑战，而是一项社会技术挑战。它不能仅仅用工具来解决。

在开发这些技术以确保它们尽可能值得信赖时，公司需要考虑哪些类型的风险？嗯，你知道，他们可能会投入大量资金投资人工智能，但这些人工智能却陷入概念验证阶段，就像它陷入试点阶段一样。我们进行了一些研究，发现大约 80% 的人工智能投资都陷入了

有时是因为投资没有直接与商业战略挂钩，或者更常见的是，人们根本不信任人工智能模型的结果。

作为一个当然在深入思考这个问题的公司，企业在试图弄清楚如何解决人工智能伦理这个大难题时需要考虑什么？必须采取整体方法。因此，你必须考虑，例如，你的组织内部需要什么样的文化才能真正负责任地创造人工智能？

有哪些流程可以确保你遵守规定，并且你的从业人员知道该怎么做？然后，当然还有可以帮助你完成这项工作的 AI 工程框架和工具。从根本上来说，还有很多事情要做。

我们发现，实际上，那些在其组织内部领导负责任的人工智能、值得信赖的人工智能倡议的人员在过去三年中发生了变化。过去，通常是技术领导者，例如首席数据官或机器学习博士。而现在变了。

80% 的领导者现在是非技术业务领导者，可能是首席合规官、首席多元化包容性官、首席法律官。所以我们看到了转变。我相信，这是组织的认识，他们看到为了真正做好这件事，必须进行投资和关注

文化、人员，以及让人们理解为什么他们应该关心这个领域。所以我认为这样做有两个挑战，对吧？一个是，很多这些科技公司都是为了成为科技公司而建立的，而不是社会科技公司，或者拥有这种培训和伦理等等。另一个问题似乎是你真的提出了一种真正整体性的转变，对吧？这就像重新思考公司如何看待其

底线。因此，当你考虑在 IBM 解决这些挑战时，你是如何解决这个问题的？你是如何引进新人才的？你是如何认真思考这种需要发生的重大整体性转变，以使人工智能更值得信赖的？数据是人类经验的产物。如果你以此作为你的定义，然后考虑，嗯，

数据由数据科学家整理。所有数据都有偏差。因此，如果你没有睁大眼睛识别偏差，那么最终你就会将系统性偏差固化到像人工智能这样的系统中。

因此，我们在 IBM 做的一些事情，再次认识到对文化的重要需求，那就是非常非常重视多样性。不仅要查看数据科学家团队，并说，这个团队有多少女性？这个团队有多少少数民族？还要坚持认识到我们需要引进具有不同世界观的人。例如，你在这里对公平的定义是什么？

你的定义是平等还是公平？还要引进具有更广泛技能和角色的人，包括我们的社会科学家、人类学家、社会学家、像你这样的心理学家，对吧？行为科学家、设计师。我的意思是，我们有……

世界上领先的 AI 设计实践之一。我的意思是，我们一直在设计思维方面进行的努力和投资，作为一种机制，可以在编写任何代码之前就创建系统性同理心的框架。因此，人们可以考虑如何设计以减轻任何潜在的伤害，不仅要考虑你组织的价值观，还要考虑个人的权利？对。

问自己这些问题会强化这样一个观点，即伦理道德不是在最后才出现，就像某种质量保证一样，“检查，我通过了审核，我可以走了。”相反，实际上，一旦你考虑将人工智能用于特定用例，就要考虑这个模型的意图是什么？我们最终希望与人工智能建立什么样的关系？

再说一次，这些不是技术问题。这就是社会科学家发挥作用的地方，让社会科学家参与你的团队，帮助思考这些问题至关重要。让我们在这里暂停一下，因为这是一个非常深刻的想法。构建负责任的人工智能并不意味着你创建一个系统，然后在最后检查一下，看看是否可以？这是否符合道德？

如果你没有在流程结束之前提出这些问题，那么你已经失败了。你必须从一开始就考虑伦理道德。从团队的构成，到你用来训练模型的数据，到所有最基本的问题，这甚至是人工智能的正确用例吗？IBM 的最大教训是：负责任的人工智能是你在这个过程的每个步骤中构建的东西。

所以本季的《IBM 智能对话》都关注商业中的创造力。我猜想，考虑值得信赖的人工智能需要大量的创造力，但谈谈你认为这项工作最具创造力的方面。哦，天哪。我认为特别要融入设计，设计思维，以及直接的设计，以便负责任地设计人工智能。

你使用了这个词“设计思维”。所以我想知道你在这里到底是什么意思。你如何定义这个“设计思维”的概念？设计思维是我们多年前在 IBM 建立的一种实践。本质上，它是一种与人们一起工作以共同创造某种东西、产品或服务或结果的方法。

它通常从以下方面开始，例如，同理心地图。如果你正在考虑最终用户，考虑一下这个人正在思考什么、看到什么、听到什么、感觉什么，他们正在经历什么，以便最终为他们创造一个专门针对他们的体验？所以我们在关于值得信赖的人工智能方面以各种不同的方式使用它。

甚至将人工智能模型对主题进行解释。我给你举个例子。我们在 IBM 有一个很棒的项目，叫做我们的技术学院，我们承担一些倡议，引导公司朝着创新的新方向发展。所以我们有一个倡议，标题是《泰坦尼克号教会了我们关于可解释人工智能的什么》。

该项目设想如果有一个人工智能模型可以预测乘客获得泰坦尼克号救生艇的可能性。我们分成两个工作组。一个是充满数据科学家的工作组，他们使用所有不同的解释器来提出预测，他们会计算出数字。

另一个团队，社会科学家和设计师在这里，对吧？我们正在考虑

我们如何赋能人们？我们如何解释这种算法和这种预测器以及这种预测背后的准确性，以便最终赋能最终用户，以便他们可以决定，“我不上那艘船”，或者，“我想再咨询一下，请”，或者，“我想质疑

这个模型的输出，因为我昨天刚升级到头等舱。明白我的意思吗？这需要很多创造力。你如何为某人设计一种体验，以便最终赋能他们？所以设计、设计、设计至关重要，至关重要。为什么我说，我们必须扩大范围，考虑邀请谁参加这些对话。

花时间真正了解他人的观点，当你做任何有创造性的事情时，这一点非常重要。它是新一代创作者工作方式的基础。你应该始终问的核心问题是，用户将在哪里遇到这个产品？正如菲德拉所说，他们会思考什么、看到什么、听到什么、感觉什么？

如果你能够像 IBM 在其设计思维实践中那样回答这些问题，那么你将能够很好地创造几乎任何东西。让我们听听它在实践中是如何运作的。

所以我们一直在元层面上讨论如何普遍地思考人工智能伦理。但当然，这在实践中发生的可能性是，客户联系 IBM，他们需要帮助解决人工智能中的特定问题。所以我想从客户的角度来看，你从哪里开始进行这些艰难的对话？说实话，这各不相同。我们有一个客户联系我们，希望扩展人工智能模型的使用，并

推断其员工的技能，但不仅仅是推断他们的技术技能，还有他们的软性基础技能。意思是，让我用人工智能来确定你可能是什么样的沟通者，劳里，对吧？其他人可能会来找我们

好的，我们认识到我们需要帮助建立人工智能伦理委员会。这是你能帮助我们的吗？或者我们有这些价值观，我们需要制定人工智能伦理原则和流程来帮助我们确保我们遵守即将出台的法规。或者我们有一些客户来找我们说，请培训我们的人员如何评估人工智能。

寻找人工智能模型中的意外模式，然后还要如何整体地减轻风险以防止任何潜在的伤害。这些都是非凡的参与。

它们是巨大的学习时刻。所以看起来 IBM 通过这个过程带来的真正附加值不仅仅是提供人工智能算法或咨询一些人工智能算法。看起来真正增值的价值是解释这种设计思维是如何运作的。你就像一个治疗师或一个非常好的酒保，与人们交谈，与整个公司交谈，以试图找出他们在实施这些事情之前在哪里走错了路。

我可以把首席酒保官写在我的名片上吗？我喜欢这个比喻。我会告诉你，我们团队中一些对该项目最有价值的人，我们有一位工业组织心理学家，我们有一位人类学家。这就是为什么我说重要的是我们要引进社会科学家，因为你说的完全正确。

这不仅仅是仔细检查算法的状态。你必须考虑它如何被整体地使用。所以如果我是一家企业，正在考虑像 IBM 这样的公司如何能够参与并帮助构建更值得信赖的人工智能，那么这个过程到底会是什么样子？

嗯，我们发现，通常情况下，在更广泛的组织内部会有较小的团队，他们要么负责合规性。

并看到墙上的字迹，或者他们一直在投资人工智能，并试图弄清楚如何让组织的其他成员参与到建立伦理委员会或制定原则等事情中来。所以我们为帮助公司做到这一点所做的一些事情是，我们启动了与

我们所谓的“领导者人工智能”研讨会。一方面，它是在教导你为什么应该关心。但另一方面，它旨在让组织中的每个人都感到兴奋，他们想要举手说，我想代表这部分。例如，我想成为伦理委员会的一部分，因为它正在成立。困难的部分不是技术。

困难的部分是人的行为。我知道鉴于你的背景，我是在对牛弹琴。作为一名心理学家，听到这个真是太好了。我像在打响指一样，布道。没错。困难的部分是人的行为。所以这就像从消防水龙头上喝水一样。我的意思是，就我们所有人都在学习的事情而言，还有很多东西要学习。那些有幸能够

能够学习数据伦理或人工智能伦理课程的人，将自己归类为编码人员、机器学习科学家或数据科学家，这让我很生气。如果我们生活在一个人工智能被用来做出可能直接影响我们生计的决定的世界中，我们需要了解更多。我们需要提高识字率，并确保信息的可及性保持一致

这样我们就可以说，你不必只对编码感兴趣，就像你对社会正义、心理学或人类学感兴趣一样。这里有你的位置，因为我们非常需要你。我们非常需要这种技能。让人们思考一下，鉴于同理心视角来保护人们，你如何设计一些东西？我的意思是，我认为这是一项非常重要的技能。

我喜欢你方法的一点是，当你与客户交谈时，你几乎是在做我作为教授所做的事情，你是在指导学生，让他们以不同的方式思考。但我知道在我的领域里，我从学生那里学到的东西和我认为他们有时从我这里学到的东西一样多。

所以我想知道，在帮助这么多企业更道德地使用人工智能的过程中，你学到了什么？比如，你通过与客户的互动以及他们面临的挑战，是否获得了一些见解？我每一次互动都在学习。例如，

在我看来，鉴于 IBM 在制定我们的原则、支柱、伦理委员会方面的经验，有一个流程需要遵循，对吧？如果你把它想象成一本书，这些就是为了……

优化方法，比方说。但有时我们与客户合作，他们说，我要安装这个工具，我想跳到第七章。就像，哦，好吧，你知道，我们如何帮助那些想要跳过我们认为重要的步骤的客户？

另一个是，再次，社会科学家和他们的参与，真正推动了什么是这个数据的正确背景。再次告诉我起源故事，就像真正推动我们认真思考并从他们的角度思考一样，你知道。

你知道，持续不断的学习，这就是为什么我们在 IBM 做的一件事是，我们建立了一个叫做卓越中心的东西，我们说，你知道吗，IBM 的员工，我们不在乎你的背景是什么。我们不在乎你是谁。如果你对这个领域感兴趣，你可以成为会员。卓越中心是我们拥有的一种方式……

不仅是人们可以加入以获得真实生活经验的项目，还可以分享反馈。这就是我们学到的。我们与这位特定客户一起做了这件事。这是我们的顿悟。因为如果我们不分享反馈，并且我们没有不断地进行教育，那么我们就错过了建立正确文化的机会。建立分享我们正在学习内容的正确文化非常重要。

所以我想以我们开始的地方结束，你和你的科技爱好者家庭一起观看《星际迷航》。我认为如果我们快进几十年，我们可能无法想象我们现在会处于人工智能的这个位置，尤其是在我们思考更值得信赖的人工智能时。所以，你知道，随着现在正在发生的这种变化，随着它成为消防水龙头的现实，随着时间的推移，它只会变得更加强大。你认为在思考更值得信赖的人工智能的世界中，接下来会发生什么？是的。

我认为接下来是更多的教育，更多的理解。我们开始看到这种转变越来越多了。首席执行官们说，是的，伦理必须成为我们业务的核心。但是有一个转变。在 2018 年，几乎只有一半的首席执行官表示人工智能伦理对他们的业务至关重要。而现在你说的绝大多数。所以……

教育、教育、教育。再说一次，我想强调的是，让它更容易被更多的人所接受，这意味着它不仅仅是……

我们在高等教育机构的课程，是我们的会议，是我们每次撰写白皮书、发表文章、进行像这样的播客时。我们谈论这个领域的方式必须更容易被接受，并且对具有不同角色、不同技能、不同世界观的人们更开放和更具吸引力，否则，我们只会将我们自己的偏见编码进去。

菲德拉，我想感谢你今天让更多的人更容易理解人工智能。这是一次非常愉快的谈话。非常感谢你加入我。我很荣幸，劳里。感谢你成为完美的主人。我想以劳里建议菲德拉实际上是 IBM 的首席酒保官的那一刻结束。不仅仅是因为这是有史以来最好的 C 级高管职位。

而是因为它触及了我认为是今天节目中最大、最重要的想法。菲德拉在她说“困难的部分不是技术，困难的部分是人的行为”时将其概括为一行。为什么构建人工智能如此复杂？因为人是复杂的。

IBM 相信，从一开始就在人工智能中建立信任可以带来更好的结果，并且为了构建值得信赖的人工智能，你不仅需要像计算机科学家一样思考。你需要像心理学家一样思考，像人类学家一样思考。你需要了解人。

IBM 智能对话由莫莉·索西亚、亚历山德拉·格里顿、罗伊斯顿·伯瑟夫和埃迪思·鲁西洛与雅各布·戈德斯坦制作。我们的编辑是珍·格雷拉。我们的工程师是杰森·甘布雷尔、莎拉·布鲁格尔和本·托利迪。主题曲由 Gramascope 创作。特别感谢卡莉·米利奥雷、安迪·凯利、凯西·卡拉汉和 8 Bar 和 IBM 团队，以及普希金营销团队。

IBM 智能对话是普希金工业和 iHeartMedia 制作的节目。要查找更多普希金播客，请在 iHeartRadio 应用程序、Apple Podcasts 或您收听播客的任何地方收听。我是马尔科姆·格拉德威尔。此为 IBM 付费广告。