Bonus Episode: How Can Organizations Better Measure and Manage Artificial Intelligence?
21:06 Share

在本奖励剧集中，我们前往华盛顿特区的世界银行办公室，主持人 Sam 和 Shervin 与世界银行和乔治城大学麦克唐纳商学院的组织者 Jonathan Timmis 和 Timothy DeStefano 一起参加了 2023 年 12 月为期一天的会议“人工智能如何改变公司？”。在我们从此次活动中获得的三个奖励剧集的最后一集中，我们将探讨人工智能如何改变政策讨论，以及需要哪些新型管理。本剧集提供了小组讨论的简短收听；如需完整会议视频，请访问会议网站。嘉宾简介卡罗尔·科拉多是会议委员会杰出的首席研究员兼乔治城大学高级政策学者。奥利维亚·伊博克韦-库里是亚马逊网络服务公司美国国会和政治事务主管。斯科特·沃尔斯滕是技术政策研究所的所长兼高级研究员。尼古拉斯·佐拉斯是美国人口普查局经济研究中心的前高级经济学家。萨姆·兰斯博瑟姆是《我和 AI》的联合主持人，也是波士顿学院的分析学教授。《我和 AI》是由麻省理工学院斯隆管理评论和波士顿咨询集团合作推出的播客，由萨姆·兰斯博瑟姆和谢尔文·霍达班德主持。我们的工程师是大卫·利尚斯基，协调制作人是艾莉森·莱德和阿兰娜·胡珀。通过加入我们的 LinkedIn 群组“AI for Leaders”（mitsmr.com/AIforLeaders）或关注 LinkedIn 上的《我和 AI》，与我们保持联系。我们鼓励您对我们的节目进行评分和评论。您的评论可能会用于《我和 AI》的资料中。</context> <raw_text>0 今天，我们播放的是由我们的朋友 Modern CTO Podcast 制作的一集节目，他们最近很友好地邀请我作为嘉宾参加。我们讨论了生成式 AI 的兴起，在技术方面取得成功的意义，以及领导者在指导技术实施工作时需要考虑的一些因素。您可以在 Apple Podcast、Spotify 或您收听播客的任何地方找到 Modern CTO Podcast。

我们如何知道人工智能的真正影响是什么？我们如何为我们正在使用的人工智能工具设置正确的防护措施？这就是我们用来制作今天奖励剧集的演讲的重点。您可能还记得，Sam 和 Shervin 于 2023 年 12 月加入世界银行和乔治城大学，参加了一个关于人工智能如何塑造组织的论坛。

在本剧集中，Sam 主持了一个由四位专家组成的小组，讨论这些问题。我们希望您喜欢它，我们也希望您非常期待《我和 AI》第九季的首映，该季将于 3 月 19 日回归。在此之前，请欣赏本剧集。Olivia，你先开始吧。告诉我们一些关于你和你背景的信息。我是 Olivia Bequia-Curry。我负责亚马逊网络服务的政治和国会事务，我还负责我们的 AI 联邦政策。

Nicholas Zolis：您好，我的名字是 Nicholas Zolis。我是美国人口普查局经济研究中心商业研究领域的高级经济学家，我参与了人口普查最近的一些工作，这些工作旨在生成一些关于美国技术采用和 AI 采用情况的国家统计数据。

我是 Carol Corrado。我是乔治城大学商业与公共政策中心的高级政策学者。我之前在会议委员会和联邦储备系统工作过。

我的工作包括研究无形资本、数字创新以及技术在推动生产力方面的作用。我是 Scott Walston。我是技术政策研究所的所长，也是乔治城大学商业与公共政策中心的高级研究员。我研究反托拉斯法和监管、宽带和人工智能以及各种事物的经济学。而且，显然，我不值得信赖自己的麦克风。没错。

我们必须公开分享这一点。与其逐个介绍小组成员，我会让大家保持警惕，从 Carol 开始，她刚刚放下麦克风，然后问你，我们已经讨论了人们可以使用人工智能做到的所有令人惊叹的事情，但是很多人并没有特别使用它。什么障碍，我们能做些什么来鼓励这种行为？是什么阻止了他们？你有意见吗？有一些。首先，我……

我认为自从 2022 年 11 月 ChatGPT 发布以来，人们对使用 AI 的兴趣激增，一年多一点的时间。当我说“我们”时，会议委员会在 7 月和 8 月进行的一些调查中发现，他们对员工及其对工作的态度进行了定期调查，他们进行了一项特别调查，

询问员工是否使用过 AI。他们发现，在办公室工作人员中，实际上有 56% 的人回应说他们已经在工作中使用了

主要是生成式 AI。在营销专业人员中，回应率甚至更高，接近 90%。他们在那里使用它，他们使用多种技术。这实际上是有机的，因为一些后续问题表明，大多数人只是自己这样做的。

我的意思是，在工作时间，但他们自学并应用了他们发现可用的开源产品。所以我发现这绝对令人震惊。再说一次，我并不是说 90% 的员工。我说的是 90% 的在营销部门工作的人。我想这不足为奇。令我惊讶的是，有多少

员工正在拥抱这项技术。这不是我正在谈论的公司政策。我认为这在我们今天的讨论中还没有出现过。这很不寻常，因为我们通常认为 IT 系统是人们必须被迫使用的东西，我们必须激励他们使用它。而这是

很多有机使用。我们在 ChatGPT 之前进行了一次类似的调查，66% 的人表示他们没有使用或很少使用 AI。但是当我们问他们，那么这个工具呢，这个工具呢，这个工具呢？43% 的人说，哦，是的，是的，我用过那个。我没有意识到那也算数。所以我认为我们对使用以及使用意味着什么有一些疑问。就使用而言，它不是一个二元的“是”或“否”。

我们如何衡量使用？Scott，你对我们如何衡量使用有什么想法吗？使用是什么意思？公司使用方式与输出变化方式之间存在差异。这些都需要不同的东西。我将稍微改变一下问题。

我会把自己放在一个与平时略有不同的位置。我通常想谈论数据和我们正在做的研究，而且我通常也是那个令人讨厌的人，他说：“哦，轶事，不是数据。”相反，我要谈谈我们在 TPI 使用 AI 和大型语言模型所做的事情。我们为在我们的组织中使用而构建了自己的大型语言模型。它是公开的。你现在就可以访问它，chatTPI.org。

但它的想法是，我们在政策中处理的许多问题都是一遍又一遍地重复出现的，即使它们有一些新的化身。我们现在正在处理的一个问题是网络中立性。我在 2006 年写了我的第一篇关于它的文章。这太糟糕了。

我想，如果我不必再写这些东西了，那不是很好吗？我可以只要求某物根据我曾经写过的所有内容来写一些新的东西。我们从那里开始。现在我们有一个大型语言模型，它只根据 TPI 的文档回答问题。

所以，你知道，我认为这说明了几件事。首先，这是一种新的方式，AI 正在改变您与任何组织网站互动的方式。我们现在也为其他一些组织这样做。其次，你不需要很多资源来做到这一点。我们与我们的高级程序员一起完成了这项工作。

它腾出了时间去做其他事情。因此，我们可以衡量我们如何使用它。我们还可以衡量有多少外部人员使用它。而且，我没有跟踪我节省了多少时间，但我确实保留了我用 AI 做的所有事情的列表。这是一个很长的清单，这可能更多地说明了我过去如何糟糕地管理我的时间，或者也许现在仍然如此。但是

但这令人兴奋。我幻想将我的教学大纲加载到你的工具中，并让它在那里回答问题。对不起，Nicholas，告诉我们更多关于衡量的信息。

现在，第一个问题是如何定义使用？我们可以将使用视为业务的核心流程或方法，或者对业务非常重要的东西。但是从我们所看到的以及我们与企业本身讨论的内容来看，我们似乎认为许多这些企业偶然使用 AI，因为他们不一定意识到自己正在使用 AI，这是因为

很多时候，企业会将并非核心流程一部分的功能外包给其他公司。因此，当他们想要例如雇用某人时，他们可能不会经历这种内部流程，但他们可能会使用像 Indeed 这样的求职网站，然后该网站使用 AI 来筛选简历，使用自然语言处理来识别合适的候选人，然后将此人带进来。所以这就是，你知道，这就是

所以企业本身不知道在这个特定任务中使用了 AI，但是

但是我们如何衡量这一点呢？所以当他们说你在你的业务中使用 AI 吗？答案总是“不”，因此即使在美国人口普查局现有的调查中，我们已经进行了多年，并且这些年来我们已经提出了许多不同类型的问题，我们也得到了很大的差异和回应以及采用率，因此，你知道，为了在人们的脑海中设定一个小的

基准，当我们查看美国使用 AI 的公司数量的国家统计数据时，我们得到的结果在 3% 到 6% 之间，因此这个百分比会根据我们对 AI 的定义、我们正在讨论的 AI 的具体应用以及我们是否正在讨论特定流程或任务而有很大差异，这些流程或任务可能使用也可能不使用 AI

所以好的，答案取决于情况。我真希望我们有一些基础设施能够帮助我们使用这些工具。告诉我们组织在帮助人们使用这些工具方面所扮演的角色。是的，我认为如果您查看云服务提供商 (CSP)，那么我们更容易衡量客户使用的情况。您可以随时查看计算量。你知道，你不想监控或不想监控你的客户，但在定价或开票方面，您可以看到客户使用的计算量或存储量，或者他们使用某种服务的频率，无论它是 AI 还是传统 AI 与生成式 AI。因此，我认为作为服务提供商，很容易进行这种衡量。我认为大多数生成式 AI，如果不是全部的话，都将在云中。因此，如果您是超大规模企业或只是

CSP 云服务提供商，这是一种简单的方法。这是一种提供这些工具以高效运行和跨国际、国内、大型和小型企业以及个人等扩展这些工具的简单方法。因此，拥有云和云的可扩展性是一种非常简单的方法，可以确保……

这项技术掌握在每个人手中。所以我们要把一些技术交给每个人。你知道，那里不会出什么问题，对吧？那从来没出过问题。我们需要以任何方式对其进行监管吗？Carol，我知道你对此有一些想法。是的，我有一些想法，但我来自某种角度，那就是

让我首先声明一下，我认为我们不应该对这项 AI 技术进行与我们监管人类做同样事情不同的监管。这很好。第二，正如我评论过员工对技术的这种有机采用一样，

一些 AI 工具。在公司中更高层次的层面，更多的是在高管层面，正在利用实际上是 AI 的一个子领域，称为可解释 AI。为什么会这样呢？好吧，这是有机产生的，不是因为某些法规，而是因为高管或经理想要

利用这项技术，但习惯于向提供解决方案的分析师提问。例如，你是如何得出选择 A 而不是 B 的结论的，让我们假设一下。所以，你知道，现在……

可以嵌入到传统 AI 中的工具，我可以使用这个词吗？这并不令人惊讶。他们可以吐出生成选项 A 与选项 B 的模型的哪些特征。他们可以制作部分依赖图。他们可以进行反事实分析。

这有助于理解为什么做出特定预测。我的意思是，这根本不应该令人惊讶。我的意思是，我在美联储做了多年的宏观经济预测员，你永远不会只是说，哦，明年的 CPI 将为 3%，句号，句尾。你总是会说，为什么？所以这就是……

商业决策者想知道的是，瞧，这种问责制实际上只是通过经典统计工具的变体来利用的，说实话。

我本来想说，关于 AI 输出如何透明是您将在高级别看到的，但我们在所有级别的客户那里都看到了这一点。因此，您可以拥有所谓的模型卡、服务卡，这些卡会告诉您关于 AI 输出如何测量或交付的非常通俗易懂的非技术性解释。我认为这是更多……

你知道，外行人，不一定是商业领袖，只是普通消费者想知道的。我认为这确实是，因为您可以在高管层获得幕后高级解释，但是对于想要解释的普通消费者来说，这就是您真正需要努力确保其可用性以及某些东西的时候了。

几乎没有分类，但对于所有 AI 模型来说都是必需的。我认为在 Scott 准备好的同时，我认为这很有趣，因为你使用了“部分依赖图”这个词，这在我看来并不是外行人的解释。是的。所以我们必须看看。我的意思是，显然有一些，你知道，是谁。是的。

所以继续，对不起。哦，是的。我的意思是，还有关于透明度意味着什么以及人们在得到答案时真正想知道什么的问题。有时我不关心它是如何得到答案的，但我想看看它的参考文献。这就是我们在我们的工作中投入大量精力的事情之一，它有引文。我不知道它在其黑盒中做了什么，但重要的是我可以去检查它做了什么。所以我认为有一些区别，这取决于应用程序。

当您询问监管时，我认为到目前为止我们看到的法规的问题在于，它们主要关注最糟糕的结果。因为我们几十年来一直被训练成要夸大其词。我的意思是，这是许多精彩电影的情节。是的。

以至于我们很难理性地思考它。而且，你知道，这里的行政命令，欧洲的《人工智能法案》，它们都集中在避免这种最糟糕的事情上。我是在夸张。但这需要比这更细致入微。而且，你知道，包括考虑它即使在政府内部也能发挥作用的方式，

我很久以前就写过关于生成式 AI 大型语言模型创建对政府评论请求的回应的可能性。而且，你知道，现在他们已经收到了大量自动生成的回应，有人可以访问网站并点击一个按钮，然后发送它。最终，他们将拥有数千个，你知道，20 页大型语言模型创建的。然后

政府将需要它自己的人工智能大型语言模型来尝试处理它，对吧？你并不一定想禁止它。我还确实使用大型语言模型创建了一个回应。我们没有提交它，因为它还不够好。顺便说一句，你没有提交它。对。但我认为有很多……我的意思是，这是两件不同的事情。有不同类型的透明度，你想考虑一下对用户来说，为了信任输出，需要知道什么重要的事情。另一个方面是监管，我认为我们还没有考虑……

成本和收益的理性方式。我认为它的成本很有趣，因为正如你所指出的那样，新闻周期依赖于极端情况。而且，你知道，

我讨厌总是挑剔汽车，但今天会有很多人死于人类驾驶员造成的车祸，这不会出现在头版。但我几乎可以保证，如果以任何方式涉及 AI，那将是任何灾难的头条新闻。因此，它会助长这种循环：要么 AI 将解决我们所有的问题，要么 AI 是世界上最糟糕的事情，没有任何中间地带。

是的，我的意思是，我同意。我认为，在任何监管措施出台之前，部分问题在于，人们对 AI 对公司有何影响仍然知之甚少。因此，一个直接的担忧，显然，这已经引起了媒体的广泛关注，那就是 AI 将取代就业岗位并导致大量的自动化。因此，我们需要考虑如何……

未来工人将如何赚钱，他们将做什么以及替代。因此，在我们的一个调查中，我们询问了采用 AI 的公司，这如何影响员工？它是否导致雇用更多员工，解雇更多员工？它对员工构成有何影响，就生产工人与非生产工人而言？它如何影响员工的技能水平，员工的平均技能水平？现在，当然，

所有这些回应都是自我报告的，所以你可以带着一点疑问来看待它。但对于绝大多数公司来说，70% 的公司回应说，采用 AI 并不会导致员工构成发生任何变化，例如员工数量或员工类型没有任何变化。如果有变化，则更有可能发生积极变化，即导致更多招聘。所以这就是

与 AI 带来的某些生产力提高相符。但我们看到的最大变化是那些采用 AI 的公司的员工的技能构成，他们培训了他们的员工，因此他们需要的技能水平略高于之前采用 AI 之前的水平。因此，我认为在任何正式监管措施出台之前，我们需要更好地了解这些问题。感谢各位小组成员抽出时间与我们交谈。感谢大家。谢谢。

感谢收听《我和 AI》。我们相信，与您一样，关于 AI 实施的对话不会就此播客而停止。这就是为什么我们在 LinkedIn 上专门为像您这样的听众创建了一个小组。它被称为“AI for Leaders”。如果您加入我们，您可以与节目创建者和主持人聊天，提出您自己的问题，分享您的见解，

并获得来自麻省理工学院斯隆管理评论和波士顿咨询集团关于 AI 实施的有价值的资源，您可以通过访问 mitsmr.com/AIforLeaders 来访问它。我们将把该链接放在节目说明中，我们希望在那里见到您。