We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode EP 536: Agentic AI - The risks and how to tackle them responsibly

EP 536: Agentic AI - The risks and how to tackle them responsibly

2025/5/30
logo of podcast Everyday AI Podcast – An AI and ChatGPT Podcast

Everyday AI Podcast – An AI and ChatGPT Podcast

AI Deep Dive AI Chapters Transcript
People
S
Sarah Bird
Topics
Sarah Bird: 随着生成式AI和代理AI的快速发展,以及多代理AI的出现,负责任的AI面临着新的挑战。我的团队致力于识别新兴AI系统中的风险,并开发工具和技术来测试、缓解这些风险,并使其他人能够成功地做到这一点。人们对负责任的AI的意识和参与度显著提高,这与几年前的情况大不相同。以前,客户认为在AI旅程的早期阶段无需考虑负责任的AI,但现在他们首先询问负责任的AI。媒体和组织在提高人们对AI风险的认识方面发挥了重要作用。我没有预料到这个领域在成熟度和理解力方面会增长这么多。代理AI之所以快速发展,是因为它更完整地实现了AI技术的承诺,能够执行任务,减轻人们的思考负担。代理AI能够代表用户执行任务,这意味着出错的可能性增加,潜在的影响也更大。由于代理AI在没有人工干预的情况下工作更长时间,因此失去了人工监督这一重要缓解措施。需要调整系统来管理、保护和管理这些新的实体,就像管理用户、应用程序和设备一样。代理AI带来了新的风险,例如偏离任务或意外泄露敏感数据。目前实践中的多代理系统将任务分解为子任务,使每个代理都能擅长于较小的任务。这种方法允许对每个代理进行专门测试,并设置护栏以确保它们仅执行特定任务。我对这种多代理模式感到非常兴奋,我们认为人们可以利用它取得成功。当管理更复杂的系统时,需要将系统分解为组件,以便仍然管理每个单独的代理。Foundry observability提供了一个代理监控系统,可以查看代理是否偏离任务,以及是否难以找到合适的工具。需要在单个代理级别保持可见性,以确保安全实践,例如最小权限访问。即使是多代理系统,也应该像管理单个代理一样,对每个实体进行管理并设置护栏。以前,人类在内循环中执行小任务并进行检查,但现在人类更多地转移到外循环中。用户需要更多的测试和监控工具,以便在部署前确保代理系统正常工作,并在代理偏离任务时进行干预。Foundry observability中的监控和护栏可以检测代理是否偏离任务,是否理解用户意图,以及选择工具的准确性,并在出现问题时提醒管理员或用户。人机协作仍然需要,只是人类干预的阶段发生了变化,更多地是在开发前进行测试,以及在部署后进行监控和管理。需要测试组件和系统,并构建测试范例,但不同之处在于需要测试不同的行为和风险类型。我的工作是构建测试系统,以便人们可以测试新的风险类型,例如系统是否理解用户意图,是否容易受到提示注入攻击,以及是否产生版权材料。根据不同的应用场景,需要进行特定的测试,以确保系统适合其用途。许多组织没有意识到应该进行多少测试,因此在最后阶段才开始投资测试,以建立信任。我们在构建AI系统时,应该从系统应该做什么开始,并在系统开发的每个迭代过程中共同开发测试,以评估不同的风险和系统质量。在生成式AI时代,负责任的AI的重点是系统是否产生有害内容,用户是否可以越狱,以及是否意外产生版权材料。代理本质上是部署在系统中的新实体,因此需要像保护和管理用户一样,保护和管理AI。重点更多地放在如何像保护和管理其他事物一样保护和管理AI,而不仅仅是AI的新风险。我们发布了一个新的Entra代理ID,以便可以在系统中跟踪代理,就像其他任何事物一样,并确保将此治理和安全平面与开发人员正在做的事情联系起来。随着代理系统的能力越来越强,负责监控和观察这些代理的人也需要改变他们的技能。我们需要更多的人工智能界面创新,以便人类能够在代理世界中进行有意义的干预。Microsoft Research发布了一个名为Magentic UI的研究系统,用于实验用户与代理交互的不同界面。我们需要更周到地考虑如何让人类以他们能够理解的方式进行表达,并以他们能够做到的方式进行管理,同时仍然发挥他们的作用。我们可以提供工具来弥合AI系统正在做的事情与用户或管理员想要指定的内容之间的差距,从而帮助使这些界面感觉自然,并使AI和人类协同工作。国际安全报告中提出的分类方法分为三种风险类别:故障、滥用和系统性风险。故障是指AI系统做了一些不应该做的事情,例如产生有害内容、混淆并偏离任务或意外泄露敏感数据。滥用包括因不理解AI系统而误用,以及故意滥用这些系统。通过教育和周到的用户界面来解决因不理解AI系统而造成的误用,并使用护栏、监控和防御措施来解决故意滥用。系统性风险是指与AI相关的更广泛的社会和经济影响,例如劳动力准备不足。解决系统性风险需要政策、教育和技能提升计划,而解决故障则需要更多的技术手段。激励人们尝试新工具至关重要,领导力和文化因素在激励人们和让他们兴奋地尝试新工具方面起着重要作用。教育至关重要,工具在某些方面效果很好,但在所有方面效果都不好。在团队内部分享经验,学习哪些模式有效,哪些模式无效,并共同学习。在技术更加成熟并且我们拥有更多标准模式时,更容易说这是你如何使用它的,去做吧。必须睁大眼睛进入,了解风险,理解风险,并适当地选择用例和事物。必须进行投资,不要在不投资测试的情况下就发布这些系统。制定一个有意的负责任的AI计划,这是我们看到的最有效的组织。

Deep Dive

Shownotes Transcript

这是 Everyday AI 节目,一个日常播客,我们简化 AI 并将其力量带到您的指尖。每天收听实用建议,以提升您的职业、业务和日常生活。负责任的 AI 过去要简单得多。

我认为它从来不一定是简单的,但是随着生成式 AI 的变化速度以及我们在各地的科技巨头公司看到的关于自主式 AI 乃至多自主式 AI 的一切,我认为它改变了负责任的 AI

对。因为过去是,嘿,一个人进来,与 AI 聊天机器人交谈,你可能更准确地理解组织需要为这项工作设置哪些防护措施。但是现在我们谈论自主式 AI 时呢?这如何改变事情?

伦理、治理、我们作为商业领袖需要承担的责任,以便使这项工作以正确的方式进行。然后,当涉及到多自主式 AI 时,当代理在彼此之间交谈,分配任务并代表我们执行任务时,这会如何改变事情?这些都是大问题。我没有所有答案,但今天我有一位非常棒的嘉宾可以解答。好了。

我很期待这次谈话。我希望你也一样。大家好!我的名字是 Jordan Wilson,欢迎来到 Everyday AI。这是您的每日直播播客和免费每日新闻通讯,帮助我们所有人不仅跟上 AI 的步伐,而且了解我们如何利用它来取得进步,发展我们的公司和职业。所以,如果这听起来像是您正在尝试做的事情,那么它就从

这里开始直播播客。但是您需要去的是我们的新闻通讯。我们将回顾今天谈话中最重要的见解。因此,请务必在 youreverydayai.com 上注册免费的每日新闻通讯。我们还将提供 AI 世界中发生的其他一切事情。因此,在大多数日子里,在我们开始节目之前,我们会回顾 AI 新闻。今天不做这件事。因此,您可以直接查看新闻通讯。

好了,我说的够多了。让我们邀请今天的嘉宾。我很期待这个。多自主系统以及我们如何负责任地做到这一点。信不信由你,我认为我每天都在思考这个问题。我有很多问题,也许你也有。我很高兴现在有人可以帮助我们解答这些问题。因此,直播观众,请帮助我。欢迎来到节目。

Sarah Bird,微软负责任 AI 首席产品官。Sarah,非常感谢您加入 Everyday AI 节目。感谢您的邀请。我很高兴来到这里。好了。我很兴奋。但在我们深入探讨这个话题之前,您能否让大家知道,您在微软负责任 AI 首席产品官的职位上到底做什么?这似乎是一项巨大的工作,对吧,就其涵盖的内容而言。但是你做什么?

是的,你知道,这涉及到很多不同的事情,但核心是,我们关注在新的 AI 系统中出现的新兴风险,然后弄清楚我们如何实际解决这些风险?测试需要什么?减轻风险需要什么?然后我们如何让每个人都能做到这一点?因此,我的团队在弄清楚这些模式后,会构建工具和技术,让每个人都能成功地做到这一点。

我在开头稍微谈到了这一点,关于

AI 在过去几年中发生了如此巨大的变化,对吧?但是,从大约五年前我们第一次看到生成式 AI 技术的端倪到副驾驶已经推出近三年了,我认为,对吧?您的角色以及微软围绕这项技术构建的产品是如何变化的?在过去几年中,它发生了多么剧烈的变化?

是的,我认为,你知道,在某些方面它非常相似。我们试图弄清楚如何确保 AI 符合我们的原则,我们可以负责任地构建它,人们可以负责任地使用它。但我认为发生变化的一件大事是人们的意识

对这件事有多重要以及参与程度的意识。所以我觉得在生成式 AI 真正兴起之前,我一直在这个领域工作,我会与微软的客户会面并分享我们正在做的事情。他们说,微软这样做真是太好了,但我们还处于 AI 之旅的早期阶段。因此,在我们甚至考虑负责任的 AI 之前,我们必须变得更加复杂。现在,人们在开始使用 AI 之前首先询问的是负责任的 AI,这非常好。所以我真的没想到

这个领域在成熟度和理解方面会有如此大的增长。实际上,我将此归功于媒体和您这样的组织,他们正在帮助传播这一信息,以便人们了解风险以及为什么这很重要。但这是一种,你知道,这是一个很大的变化。

是的,我认为,你知道,风险和变化是现在任何商业领袖心中都在考虑的两个话题。对。嘿,提醒一下我们的直播观众,如果您对 Sarah 有任何问题,现在是提出问题的好时机。但是,你知道,让我们甚至只看看

刚刚宣布的内容,对吧?微软上周在其 Build 大会上刚刚宣布的内容,现在看来已经过去很久了。特别是一件事是自主式 AI 及其周围的一切。它似乎现在已经存在于微软生态系统和 Copilot 中。但是,仅仅是代理的增长,这如何改变负责任的 AI 的含义?

是的,我认为,关于代理令人惊奇的事情以及为什么我认为我们看到如此多的增长是因为它们确实是,我认为,这项技术承诺的更完整的实现。我不想要一个我只能与之聊天的系统。我想要一个能够代表我去完成任务的系统,这样我就不用去想了。因此,我们看到这种巨大的兴奋以及人们真正开始从这些系统中获得价值也就不足为奇了。但是挑战在于,

如果代理实际上能够代表您去完成任务,那么出错的可能性就更大,因为它实际上可以采取行动。由于它采取的行动,这可能会有更大的影响面,也可能会有更高的影响。

我们还失去了一种最重要的缓解措施,那就是让人类直接参与其中进行监督,因为现在您将让代理在没有人类参与的情况下工作更长时间。因此,它确实改变了游戏规则。我们正在考虑如何解决这个问题的方法有几种,首先,代理是……

有点像应用程序,有点像用户,但并不完全像两者。因此,我们需要调整我们的系统来管理这些新的实体,并像今天管理用户、应用程序、设备和各种事物一样来保护和管理它们。但我们也需要解决代理带来的新型风险,例如偏离任务或

意外泄露敏感数据。因此,我认为这是一个非常激动人心的时刻,随着这项新技术的出现及其潜力,但考虑我们如何真正做到这一点也很有趣。

也许可以帮助我们的观众和听众更好地理解这意味着什么,对吧?也许如果您能分解一下。因此,特别是这些多自主系统,对吧?这听起来就像我们只是添加了另一个流行词,对吧?就像每隔几个季度,它是 AI,然后是自主式 AI,然后是多自主式 AI,对吧?与编排一起。但是像什么

到底是什么意思?因此,无论是副驾驶工作室,我认为这可能也在 Azure AI Foundry 中,但这实际上是如何工作的?多自主编排。

是的,我认为,你知道,有很多令人兴奋的愿景,代理只是在发明东西并相互交谈。您拥有这些真正疯狂的多代理系统。我认为我们现在在实践中看到的是更简单的东西,但仍然非常强大。我认为从负责任的角度来看,更容易处理,那就是人们真正使用多代理系统来分解。

他们的任务分成许多子任务。这真正的好处是您可以使每个单独的代理都非常擅长它正在执行的较小任务。因此,您可以专门测试它以执行该任务。我们可以围绕它设置防护措施,以确保它只执行该任务。然后您可以让他们协调并一起工作以完成更大的目标。但是每一件事都是,你知道,就像装配线上的一个组件一样,做它需要做的事情。因此,我认为我真正对这种多代理模式感到兴奋的是,我们认为人们可以真正成功地使用它。

我认为多代理编排的机会和优势是相当明显的,对吧?风险如何变化,对吧?当您不只是与一个代理一起工作时,对吧?您刚才提到了人类参与的方式发生了变化,但是当您与一系列代理一起工作或编排多个代理时,与仅与单个代理一对一工作相比,风险如何变化?是的。

是的,你知道,我认为可能最重要的事情正是您将拥有一个更复杂的系统来管理,因此您确实需要将其分解成这些组件,以便您仍然管理每个单独的代理,而不仅仅是整个系统,因为您仍然需要了解内部正在发生的事情。我们在 Build 上发布的领域之一是 Foundry 可观察性,这正是为您提供了一种

代理监控系统,因此您可以看到,代理是否偏离了任务?它是否难以找到合适的工作工具等等?因此,我们仍然需要在单个代理级别拥有可见性。您不想只查看多代理系统和边界,否则调试将更加困难。确保您执行重要的安全实践(例如最小权限访问)等将非常困难。因此,即使它们是多代理系统并且它们组合在一起,我认为这也不必与单个代理与人类一起工作有所不同,对吧?系统中可以有不同类型的实体,您需要确保您正在管理每个实体,并且您在每个实体周围都设置了防护措施。

而且,你知道,甚至还没有开始谈论底层模型。对。所以,你知道,这是另一件事,你知道,这似乎是一切都在同时发生,因为,你知道,现在这些为代理提供动力的模型可以推理,它们可以提前计划。对。然后,当您将其与这种多自主式结构相结合时,您就像,再次,只是,

潜力和挑战都显而易见。但是,你知道,另一件事,你知道,我好像听到你说过,能够工作更长时间,对吧?所以,我认为我们一直都接受过训练,对吧?至少,你知道,在生成式 AI 的前一两年里,就像,好吧,我坐下来,和 AI 聊天,我看看,看看它发回什么。但是

但是现在,在不久的将来,这些代理可能会花费数分钟或数小时的时间去工作。那么这如何改变呢?您谈到了可观察性和 Foundry 可观察性,但是当这些代理现在要一起工作更长、更深入的时间时,这如何改变人类的角色?

是的,我们考虑这个问题的方式是,你知道,在之前的时代,我们真正让人类参与其中。就像你完成了一个小任务,然后人类检查,你完成了一个小任务,然后人类检查。所以现在发生的事情是,我们真的将人类更多地转移到外循环中。这仍然非常强大,但是用户需要使用的工具则有所不同。因此,例如,您

您需要在部署代理系统之前对其进行更多测试。因此,您知道它运行良好,它在您期望的任务上运行良好。但是您还需要能够监控它。因此,如果它偏离了任务,那么人类就可以介入。因此,我的团队一直在开发的一些新技术是 Foundry 可观察性内部的特定监控或防护措施,它们会查看并说,好吧,

代理在保持任务方面做得如何?代理在理解用户意图方面做得如何?它在选择合适的工作工具方面有多准确?如果这些指标中的任何一个似乎表现不佳,那么 Foundry 中的系统将检测到该问题并提醒人类,无论是人类管理员还是人类用户,具体取决于应用程序和什么

在那里有意义。然后,人类就会知道他们应该介入。他们可能希望介入并执行特定任务,或者他们可能希望介入并说,哦,我需要调整我的整个系统,以便它能够很好地执行一系列任务。因此,我们仍然必须构建这些相同的人工循环

只是人类参与循环的位置现在不同了。它更多地是在预开发设置中,您真正关心的事情以及适当的测试以及系统的后期部署监控和管理。

是的。我喜欢您在那里描述的方式,内循环与外循环,以及可观察性如何发生很大变化。但是您刚才谈到的另一件事,Sarah,是测试,对吧?你知道,我认为不幸的是,根据我的经验,有些组织有时会

可能会忽略那部分内容,因为当您获得这些新功能时,它几乎就像得到一个新玩具一样,对吧?在圣诞节。就像,你知道,如果你在 1992 年得到一个超级任天堂,你做的最后一件事就是阅读手册。你正在放入游戏并玩它。组织应该如何测试,你知道,多自主系统?这似乎是一项艰巨的任务,你知道。

是的,你知道,我们将以测试任何事物的方式进行测试,那就是测试组件,然后测试系统,对吧?并且您建立了测试范例。我认为不同之处在于我们需要测试的是不同的行为和不同类型的风险。因此,我们一直在构建的以及我工作的一部分关于让每个人都能做到这一点的是在 Foundry 内部构建测试系统,

人们可以构建在上面,人们可以使用它来测试这些新型风险。因此,我提到了一些特定于系统是否理解用户意图的类别,对吧?我们可以运行一项测试。但是,系统是否容易受到新型提示注入攻击或

系统是否正在制作受版权保护的材料?这些都是您想要在应用程序中测试的不同内容,并且您将拥有想要测试的特定于应用程序的内容。如果您在金融环境或医疗保健环境中执行此操作,则将有特定

您想要运行的测试以查看这是否适合目的。因此,我们构建了测试平台和许多内置评估器,以便人们可以轻松地对此进行测试,还可以让他们进行自定义,以便他们真正了解对他们的应用程序来说重要的内容,以便他们可以信任该系统。但我完全同意您的观点,我们看到的一件事是大多数组织只是

没有意识到他们现在在这个领域应该进行多少测试,因此他们到达终点时会说,好吧,我们准备发布这个东西,我们非常兴奋,然后有人指出它做了一些他们不太喜欢的事情,他们是怎么知道它没有到处都这样做呢?我们怎么知道它已经准备好了?然后他们就开始投资测试了,所以你知道我们从很多客户那里听到的正是他们

延迟他们进入生产的东西是建立信任。而且,你知道,其中一些是通过测试实现的。因此,我们正在尝试做的一件事,你知道,我试图做的是更早地教育人们,因为你应该从我们构建 AI 系统时开始这样做,我们从系统应该做什么开始?我们构建测试

与系统的开发并行进行。因此,我们不会等到最后一英里,然后进行测试并发现我们遇到了问题。我们正在共同开发,你知道,查看不同的风险,查看每个迭代中系统的质量。因此,你知道,我希望其他组织也能这样做。但我们都在学习如何做好这件事。

因此,我们在这里讨论的许多功能,当涉及到多自主编排时,对吧?对于公众来说,它们是相当新的,至少是这样,对吧?但是,你知道,我很想知道,您在构建负责任的 AI 方面学到了什么,或者您甚至对什么感到惊讶,你知道,当您构建

这些系统,我敢肯定您已经在内部测试了几个月或几年。但是也许特别是在负责任的 AI 和自主式 AI 方面,在您自己的内部测试中,您认为对商业领袖来说最有帮助的最大的惊喜或教训是什么?

您是否仍在四处奔波,试图弄清楚如何利用 AI 发展您的业务?也许您的公司已经使用大型语言模型一年或更长时间了,但无法真正获得牵引力以找到生成式 AI 的投资回报率。嘿,我是 Jordan Wilson,这个播客的主持人。

Adobe、微软和英伟达等公司已与我们合作,因为他们信任我们在教育大众了解生成式 AI 以取得领先地位方面的专业知识。一些美国最具创新性的公司聘请我们来帮助他们制定 AI 战略,并培训数百名员工如何使用生成式 AI。因此,无论您是为数千人寻找 ChatGPT 培训,

还是只需要帮助构建您的前端 AI 战略,您也可以与我们合作,就像世界上一些最大的公司一样。访问 youreverydayai.com/partner 与我们的团队联系,或者您可以点击我们网站的合作伙伴部分。我们将帮助您停止在这些 AI 圈子中奔波,并帮助您的团队取得领先地位,并为生成式 AI 建立一条通往投资回报率的直线路径。你知道,我认为当我们,像,

当生成式 AI 开始时,我们处于聊天机器人的时代,对吧?嗯,我认为负责任的重点是,这个系统是否正在产生有害内容?我的用户能否破解它?我是否意外地制作了受版权保护的材料?因此,我们的大量精力都花在了开发防护措施和测试这些新型 AI 特定风险上。我认为,关于代理,嗯,

正如我之前所说,代理基本上是您在系统中部署的新实体。人们对此非常兴奋。例如,我们的工作趋势指数显示,我认为 81% 的雇主正在考虑在未来 18 个月内在其员工队伍中部署代理,对吧?如果您开始在系统中拥有用户,并且您拥有代理,并且您拥有应用程序,那么这将是一个非常不同的范例。所以,是的。

一旦您拥有一个新的实体,他们就会说,好吧,我们已经弄清楚如何管理用户了,对吧?例如,我们有 Entra,它为每个用户提供一个 ID 并帮助您对该用户进行访问控制。我们有 Defender 正在监控您的系统,并确保您不会看到威胁进入您的设备。而且,你知道,人们开始提出的第一个问题是,好吧,

我们如何以同样的方式保护和管理代理?因此,更多关注的实际上不仅仅是我们看到的 AI 的新颖风险,而是能够像任何其他事物一样保护和管理 AI。这听起来非常基本,但我认为在代理出现之前,这方面的精力要少得多。因此,例如,我们在 Build 上发布的许多内容都是新的 Entra 代理 ID,以便可以像其他任何事物一样在您的系统中跟踪代理,并确保我们将此治理和安全层面与开发人员正在做的事情联系起来,以便当我构建开发人员时,

当我构建 Foundry 或 Copilot 中的代理时,它已经附加了身份。因此,我已经为我的组织做了正确的事情,我的组织可以按照需要的方式来管理它。所以我认为,你知道,

也许 12 个月前,我预计我会花那么多时间来了解所有这些传统的安全模式是如何工作的。但这就是我们的现状。我认为这是代理最重要的事情之一。是的。Cecilia 提出了一个相关的问题,我认为很多人没有

正在思考。因此,她在 LinkedIn 上问道,这种人工循环模型是否会创造出具有更高技能水平的不同级别的用户来理解幻觉并使其脱轨?是的,这是一个很好的问题。随着自主系统变得越来越强大,人工循环中的人员需要如何改变他们的技能组合才能更好地监控和观察这些代理?

是的,我喜欢这个问题,因为我认为这正是正确的。如果您处于循环中的不同点,那么您正在做不同的工作,对吧?因此,我们提到您想要查看的一件事是测试。好吧,测试不是……

查看单个示例并说,系统是否做了正确的事情?是的,我将批准此项。然后您通常会查看聚合并查看整体数字,并说,好吧,你知道,如果 99.8% 的时间它都做对了,这对我的任务来说够好吗?因此,您正在使用不同类型的信息做出决策。而且

而且,你知道,我认为这个问题的答案是我们仍在努力寻找答案。这是一个我希望看到更多创新的地方。这就是人机界面以及我们如何为代理世界设计它,在该世界中,人类处于更远的循环中。因此,实际上,我们在 Build 上发布的一件事来自微软研究院,这是一个名为 Magentic UI 的系统。

这是一个供人们玩耍和试验用户与代理交互的不同界面的研究系统。因此,您可以尝试不同的交互模式,以便我们所有人学习哪些模式真正有效,对于人类来说,以对他们有意义的方式进行干预的最佳方式是什么,对于他们拥有的技能组合是什么。

但这并不是一个新问题,因为关于这一点,特别是最近这波技术令人兴奋的一件事是它在编码方面要好得多。因此,现在有的人实际上可以完成编码任务,而他们可能不是编码专家,并且可以重新整合。

我们有,你知道,当我们在微软内部时,团队会站出来说,我们构建了这个很棒的东西。它适用于不会编码的人,它会为他们编码。但是如果出现错误,他们只会找到错误。你会说,他们将如何找到错误?整件事就是他们不会编码。因此,我们必须更认真地考虑人类如何以一种他们有能力的方式说话,并以他们有能力的方式进行管理,并且仍然能够发挥他们的作用。

因此,其中一件事是 AI 是一个非常有用的工具。因此,我们构建的一件事,例如,是一个系统,它会查看

它是否理解用户意图,然后如果它似乎对您想要的内容感到困惑,则会提醒您。因此,您可以专注于真正指定您的意图,我们的系统将检查代理是否感到困惑。因此,您不必去查看它。因此,如果我们可以提供桥接 AI 系统正在做什么以及用户或管理员想要指定的内容之间的差距的工具,那么我们可以帮助使这些界面真正感觉自然,并且 AI 和人类可以一起工作。是的。

说到人类和 AI 协同工作,我认为负责任的 AI 的一个重要部分是能够理解甚至对企业面临的不同风险进行分类。Sarah,您能否向我们介绍一下在适当的自主式 AI 实施和负责任地执行此操作时,我们需要了解的主要风险类别?

是的,所以我很喜欢,我们在微软一直在使用这些,在巴黎的 AI 大会上发布的国际安全报告中的分类。

行动峰会。它有三个类别。首先是故障。这意味着 AI 系统正在做它不应该做的事情。例如,这可能是它正在产生有害内容,或者这可能是它感到困惑并偏离了任务。

这可能是它意外泄露敏感数据,对吧?这些是我们看到代理的一些主要问题。它容易受到提示注入攻击,对吧?这些都是故障的类型。下一类是滥用。

您可以看到两种类型的滥用。我可能会滥用并使用 AI 系统,因为我不了解它的作用。我不了解它是否适合我的任务。我们通过教育和周到的用户界面来解决这些问题,以便人们真正了解 AI 系统的作用和作用。

当然,不幸的是,我们生活在一个人们也会故意滥用这些系统的世界。在那里,你知道,我们会看看我们可以在哪些方面设置防护措施、监控和防御以及针对此的传统安全方法。最后一个风险,也是我非常关注的一个风险,是人工智能的系统性风险。例如,对于代理,

我提到人们会将其部署在他们的员工队伍中。这真的很令人兴奋,因为人们将能够专注于更有趣的工作,并让代理来完成他们工作中非常没有差异化的任务。但这是一种不同的工作方式。因此,为员工做好准备,让他们掌握这种新的技能,并

与这些工具协作,这是一种我们需要解决的系统性风险。因此,当我们考虑责任时,我们必须全面地看待所有这些,但我们用来解决这些风险的工具却大相径庭,其中故障更偏向技术层面。而对于系统性风险,我们则更多地关注政策、教育和技能提升计划,以及解决这些风险的各种不同类型的工作。

我最喜欢的思考话题之一就是,你知道,关于让员工做好准备和提升技能的概念,对吧?为未来做准备。企业领导者应该如何做到这一点?

因为即使是我自己,也对此感到很挣扎,因为即使是代理,似乎也在不断变化,对吧?随着这些模型的发展,你知道,现在它们可以思考、可以计划、可以推理,还可以,你知道,彼此合作。很多时候,你知道,企业领导者会说,这就是我所花费的。

你知道,20年或30年时间所做的事情,对吧?这就是我的代理,对吧?这种批判性思维,对吧?那么,我们如何让员工准备好与代理人工智能携手合作呢?是的。首先,我认为这是激励人们去做这件事。我的意思是,正如你所说,如果你以同样的方式工作了20年,你

根据你的性格,你可能不想随意选择新的工具。你甚至可能不知道有新的工具可用。因此,你知道,重要的是领导力和文化因素,即激励人们并让人们兴奋地尝试新工具。现在,我个人发现人工智能是。

极大地提升了我的工作。我告诉过你,我们正在开发的大多数用于解决这些不同风险的系统都是人工智能驱动的。所有这些都是五年前没有生成式人工智能我们就无法做到的事情。因此,我的工作以及我们能够做和构建的东西,都因为人工智能而发生了彻底的改变。

所以我非常兴奋地去尝试最新最好的AI工具,但我们需要让每个人都拥有那一刻,让他们看到它如何以良好的方式改变他们的工作。然后这会让你想要尝试更多。所以首先肯定是激励它。第二,我认为是教育。

这些工具在某些方面效果很好,但在其他方面效果不佳。因此,即使在我的微软团队内部,我们也会进行学习课程,人们会分享,看,我构建了一个代理来做这件事,它不是很好用吗?而且效果非常好。我尝试过这个,但我很难让它工作。因此,让人们互相学习

关于哪些有效哪些无效的模式,并真正将此作为一个共享的学习旅程,而不是每个人都在独自进行的学习。所以我认为这些都是其中一些重要的部分。随着技术的日益成熟,我们有了更标准的模式,那么就更容易说,这就是你使用它的方法,去做吧。但在目前的早期阶段,它也需要让人们去尝试并找到最适合他们工作的工具。

我认为这是一个很好的看待这个问题的方式,因为我们都在努力应对这意味着什么。但是,你知道,莎拉,在我们结束今天的节目时,我的意思是,我们在负责任的人工智能方面已经涵盖了很多内容,对吧?我们讨论了这种多代理编排的新功能、增加的风险和责任以及机遇。我们还深入探讨了人类能动性的未来以及

为更具能动性的未来做好员工队伍的准备。但在我们结束时,对于企业领导者来说,在理解代理人工智能的风险和负责任地使用它方面,你最重要的一个收获是什么?

是的,我。你知道,我认为你必须睁大眼睛去看待它,就像你需要知道存在风险,了解风险,并适当地选择用例和事物一样。你必须投资,就像你只是打算发布这些系统而不投资于测试的想法一样。我真的很不推荐这样做。因此,你知道,真正制定一个负责任的援助计划。这就是我们看到最有效的组织。

我喜欢这样。有计划性、投资和测试。我认为这是结束今天节目的一个好方法。我喜欢。所以非常感谢你,莎拉,感谢你抽出时间,帮助我们更好地了解风险以及如何在处理代理人工智能时负责任地解决这些风险。非常感谢你抽出时间参加Everyday AI Show。是的,感谢你的邀请。

好了,各位,内容很多。我们刚刚获得了如此多的见解,就像把它们都倾倒在我们头上一样。如果你没有全部听懂,别担心。我们将在今天的新闻通讯中回顾所有内容。因此,如果你还没有订阅,请访问youreverydayai.com。注册免费的每日新闻通讯。感谢您的收听。我们下次再见,更多Everyday AI。谢谢大家。

今天的Everyday AI节目就到这里。感谢您的收听。如果您喜欢本期节目,请订阅并给我们评分。这有助于我们继续前进。更多人工智能魔法,请访问youreverydayai.com并注册我们的每日新闻通讯,这样你就不会落后。去打破一些障碍,我们下次再见。