EP 536: Agentic AI - The risks and how to tackle them responsibly
2025/5/30
Everyday AI Podcast – An AI and ChatGPT Podcast
S
Sarah Bird
Sarah Bird: 随着生成式AI和代理AI的快速发展，以及多代理AI的出现，负责任的AI面临着新的挑战。我的团队致力于识别新兴AI系统中的风险，并开发工具和技术来测试、缓解这些风险，并使其他人能够成功地做到这一点。人们对负责任的AI的意识和参与度显著提高，这与几年前的情况大不相同。以前，客户认为在AI旅程的早期阶段无需考虑负责任的AI，但现在他们首先询问负责任的AI。媒体和组织在提高人们对AI风险的认识方面发挥了重要作用。我没有预料到这个领域在成熟度和理解力方面会增长这么多。代理AI之所以快速发展，是因为它更完整地实现了AI技术的承诺，能够执行任务，减轻人们的思考负担。代理AI能够代表用户执行任务，这意味着出错的可能性增加，潜在的影响也更大。由于代理AI在没有人工干预的情况下工作更长时间，因此失去了人工监督这一重要缓解措施。需要调整系统来管理、保护和管理这些新的实体，就像管理用户、应用程序和设备一样。代理AI带来了新的风险，例如偏离任务或意外泄露敏感数据。目前实践中的多代理系统将任务分解为子任务，使每个代理都能擅长于较小的任务。这种方法允许对每个代理进行专门测试，并设置护栏以确保它们仅执行特定任务。我对这种多代理模式感到非常兴奋，我们认为人们可以利用它取得成功。当管理更复杂的系统时，需要将系统分解为组件，以便仍然管理每个单独的代理。Foundry observability提供了一个代理监控系统，可以查看代理是否偏离任务，以及是否难以找到合适的工具。需要在单个代理级别保持可见性，以确保安全实践，例如最小权限访问。即使是多代理系统，也应该像管理单个代理一样，对每个实体进行管理并设置护栏。以前，人类在内循环中执行小任务并进行检查，但现在人类更多地转移到外循环中。用户需要更多的测试和监控工具，以便在部署前确保代理系统正常工作，并在代理偏离任务时进行干预。Foundry observability中的监控和护栏可以检测代理是否偏离任务，是否理解用户意图，以及选择工具的准确性，并在出现问题时提醒管理员或用户。人机协作仍然需要，只是人类干预的阶段发生了变化，更多地是在开发前进行测试，以及在部署后进行监控和管理。需要测试组件和系统，并构建测试范例，但不同之处在于需要测试不同的行为和风险类型。我的工作是构建测试系统，以便人们可以测试新的风险类型，例如系统是否理解用户意图，是否容易受到提示注入攻击，以及是否产生版权材料。根据不同的应用场景，需要进行特定的测试，以确保系统适合其用途。许多组织没有意识到应该进行多少测试，因此在最后阶段才开始投资测试，以建立信任。我们在构建AI系统时，应该从系统应该做什么开始，并在系统开发的每个迭代过程中共同开发测试，以评估不同的风险和系统质量。在生成式AI时代，负责任的AI的重点是系统是否产生有害内容，用户是否可以越狱，以及是否意外产生版权材料。代理本质上是部署在系统中的新实体，因此需要像保护和管理用户一样，保护和管理AI。重点更多地放在如何像保护和管理其他事物一样保护和管理AI，而不仅仅是AI的新风险。我们发布了一个新的Entra代理ID，以便可以在系统中跟踪代理，就像其他任何事物一样，并确保将此治理和安全平面与开发人员正在做的事情联系起来。随着代理系统的能力越来越强，负责监控和观察这些代理的人也需要改变他们的技能。我们需要更多的人工智能界面创新，以便人类能够在代理世界中进行有意义的干预。Microsoft Research发布了一个名为Magentic UI的研究系统，用于实验用户与代理交互的不同界面。我们需要更周到地考虑如何让人类以他们能够理解的方式进行表达，并以他们能够做到的方式进行管理，同时仍然发挥他们的作用。我们可以提供工具来弥合AI系统正在做的事情与用户或管理员想要指定的内容之间的差距，从而帮助使这些界面感觉自然，并使AI和人类协同工作。国际安全报告中提出的分类方法分为三种风险类别：故障、滥用和系统性风险。故障是指AI系统做了一些不应该做的事情，例如产生有害内容、混淆并偏离任务或意外泄露敏感数据。滥用包括因不理解AI系统而误用，以及故意滥用这些系统。通过教育和周到的用户界面来解决因不理解AI系统而造成的误用，并使用护栏、监控和防御措施来解决故意滥用。系统性风险是指与AI相关的更广泛的社会和经济影响，例如劳动力准备不足。解决系统性风险需要政策、教育和技能提升计划，而解决故障则需要更多的技术手段。激励人们尝试新工具至关重要，领导力和文化因素在激励人们和让他们兴奋地尝试新工具方面起着重要作用。教育至关重要，工具在某些方面效果很好，但在所有方面效果都不好。在团队内部分享经验，学习哪些模式有效，哪些模式无效，并共同学习。在技术更加成熟并且我们拥有更多标准模式时，更容易说这是你如何使用它的，去做吧。必须睁大眼睛进入，了解风险，理解风险，并适当地选择用例和事物。必须进行投资，不要在不投资测试的情况下就发布这些系统。制定一个有意的负责任的AI计划，这是我们看到的最有效的组织。
Deep Dive
Shownotes Transcript