EP 524: Agentic AI Done Right - How to avoid missing out or messing up.
18:33 Share

这是 Everyday AI Show，一个日常播客，我们简化 AI 并将其力量带到您的指尖。每天收听，获取提升您的职业、业务和日常生活的实用建议。AI 代理很热门。我刚离开一个会议，座无虚席。但我认为，企业领导者在谈到代理 AI 时，一直在思考的一件事是，

把它做好。你知道，你可以搞砸或错过，也可以正确地去做，并真正看到你的企业生产力达到了一个你很久没有体验过的新的水平。所以这就是我们今天要讨论的，以及在 Everyday AI 上更多内容。大家好！我的名字是 Jordan Wilson。我是 Everyday AI 的主持人。这是您的每日直播播客和免费每日新闻通讯，帮助我们所有人不仅了解 AI 世界中正在发生的事情，而且了解我们如何利用它来发展我们的公司和职业。并且

如果您正在直播中加入我们，您可能会看到这是一个完全不同的设置。我在这里参加 IBM Think 大会。非常高兴能与 IBM 合作，能够讲述一些故事。到目前为止，这个故事绝对是代理 AI。所以这就是我们今天要讨论的。你如何才能不

错过它。所以我很高兴能邀请到我们的嘉宾 Mariam Ashuri 博士，她是 Watson X 的高级产品管理总监。Mariam，非常感谢您加入 Everyday AI Show。感谢您的邀请。是的，这是 IBM Think 的特别节目。但在我们开始讨论所有新的公告、代理 AI 等等之前，您能告诉我们一些关于您在 Watson X 和 IBM 的角色吗？

当然可以。我是 WatsonX.ai 的产品负责人，过去 24 个月非常令人兴奋。就像每天都有新的技术进入市场一样，去年年中，我们看到了围绕 LLM 作为代理采取行动的兴奋。它正在彻底改变

业务的各个角落。我们很高兴能宣布推出作为 WatsonX.ai 一部分的新功能和能力。是的，我们将讨论更多关于代理 AI 和所有新公告的内容，但关于您的日常工作，以及对于我们一些不太熟悉 WatsonX 提供的所有内容的观众来说，您能告诉我们一些关于 IBM 提供的不同产品和服务吗？

它与 AI 有关。我们正在构建 AI，但我们也在使用 AI。我们拥有一个平台，可以帮助企业定制其 AI 解决方案，但我们设计的每个解决方案，我们也使用它们来丰富我们的一系列软件产品。我们有

一系列产品，如智能环境情报套件，它们由我们提供的基础模型提供支持和丰富。我们有一些新产品，如 Watson X 代码助手，它们由花岗岩代码模型提供支持。我们还提供一系列服务，这些服务可以与客户一起帮助。因此，深入了解他们的问题，并了解 AI 如何从中受益。因此，我们正在关注

AI 如何通过平台、服务和产品帮助企业的广泛范围。说到解决问题，这最终是这一切的目的。新的产品、新的服务、新的技术来解决客户问题。您会说，在 IBM Think 大会上宣布的所有内容中，最大的问题是什么？

对于那些可能已经在 WatsonX 平台上的企业客户来说，解决方案是什么？你知道，他们现在能够做到的事情，也许去年这个时候他们还做不到？市场仍在试验代理。他们仍在寻找令人惊叹的因素和顿悟时刻。但我们正在设计的是用于生产和规模。随着

企业经历通往生产的旅程，他们很快就会意识到成功的道路并非一帆风顺。那里存在着一些主要挑战，这些挑战随着代理而被放大。我告诉你为什么。让我们从确保负责任地实施 AI 开始。LLM 历史上存在的所有局限性，现在都延续到了代理，因为代理是由 LLM 提供支持的。

但与此同时，这些代理正在采取行动。他们可以访问数据，解释代码，连接到外部服务，对吧？如果设计不当，他们可能会泄露数据。因此，行动的透明度和可追溯性对于代理至关重要。可观察性是挑战之一。挑战之二是优化。

当您寻找价值因素时，模型越大，模型的能力就越强。但我们都知道，模型越大，它也需要更大的计算能力。这转化为增加的成本。这转化为增加的延迟。这是您的响应时间。这转化为增加的碳足迹和能源消耗。因此，我们在市场上看到的模式是转向获取更小的 LLM，即使是用于支持代理。

在企业的专有数据上对其进行微调，这些数据对用户有价值。这是他们特定领域的特定数据，用于创建一些不同的东西，以低于其目标用例成本的一小部分来提供他们所需的性能，对吧？同时，为什么它会被代理放大？因为这是 LLM 的故事。你知道代理。他们拥有先进的规划能力。他们有思维链推理、推理时间缩放数据。

这转化为额外的计算能力。因此，考虑一下企业的规模，成本会累加起来，这又回到了优化、成本性能优化以及为什么定制企业应该关注这一点。这两点一直是我们宣布的所有内容的指导原则。

我认为考虑代理生命周期，从构建到部署再到监控代理性能的整个生命周期管理是我们一直在讨论的。所以，你知道，构建、部署、监控，似乎这三个步骤都有很大的改进，对吧？在前端构建方面，现在您有代理目录，您可以构建自己的代理，您可以将它们用作模板。在后端，能够更好地跟踪和监控。我喜欢看到像思维链推理和您构建的可追溯性代理一样。这太棒了。您会说，在这里宣布的所有内容中，您想选择这三个领域中的一个，但是您认为企业领导者应该首先关注哪个领域？你知道，他们应该，应该

尝试以不同的方式重建吗？他们应该监控哪些工作正常，哪些工作出错并进行调整吗？确保代理实际工作的最佳下一步是什么？是的。为了在生产中交付这些代理，他们需要所有这些。他们需要填充代理，他们需要部署代理，他们需要监控代理的性能。对吧？

如果您身处金融或保险等受严格监管的环境中，他们对监控代理有严格的指导方针。例如，确保代理的行为……

遵守公司的政策，例如。或者他们正在监控所发生的事情的跟踪，代理行为，不仅仅是为了记录，而且是为了可审计性，对吧？所以他们必须更加关注这一点。但您说如果您选择一个，我会选择中间的那个。就是这样。

部署那个，对吧？平均而言，企业中的开发人员在部署和扩展通用应用程序上花费 18 个小时。18 个小时。我们不希望开发人员花费 18 个小时。我们希望他们能够在几秒钟内部署他们的代理，并在几分钟内扩展它，对吧？这已经成为我们一直关注的示例之一。我们刚刚宣布并发布到市场上的部署服务，

为开发人员提供了从 UI 单击部署或从命令行单命令部署的功能，

只需点击一下即可应用，它专为企业的可扩展性而设计，假设您是一家企业，您希望高可用性代理，如果其中一个实例失败，您不希望您的工作负载失败，对吧？另一个会自动进行负载平衡，这很容易，例如两分钟，我昨天尝试的那个在三三中，您可以增加代理实例的规模

我想在这里强调的最后一个因素是访问控制。企业非常关注安全。即使对于他们中的一些人，例如我们合作的一些电信公司，他们也有非常独特的安全要求。

我们以一种由项目和空间管理访问控制的方式设计了这些部署服务。因此，您可以完全控制谁可以在什么情况下访问此代理来做什么，这对于企业来说至关重要。

一个很大的，我想，我们看到许多企业领导者都在发生的心态转变是，他们过去可能两年来，自从大型语言模型普及以来。他们想，好吧，我们可能在此过程中犯了一些错误。这是在我们最聪明的人的控制下。但是当我们现在谈论多代理编排和这些易于获得的互操作性代理时，

代理非常容易获得，对吧？不到五分钟，但它们功能强大。你知道，人们担心可能会搞砸。那么，当这些模型和这些代理如此强大和如此有能力时，公司如何才能不落后，也不搞砸，并且能够正确地做到这一点呢？是的。我会说他们应该关注他们正在解决的问题，而不是，“嘿，有一个代理。我该如何使用该代理？”对吧？因为当您有一个

问题时，您确切地知道对该代理的期望是什么，然后技术是否交付。如果技术交付完美，如果技术没有交付，您可以使用内部或您混合匹配的现有工作负载来减轻影响。

然后查看工作负载的敏感性。对于某些工作负载，风险太高，您需要确保有人参与其中。但对于一些低风险的工作负载，例如我正在使用的示例，如果我使用代理来提供晚餐建议，我可能不在乎是否有人参与其中，或者解释为什么我做出了这个决定。所以风险很重要，对吧？

第三个是行业。法规是什么？并考虑未来，而不是今天的法规。因此，将这些结合在一起，人工参与、了解问题和风险，例如用例是什么？对此有什么要求？然后最后一个是设计这些代理的负责任实施。所有这些功能

我甚至现在也看到，在 IBM Think 大会上宣布的所有内容中，我都想，哇，这不仅改变了可能性，而且还改变了工作方式，对吧？因为如果你在两年前我开始主持这个节目的时候问我，说，“嘿，今天你可以将你的企业数据与一个可以推理的代理连接起来，这是一个非技术人员可以组合在一起的代理”，我会说，

好吧，这对通常会构建这些东西的技术人员和可能通常不会利用所有这些功能的非技术人员意味着什么？那么，所有这些新功能如何改变开发人员的工作方式以及非技术人员利用所有这些功能的方式呢？

它已经开始改变我们每个人的生活。例如，我们对全美一千名开发人员进行了一项研究，这些开发人员正在构建 AI 应用程序。我们问他们，您是否正在使用 AI 辅助编码进行开发？他们中的大多数人的回答是肯定的。我们说，您节省了多少时间？他们中的大多数人说每天一到两个小时。想想看。您可以创建的额外价值

每天多出的两个小时。这转化为创造速度的加快。这转化为释放开发人员的时间，或者不仅仅是开发人员，我们每个人都可以做更有价值的工作。我觉得这正是机会所在，也是我个人感到兴奋的地方，因为我觉得作为人类，我们现在手中有了更多的时间去做更有价值的工作。

是的，你知道，你给出的一个建议，我认为很棒，那就是不要出去尝试使用代理。出去寻找一个要解决的问题，并找到与之相符的正确代理。你知道，我们讨论过，我们听到的是，IBM 因为 AI 和自动化而节省了大量的资金，对吧，35 亿美元。因此，当企业领导者看到 Watson X 和 IBM 的所有其他新公告时，

IBM 正在进行中，他们想，好吧，我该去哪里？我该去哪里节省时间？对。企业应该在哪里寻找？因为它几乎就像有很多不同的代理。您可以应用很多不同的位置。他们应该在哪里寻找？两件事。首先是关注 LLM 本身。

以及它们如何帮助企业。LLM 最常见的用例是内容基础的问答。客户服务就是一个很好的例子。代码生成或内容生成、分类、信息提取、摘要。因此，基本上，在您的业务中任何有这些工作负载的地方，

都可以通过 gen i 加速，但代理所代表的机会是将所有这些都带入企业的每个角落，通过函数调用和工具调用将这两个词结合在一起，因此所有这些加速都可以映射到您的遗留系统

企业。我认为这就是机会所在。所以我建议从 LLM 应用程序本身开始，然后考虑一下，第一，我如何将这种加速带到我的业务的每个角落？第二，关注问题、工作流程，

我可以使用代理来自动化其中的一些吗？如果答案是肯定的，那就去做吧。如果答案是探索和构建你自己的，观察市场如何发展以解决你的问题，那么这就是前进的道路。

所以我也会问你，那么，随着你刚刚宣布的所有内容，你的部门、你的团队的工作可能会如何改变？我知道，我相信你的团队已经测试了一段时间了。但是，你知道，我认为我们的观众可以了解一下，即使你的工作也可能会改变，而不会

随着我们现在可用的所有新工具和功能。这实际上非常吸引人。我领导着一个产品经理团队，我的产品经理正在擦拭代码。当我们想到一个新功能、一个想法时，他们会向我展示他们已经编码的完全功能的原型，他们会说，“玛丽安，就是这样。”而我会说，“这是真的吗……”

我在看什么？所以我觉得这真的改变了一切。就像我们思考技术的方式，我们思考解决问题的方式，我们的问题解决过程，

它已经改变了。是的，太棒了。我一直认为，好的，我们的内部演示和内部长期推广是过去的事情，当你可以进去的时候。我知道你们更新了新的代码助手。这会不会成为过去的事情，就像，不，我只是先去解决问题，然后讨论一下，看看我们如何使用它？会发生这种情况吗？

好吧，回到从你的问题开始。不要被技术分散注意力，因为它一直在变化。好的。我们在这里讨论了很多。我希望我们可以聊几个小时。但是，你知道，在我们结束今天的谈话并希望为企业领导者提供建议，关于正确利用代理 AI 并以正确的方式做到这一点的正确方法。您最重要的建议是什么，或者企业领导者需要采取的哪一步才能不搞砸代理 AI？

了解你的局限性和界限。就像，与你的用例相关的风险是什么，这些风险不能危及吗？了解风险可以为他们提供一个真正良好的视角来评估技术。

并且调整这些界限是不要限制你的人。就像闭上眼睛并不能消除问题。它只是让你无法解决它并停留在上面。所以我会说，了解风险，提供指导方针，制定指导方针，与该领域的专家交谈，以了解如何减轻这些风险，并对此持开放态度，并使其对您的员工易于访问，并相信您的员工会找到解决方案

正确的方法，帮助他们并赋予他们权力，随着 AI 的发展而前进。我认为这是一个很好的建议，以及一些针对正在关注所有这些新的代理 AI 功能并认为“我不想错过”的企业领导者的实用下一步。我不想搞砸。现在你有了蓝图。因此，如果您错过了任何内容，请不要担心。我们将回顾今天的谈话，并在 IBM ThinkCon 大会上分享更多内容

会议，以及更多内容。因此，如果您还没有这样做，请访问我们的网站 youreverydayai.com。注册免费每日新闻通讯。感谢您的收听。我们明天和每天都会回来，了解更多 Everyday AI 内容。谢谢大家。

今天的 Everyday AI 节目到此结束。感谢您的收听。如果您喜欢这一集，请订阅并给我们评分。这有助于我们继续前进。要获得更多 AI 魔法，请访问 youreverydayai.com 并注册我们的每日新闻通讯，这样您就不会落后。去打破一些障碍，我们下次再见。

今天的 Everyday AI 节目到此结束。感谢您的收听。如果您喜欢这一集，请订阅并给我们评分。这有助于我们继续前进。要获得更多 AI 魔法，请访问 youreverydayai.com 并注册我们的每日新闻通讯，这样您就不会落后。去打破一些障碍，我们下次再见。