Deep Dive
Shownotes Transcript
随着人工智能规模的不断发展，像许多 IBM 的 Granite 模型这样的开放技术正在帮助提高人工智能的透明度，并提高企业的效率。在本期 IBM 智能对话节目中，雅各布·戈德斯坦与 IBM watsonx.ai 产品管理总监兼产品负责人玛丽亚姆·阿舒里进行了座谈，她负责领导 IBM watsonx 基础模型的产品战略和交付。他们一起探讨了从大型通用人工智能模型转向更小、更可定制的、针对特定需求的模型的转变。这是 IBM 的付费广告。本播客中的对话并不一定代表 IBM 的立场、战略或观点。请访问 https://ibm.com/smarttalks 查看更多信息。omnystudio.com/listener 提供隐私信息。</context> <raw_text>0 您好，您好。欢迎收听 IBM 智能对话，这是 Pushkin Industries、iHeartRadio 和 IBM 推出的播客。我是马尔科姆·格劳波。在本季节目中，我们将深入探讨人工智能的世界，重点关注开放这一强大概念的可能性、影响和误解。
我们将从多个角度审视开放性，并探讨这一概念如何重塑行业、商业模式以及我们对可能性的认知。在今天的节目中，雅各布·戈德斯坦与 IBM WatsonX.ai 产品管理总监兼产品负责人玛丽亚姆·阿舒里进行了座谈，她负责领导 IBM WatsonX 基础模型的产品战略和交付。
她是一位技术专家，拥有超过 15 年的数据驱动技术开发经验。此次对话的重点是如何利用 Granite 技术帮助企业在人工智能领域构建和交付更高的透明度。
玛丽亚姆解释了如何利用 Granite 来提高各个领域的效率。她讨论了这些模型如何在现实世界的商业应用中使用，尤其是在客户服务领域，人工智能可以帮助基于公司内部数据提供快速、准确的响应。
玛丽亚姆对企业如何从生成式人工智能的单纯实验转向实际生产进行了深入探讨，并探讨了诸如延迟增加、成本增加和能源消耗增加等挑战。
她强调了小型定制模型（使用专有数据）的新兴趋势，这些模型可以以极低的成本提供高性能，这标志着企业利用人工智能方式的重大转变。无论您是人工智能爱好者，还是希望利用人工智能力量的商业领袖，本期节目都充满了宝贵的见解和前瞻性的战略。♪
让我们从您的背景开始吧。您是如何加入 IBM 的？我大学毕业后就加入了 IBM。我的背景是人工智能，多年来，我在设计、工程、开发、研究等多个领域担任过许多角色，主要专注于人工智能应用的开发和设计。在我目前的工作中，我是 WatsonX.AI 的产品负责人，这是 IBM 的企业人工智能平台。
我认为这份工作最令人兴奋的是过去 18 个月市场上技术进步。我们见证了生成式人工智能如何改变市场。我认为生成式人工智能可能是我们在思考生产力时最大的范式转变之一，就像互联网和个人电脑影响了劳动力的生产力一样。现在，我们正在见证另一波
它可以为企业人工智能解锁的所有机会，尤其是在提高员工生产力和释放一些时间方面，这些时间可以潜在地用于为企业创造更多价值的工作。这就是我选择这个团队来影响
市场和社区的主要原因，当然，还要利用我在 IBM 多年积累的技能，帮助 IBM 成为企业人工智能领域的市场领导者。
您谈到生成式人工智能是一种具有变革意义的技术力量。我很想知道，就其进入世界的方式而言，您如何看待生成式人工智能的市场采用情况将如何发展？
去年是生成式人工智能令人兴奋的一年。大多数公司都在尝试和探索生成式人工智能。我们看到这种能量转向了如何最好地将这项技术货币化。几乎一半的市场已经从调查转向试点。
10% 已转向生产。当您探索这项技术时，您正在寻找令人惊叹的因素。您正在寻找顿悟时刻。这就是大型通用模型脱颖而出的原因。但随着公司转向生产和规模化，他们很快就会意识到成功的道路并非那么简单。
例如，模型越大，所需的计算资源就越多。这会导致延迟增加。这就是您的响应时间。这会导致成本增加。这会导致碳足迹和能源消耗增加。所以想想在生产中企业规模的这种情况。其中一些可能是障碍。由于这个原因，市场上实际出现的是，而不是
专注于大型通用模型，而是回归到他们可以根据自己的专有数据定制的非常小型、值得信赖的模型。这是关于他们的客户的数据，是关于他们特定领域的数据，用于创建一些差异化的东西，这些东西更小，并且可以以极低的成本为目标用例提供他们想要的性能。好的。
那么，让我们更具体地谈谈您正在从事的工作。让我们谈谈 Granite。首先，请告诉我，什么是 Granite？Granite 是我们行业领先的模型系列，是 IBM 的旗舰模型。好的。
这些是我们从头开始训练的模型。通过我们的平台提供时，我们会提供赔偿，并对其负责。目前，它有四种类型：语言、代码、时间序列和地理空间模型。Granite 语言系列涵盖英语、西班牙语、德语、葡萄牙语和日语。
Granite 上结合了商业和开源语言模型。例如，我们最近发布了 Granite 7B 语言模型，这是一个小型、强大的英语模型。在代码方面，我们的模型是最先进的模型，参数范围从 30 亿到 340 亿不等。好的。
这些都是非常强大的模型，在某些情况下，其性能优于同类流行的开源模型。所以是非常强大的模型。所以我明白了这些模型的大致情况，但了解它们具体的作用会有所帮助。您能否举一些例子说明这些模型目前在现实世界中如何用于企业？
生成式人工智能最主要的用例确实是内容生成、摘要和信息提取。也许我们在企业中看到的最流行的用例是基于内容的问答。因此，使用这些模型……
作为基础，将它们连接到信息主体，例如企业的内部策略、文档，并让模型根据这些问题提供答案。一个例子是客户代理、客户服务。当客户提出问题时，以前，回复客户的代理必须
回答问题，如果他们不知道答案，则将其升级给产品专家，让客户在电话线上等待，找出答案，然后返回。您可以考虑解决问题所需的时间。但是现在有了大型语言模型，我们有机会根据公司的内部文档自动检索信息，制定答案，将其显示给人工代理，
然后，如果他们验证了信息的来源，他们可以直接将其翻译给客户。这是一个非常简单的例子，说明它如何影响客户服务。所以本季的一个重要主题是开放的概念。
我感兴趣的一件事是您正在进行的工作，您不仅使用 IBM 开发的 Granite 模型，还使用来自其他地方的第三方模型，对吧？所以请告诉我关于这项工作的信息，以及它如何融入您典型的企业生成式人工智能工作中。
在模型策略方面，我们的策略真正侧重于两大支柱：多模型和多部署。这意味着我们不相信单一模型可以满足所有用例。我认为目前，市场上平均每个企业今天都在使用 5 到 10 个不同的模型。
用于不同用例的模型。哦，很有趣。因此，如果您查看 WatsonX.ai 中的产品组合，今天我们正在提供大量来自开源、商业模型（我们通过合作伙伴引入）以及 IBM 开发模型的高性能、最先进的模型。
除了所有这些之外，我们还提供了一个选项，可以从平台外部引入您自己的模型。假设您自己创建了一个自定义模型。您可以将其引入平台，并真正帮助客户浏览各种模型，并为其目标用例选择合适的模型。在此过程中，我们一直在与合作伙伴紧密合作。而且您知道，这是一个快速发展的市场。
我们一直处于交付速度的前沿。我想强调的一个例子是，最近 MEDA 发布了 LAMA 4050 亿参数模型，这是一个如此强大的模型。在它发布到市场的那一天，我们就将其国际化了。
在同一天通过我们的平台提供给我们的客户。我们不仅在同一天交付了它，而且还提供了具有竞争力的价格，以及部署位置的灵活性。因此，我们为企业提供了在其选择的平台上部署这些模型的选项，无论是多云、GCP、AWS、Azure、IBM 云还是本地部署。
Mistral AI 也是如此。Mistral AI 最近发布了 Mistral Large 2 模型。在同一天，我们通过平台交付了该模型。这是一个商业模型的例子。LAMA 是开源的，但 Mistral Large 2 是我们通过平台提供的商业模型。很好。所以我想谈谈企业级基础模型。简单介绍一下，什么是基础模型？
人们将基础模型与大型语言模型联系起来，但大型语言模型实际上只是基础模型的一个子集。大型语言模型专注于语言，但基础模型可以是代码生成器，可以专注于我们讨论的时间序列模型。它们可以是图像。它们可以是地理空间模型。因此，基础模型顾名思义，它们是创建一系列
随后可以针对下游用例进行定制的模型的基础。这就是为什么它们被称为基础模型的原因。LLM 是一个很好的例子，它是一个语言子集，您可以根据您的特定数据进一步定制它，以使模型执行其他工作。因此，这些基础模型的核心是它们基本上是在大量
数据上进行训练的，这些大型数据集今天大多数机构都从互联网上获取。您可以想象哪些内容可能会进入这些模型。然后它进入企业，他们开始使用它。所以对我们来说也是……
当我们开始研究时，特别是客户要求我们为这些模型提供客户保护，这促使我们开始研究。我们开始考虑，让我们研究一下模型的训练方式，以及我们是否愿意为市场上提供的模型提供客户保护。你猜怎么着？对于大多数这些模型，绝对无法了解哪些数据进入了这些模型，对模型的训练方式也没有多少透明度。
而责任在于您作为客户开始使用这些模型。所以需要明确的是，这会给使用这些模型的公司带来潜在风险，真正的潜在风险。这尤其对受严格监管行业的客户构成潜在风险。好的。
所以我们为 Granite 做的是，当我们从头开始训练这些模型时，我们基本上使用了我们可用的数据语料库。例如，Granite 的第一个版本有 20% 的数据来自金融和法律领域，因为我们有很多金融机构作为我们的客户。
我们直接与 IBM 研究部门合作，识别有害信息检测器，例如仇恨滥用和亵渎检测器。好的，我们正在谈论 Granite。我们正在谈论 IBM 开发的这套模型。让我们谈谈在 Watson X 上使用 Granite 与下载开源模型的区别。它们有什么不同？通过在 Watson X 中使用 Granite，您可以获得两样东西。
第一个是我们讨论过的客户保护和识别。如果您通过我们的平台使用该模型，则可以获得该功能。第二个是我们在提供的平台功能生态系统，以帮助您在这些数据之上创造价值。例如，将您的数据引入以根据您自己的特定用例定制 Granite。但我也想特别强调一下人工智能治理。
因此，当您获得这些预训练模型之一时，您会将其放在您自己的用户面前。通过用户为该模型提供的输入和指令，他们可以引导模型产生潜在的不良行为并改变模型的行为。正因为如此，自动记录接触模型的人员、时间点等信息非常重要，
因此，如果发生任何事情，您可以追溯到它的来源。这就是 WatsonX.governance 提供的功能，自动记录血统。当您在平台中使用 Granite 时，您可以获得所有这些功能。您可以拥有端到端的治理。您可以访问所有这些可扩展的部署机会，这些机会可供您使用，例如允许您在我们讨论过的平台上部署它们，无论是多个……
云还是本地，它还可以帮助您访问各种模型定制方法、提示微调、微调、检索增强生成、代理，可以使用和应用于您的模型的一系列方法。大型语言模型和基础模型之间的这种区别令人大开眼界。玛丽亚姆强调，基础模型可以针对特定任务进行定制，
但这种多功能性带来了一个重大挑战，即这些模型训练方式缺乏透明度。这可能会带来真正的风险，尤其是在金融等受严格监管的行业。从本质上讲，通过将 Granite 和 WatsonX 结合使用，企业可以获得强大且可定制的工具。
那么，让我们谈谈未来。您认为在人工智能模型领域可能出现的一些重大发展是什么？很好的问题。我觉得过去的生成式人工智能是由大型语言模型驱动的。未来的生成式人工智能将推理、规划、行动和反思。太棒了。
那么，我的意思是，特别是在 Granite 的背景下，我们短期和中期到长期可能会看到什么？
要实现我刚才提到的代理工作流程，有多个要素。其中一个要素是大型语言模型本身，能够进行规划和推理以及行动，并执行我们所说的工具调用。因此，模型可以使用一系列工具。您可以要求模型调用这些工具并进行调用。例如，我们可以说，“嘿，Granite，雅各布住在哪里？天气怎么样？”
它将连接到网络搜索 API，查找您的位置，然后它将连接到天气 API，计算天气，然后返回并制定答案并进行回复。所以在这个过程中，
它首先必须规划如何回答这个问题的任务，查看可用的工具，然后调用它们。这是模型能够做到的事情。我们对 Granite 做的是扩展 Granite 的功能，使其能够进行函数调用。例如，今天我们在 Hugging Face 上提供了一个开源 Granite 20B 函数调用，可以试用。
您可以获取模型，并且该模型具有进行工具调用的功能。我预计在不久的将来，大型语言模型的规划、推理、行动和反思能力将继续发展。所以现在从
人工智能的购买者和用户的角度来看，真正从这个角度倾听的人。当人们评估人工智能工具和解决方案时，他们应该考虑的最重要的事情是什么？您如何看待这个过程？
我认为他们应该始终从他们认为可以从人工智能中受益的领域开始。然后在该领域内，查看他们是否有可用的数据来适应这些人工智能服务架构。
他们是否有权访问高质量数据？他们必须问自己的第二个问题是，我是否有值得信赖的合作伙伴可以提供我实施人工智能所需的东西？这可能是您将需要的一系列基础模型。这可能是值得信赖的合作伙伴可以提供给您以实施此类事物的平台功能集合。第三件事是评估法规，对吧？
法规是否允许您将人工智能应用于您正在调查并以人工智能为目标的特定领域？最后一点，但并非最不重要的一点是，回到设计思维的原则。我用人工智能解决该领域的什么问题？以及人工智能是否适合
因为我们想确保您使用人工智能不仅仅是因为它在市场上是一个很酷、很热门的玩具，而是您确信它可以显著增强您在该领域的客户的用户体验。一旦您对这四个问题都有了答案，那么您可能就有一个很好的候选者来开始将人工智能应用于该领域。
对于那些试图跟上事物变化速度、创新速度的项目经理来说呢？您会给他们什么建议？我的建议是专注于敏捷性。这是一个快速发展的市场。市场的赢家将是那些能够随时利用市场所能提供的最佳产品的人。
因此，为了做到这一点，他们需要对实验、持续学习和快速采用新思想持开放态度。当您考虑未来和生成式人工智能时，您是否特别兴奋地解决某个问题？
我认为那是生产力。如果您查看现有的统计数据，就会发现有调查证实，员工的 60% 到 70% 的时间可以通过生成式人工智能的生产力提升来提高。例如，我个人经常使用我的产品进行内容创作。因此，它释放的时间
可以潜在地用于生成更高价值的工作。正因为如此，我对它为企业提供的机会感到非常兴奋，这些机会可以让企业将员工的时间投入到更高价值的项目中。很好。好的，几个关于 Granite 的具体问题。那么，您希望全世界了解 Granite 的关键是什么？
Granite 是开放的、值得信赖的和有针对性的。
有两种思考开放性的方式。一种是开放的权重。它可供公众下载。第二种是开放的，因为它对客户如何合法地将这些模型用于一系列用例的限制较少。我们在 Apache 许可下发布了 Granite 开源模型，这使得各种用例成为可能。该
第二个是值得信赖的。我们已经讨论过了，就像它植根于我们在训练这些模型时建立的可信治理流程以及我们对这些模型承担的责任一样。第三个是有针对性的。针对企业，
我们讨论过将 Granite 公开给企业数据或特定领域的 Granite，其中一些例如 COBOL2、Java 翻译，其目标是解决特定的企业需求。这就是 Granite。开放的、值得信赖的和有针对性的。所以现在世界上有很多模型，对吧？这是一个竞争激烈的市场。Granite 在这个宇宙中处于什么位置？Granite 的市场是什么？
我们讨论了企业市场正从大型通用模型转向有针对性的小型模型。Granite 是一种小型模型，企业可以获取它并在其专有数据上进行定制，以创建针对目标用例的差异化产品。
因此，Granite 非常适合作为小型、特定领域、面向业务、为业务量身定制并在企业数据上进行训练以解决企业问题的模型。您提到小型是 Granite 的特点之一。在某些情况下，对于企业、对于业务来说，为什么这很有用？模型越大，所需的计算资源就越多。它会导致……
延迟增加，这就是您的响应时间。它会导致成本增加。添加会导致碳足迹和能源消耗增加。因此，在企业交易规模上，当您转向生产并想要扩展时……
其中一些挑战可能会更加强烈，例如成本可能会增加。能源消耗可能是一件严重的事情。延迟取决于应用程序，可能是障碍和阻碍因素，因为对于更长、更大的模型、更强大的模型来说，处理和计算输出所需的时间要长得多。
我们将以快速问答结束。我希望您只回答第一个想到的东西。不要想太多。好的。完成这个句子。五年后，人工智能将……变得无处不在。啊，我喜欢这个。你的意思是？今天，人工智能无处不在。但如果你问我家的孩子……
他们知道人工智能，但如果你说，“人工智能在哪里？你如何使用人工智能？”他们不知道答案，因为它与他们的生活如此融合。
他们感觉不到自己正在使用它。他们正在习惯这一点。因此，当我想到下一代和未来几年时，那一代人已经习惯了人工智能成为他们生活的一部分，他们感觉它就在那里。这就是其一。第二个是与人工智能交互的简单性，您不会觉得您正在与系统交互。
它就在那里。就像您与人工智能交谈一样，一切都是自动化的。所以我会说，简单性和融合以解决正确的问题是我所说的无处不在的部分。就像互联网无处不在，它是无形的，但我们过去需要拨号，就像您记得拨号声来连接互联网一样。
它消失了。互联网今天完全是无形的。对。就像我们过去谈论登录一样，对吧？而您不再登录，因为您始终处于登录状态。是的。您始终处于连接状态。是的。人们对人工智能最误解的一件事是什么？人工智能是不可避免的，但不应害怕。您会给自己 10 年前的自己什么建议，以便更好地为今天做好准备？
我会说培养广泛的技能。即使您认为它们今天不会对您有所帮助，它们在未来也可能很有价值。因此，在消费者方面，我们现在听到很多关于聊天机器人和图像生成器的消息。但在业务方面，您认为下一个主要的业务应用程序是什么？人工智能影响者生成内容。您今天如何在日常生活中使用人工智能？
一个简单的例子是 LinkedIn 帖子。我喜欢去我的产品。我将举一个例子，这是我最喜欢的例子。Llama 3.1，405B，我在 LinkedIn 上宣布 IBM 在同一天发布该模型的帖子。它是由 Llama 3.1，4050 亿参数模型生成的。因此，使用相同的模型来发布、生成公告说明。非常优雅。
我还应该问您其他问题吗？哦，我们没有谈论 InstructLab。因此，当您获取模型时，您从模型开始，但您需要在您的专有数据上对其进行定制，以在其之上创造价值。因此，InstructLab 提供了一种基于开源贡献的方法，可以共同贡献以改进数据
因此，如果您是一家企业，您可以利用您的内部员工共同贡献以改进模型。我将举一个例子说明为什么它很重要。例如，如果您今天访问 Hugging Face 并查找 LAMA，大约有 50,000 个不同的 LAMA 连接。
即将到来。原因是没有办法为基础模型做出贡献。如果您是开发人员，您必须克隆模型的副本，并为自己的目的找到一个单元。我们找到了一种我们称之为 InstructLab 的方法，能够共同收集所有这些信息并为基础模型做出贡献并对其进行增强。这就是 InstructLab。我只是想强调开放的价值。
因为这是过去 18 个月中特别是在市场上出现的一个话题。我相信人工智能的未来是开放的。我们已经看到开源市场如何改变模型如何被更广泛的受众所访问。当您使技术组件更容易被更广泛的社区访问以对其进行压力测试时，通常会发生好事。
这就是我们对 Granite 采取的方向。我觉得这确实是市场将要出现的趋势。是的，这很有趣，我认为，也许天真地不直观，但一旦你考虑一下，它就说得通了，那就是……
开源的东西更安全。您可能会天真地认为，哦，不，把它放在一个盒子里，这样就没有人能看到它，这样会更安全。但事实证明，在世界上，如果您让每个人都去戳它，世界就会为您找到漏洞，您可以修复它们，对吧？这正是将要发生的事情。是的。很好。很高兴与您交谈。非常感谢您的时间。我也是。谢谢，雅各布。
本期节目到此结束。非常感谢玛丽亚姆和雅各布。今天的对话让我了解了开放技术和人工智能如何交叉创造更透明、更高效的企业系统。从小而有针对性的模型（如 Granite）的力量到人工智能中信任和治理的重要性，这些发展正在从根本上重塑企业的运营方式。
随着我们继续解开人工智能的复杂性，很明显，开放性（无论是在数据、技术还是协作方面）不仅仅是一个概念，而是一种可以解锁新可能性的驱动力。
IBM 智能对话由 Matt Romano、Joey Fishground、Amy Gaines-McQuaid 和 Jacob Goldstein 制作。我们的编辑是 Lydia Jean Cott。我们的工程师是 Sarah Bruguere 和 Ben Tolliday。主题曲由 Gramascope 创作。特别感谢 8 Bar 和 IBM 团队，以及 Pushkin 营销团队。IBM 智能对话是 Pushkin Industries 和 iHeartMedia 的 Ruby Studio 制作的节目。
要查找更多 Pushkin 播客，请在 iHeartRadio 应用程序、Apple Podcasts 或您收听播客的任何地方收听。我是马尔科姆·格劳布尔。这是 IBM 的付费广告。本播客中的对话并不一定代表 IBM 的立场、战略或观点。