842: Flexible AI Deployments Are Critical, with Chris Bennett and Joseph Balsamo
17:18 Share

这是第842集，嘉宾是Chris Bennett和Joseph Balsamo。

欢迎回到超级数据科学播客。我是你的主持人，Jon Krohn。今天的节目将重点介绍我最近主持的一场关于AI灵活性的会议的亮点。这一集有两位嘉宾。第一位是Chris Bennett，他是戴尔数据和AI解决方案的全球首席技术官。另一位是Joseph Balsamo，他是Eternal Technologies的产品开发高级副总裁。

今天的节目对任何人来说都应该很有趣。Chris和Joe详细说明了在部署AI模型时灵活性的重要性，以及生成性AI的商业应用是否被过度炒作。

准备好了吗？让我们直接进入我们的对话，这段对话是在几周前纽约的ScaleUp AI会议上录制的。你即将听到的采访紧接着我与超级明星Andrew Ng的采访。你可以在第841集中查看他的采访。所以这就是我在这次对话开始时提到的内容。好了，让我们直接切入正题。

欢迎回来，第二阶段。我希望你喜欢与Andrew Ng的那场会议。我会说这是一个很难跟上的表演，但我们现在也有很棒的嘉宾。我们有来自戴尔的Chris Bennett和来自Eternal的Joe Balsamo，如果你在谷歌搜索这个名字，它听起来像是永恒，像是永恒的天堂，但它是以I开头的，有点像IT。虽然我试图深入挖掘这个名字的来源，但

显然我所幻想的词源并没有任何依据。所以这是我作为大型语言模型的幻觉。首先，我们来谈谈戴尔，作为GPU支持系统（如AI系统）的市场领导者，和Eternal，一个相对较小的公司，如何合作。你们今天一起做什么呢？首先谢谢你们，也谢谢Scale。

Scale up AI。Scale up AI。是的。哇，那是我的大型语言模型时刻。所以我们已经合作了不到一年，我想，也许更久。实际上，现在想想，我们已经合作了很长时间，因为他们是戴尔一直在运行的提案创建平台的背后支持者。因此，将AI引入我们的销售团队，帮助他们创建个性化的提案。没错。

但我觉得Eternal有趣的地方在于，我们与从最小的ISV到你能想象的最大的IT公司之间建立了整个合作伙伴生态系统。

我们正在努力建立一个可信赖的供应商网络，我们过去与他们合作过。我们在我们的基础设施、云或混合模式上为客户提供了卓越的结果，无论它以何种形式出现。

很好。Joe，你想补充什么吗？是的。我认为AI的商业价值仍然处于早期阶段，你需要那种互补的规模和特定的用例，以便

与您所在的位置对齐，无论您是刚起步还是已经在全速前进。我认为戴尔和Eternal的结合确实可以帮助您处理这些类型的案例，无论它们是小型还是大型。非常好。Chris，对于那些还不熟悉的听众，你能解释一下戴尔提供的AI服务吗？

我认为当人们想到戴尔时，毫无疑问这是一个硬件公司。你可以立即在笔记本电脑或服务器的顶部看到戴尔的标志，也许有些人并没有立即想到戴尔及其提供的AI服务。所以请告诉我们这些服务。是的。关于我们公司的有趣之处在于，我在这里待了很长时间，我不会说多久，但这可能会有所帮助。他的胡子。我的胡子，是的。所以戴尔的有趣之处在于

我们从大学宿舍一路发展到今天的数据中心和消费者服务提供商，经历了40年的历程。过去40年的执行、战略和收购使我们达到了这个行业的关键时刻。我们经历了IT领域的许多时代。我们故意做的一件事是我们建立了...

再次回到生态系统，我们建立了一个庞大的合作伙伴生态系统，我们还在自己的咨询业务中建立了能力，以补充我们的合作伙伴，为我们的客户提供服务，无论他们在其发展过程中处于何种阶段。因此，如果他们只是想弄清楚这个AI的事情，也许他们对此有些害怕。也许他们已经识别出一些用例，但不太确定如何识别他们需要使用的数据。

如果我们在自己的稳定中没有那种离散的服务，我们有合作伙伴可以提供。

因此，我认为作为一家端到端解决方案公司，我认为我们拥有市场上没有其他公司具备的独特能力。无论你考虑的是配备AI的桌面设备，还是配备AI和GPU的边缘计算设备，再到数据中心，再到世界上最大的语言模型训练农场，我们都是大多数基础设施的支持者。

所以非常酷，非常酷。我了解到，与戴尔合作的一个优势是使用这些AI服务时的灵活性，灵活性体现在

在本地进行AI训练或推理、完全在云中，或在您自己的场所与某个第三方云之间的某种混合模式之间。戴尔还提供，如果您与云合作伙伴合作，您在供应商选择上的灵活性。所以请告诉我们更多关于这种灵活性优势的信息。

我认为在灵活性方面，有几个维度。第一个维度是你将使用什么工具链。我们不是工具链公司。我们是提供动力的基础设施。当你考虑需要在基础设施上构建的平台时，

需要构建的平台需要是可移植的。因此，如果我在云中构建某些东西，并在云中进行试点和测试，那很好。我们有在云和超大规模云环境中运行的软件定义平台。我们有相同的软件定义平台在本地和数据中心以及共置中运行。

我认为在我看来，重要的是在考虑构建这些AI驱动的应用程序时，这涉及到非常大的一套基础设施，包括软件和硬件定义。你必须以这样的方式考虑，如果我想在某一天移动这个，如果我想从我的超大规模云平台上将其移到共置提供商，或者反过来。

我必须能够做到这一点。因此，如果我使用一堆专有工具，并且让我陷入特定的消费模式，这将需要重构，这将显著增加成本。

移动并降低你的灵活性。所以这就是我们所追求的。我们追求灵活性。显然，我们对本地有强烈的偏好，但我们几乎在客户所在的地方进行互操作。因此，这就是我们的座右铭。我们提倡将AI带到您的数据中。因此，如果您的所有数据都在超大规模云中，让我们通过我们的合作伙伴和一些软件定义的解决方案来帮助您实现这一愿景。

然后在最合适的地方运行您的应用程序和工作负载。你说你显然对本地有偏见，我想这是因为你是一家硬件公司。如果我在考虑我正在构建的应用程序，为什么我应该考虑潜在的本地应用程序或混合情况，而不是仅仅使用第三方云？

我认为很多事情实际上取决于客户所在的位置。如果他们完全依赖超大规模云，可能我这样说会限制我的职业生涯，但也许你应该在超大规模云中运行你的AI应用程序，因为那是你的数据所在。我们完全相信，未来绝大多数数据，甚至历史数据都是在边缘产生的。

这对我们意味着不在传统的数据中心位置。我们认为数据仓库等存在于集中空间，无论是在云中还是本地。但实际上，现在发生行动的地方是在边缘。我们几乎在每个行业中都看到新的数据以非常大的量被创造出来。因此，我认为，再次，我们的

客户在哪里，就是我们想要与他们会面的地方。我们不想强加你必须、你将和你会的要求。我们想知道你在哪里，我们如何能帮助你提升自己。这对我们来说是一个新的维度。我们习惯于将卡车倒到装卸码头，说，嘿，我这里有3000台服务器，我能留下多少台？所以这可能是我们需要进行的一些不太舒适的对话。这是我们在新领域进行的对话，但这是一个重要的对话。

很好。非常酷。Chris，你有没有例子，可能是客户不灵活的例子，与Eternal不同？所以我们谈到了灵活性的重要性。你有没有例子说明客户不灵活导致灾难性结果的情况？从灵活性的角度来看，我认为有很多不同的方式可以出错，也有很多不同的方式可以做对。

所以如果我把自己绑定到一个模型上，我可能会发现，随着用户数量的增加或我与AI系统的交互增加，该模型可能比在本地托管的某些东西更昂贵。因此，如果我使用基于API的模型来托管我的应用程序，并且如果我专门为此编写了应用程序，那将非常困难。

所以我认为，我不会点名任何公司，但我认为

从灵活性的角度来看，我们鼓励你查看所有选项。查看所有可用的选项。了解什么是最有效的，但也要了解性能成本是什么？韧性成本是什么？以及实际的美元、欧元、日元或您所在地区的成本是什么？将其具体实施到一个生态系统中的成本是什么？我们追求开放。我们有硅多样性战略。

我们有平台多样性战略。我们支持开源。我们支持来自硅供应商的完全集成堆栈，并支持来自软件合作伙伴的集成堆栈。因此，我认为在成功案例方面，我更倾向于认为我们有更多的成功案例。我给你一个非常快速的例子，它将是内部的。

我们在戴尔内部发布了一个应用程序。

这个应用程序的想法是在增强工作负载、工作流程的使用和部署模式尚不明确的早期阶段。因此，RAG是我们今天所称的。这个词很糟糕，我讨厌它，但它是一个术语。检索增强生成。是的，想象一下它实际上是成熟的。因此，我们在戴尔内部以试点阶段部署了这个平台，约有1000名用户。

它的格式非常易于理解。用户界面非常出色。它工作得很好，直到你问它一个问题。我们了解到，训练模型所使用的数据集、知识库，因为我们认为你必须先训练一个模型，然后指向包含企业数据的系统，它们都在我所称之为付费墙的后面。如果我作为用户，

能够访问那个付费墙，我可以问它任何我想问的问题，它都会权威地回答我。但如果我没有，它就会虚构一个答案，因为模型会以它所知道的最佳方式回应。而当时，我不会告诉你这是哪个模型。它是一个开放模型，但它是一个处于初期阶段的模型。它并不真正理解如何说，我不知道你问题的答案。对。

所以它会编造问题。因此，再次强调，当你这样做时，你需要了解你的应用程序的消费者。你需要了解消费者访问该应用程序所访问的数据的权限。不要在使用HANA代理将你的注册解决方案连接到你的AI应用程序时使用HANA的系统作为登录。

很好。是的。很棒的故事。我很高兴你能给我们一些。如果我问到灾难而你没有，那会是一个无聊的问题。Eternal从未发生过灾难。因此，最后一个问题给你，Joe，在我们进入一些很棒的观众提问之前，最后一个问题是，你认为我们过度使用生成性AI这个术语吗？这是一个我们在

尤其是在数据科学和AI领域，但在企业中普遍听到的术语。在像Scale Up AI这样的会议上，你会听到很多关于生成性AI的讨论。你认为它被过度炒作了吗？

我认为商业领袖想要产生商业成果，而不是AI。它被过度炒作了吗？我的意思是，它获得了需要的关注。我喜欢这一点。我喜欢人们对它的关注。并不是所有的事情都是生成性的。你可能不需要生成性来满足你的需求。你需要查看你的商业案例，找到适合你的平台。找到一个能够让你尽可能接近交钥匙的公司。

与技术合作，并在尝试实现大结果之前，先实现小结果。再一次，确保你知道你的数据是什么，并确保你对你的数据有信心，然后再去做。这是我看到的大多数灾难发生的地方。让我再补充一点。你知道，潮水上涨会提升所有船只的谚语在这里非常真实。首先，生成性AI已经存在很长时间。

但它的实际应用大约在两年前爆炸式增长。当那发生时，人们部署的所有其他AI平台，机器学习、传统AI，无论它以何种形式表现出来，它们几乎瞬间变得更有能力。它们并没有瞬间变得更好。

但它们都因创新曲线的快速发展而变得更有能力。因此，我认为这...

你知道，这并不是过度炒作，但我认为当人们想到生成性AI时，他们会想到AI本身。也许我应该为此注册商标。但，实际上，这真的是一个问题，我们现在拥有机器学习的能力，以一种我们以前甚至无法想象的方式使用数据集。企业中的用例正在爆炸，因为现在不再是，它实际上留给了想象力。如果我能想象它，我可能就能做到。

而且它还为你提供了访问各种非结构化数据的机会，这也是我们拥有的大多数数据。因此，这是我们与Andrew在前一场会议结束时讨论的一个重要点，

就是通过生成性AI工具，现在你可以访问所有这些非结构化数据。他实时演示了输入一些关键词，然后完全自动地提取视频中的特定帧，而无需明确训练任何标签。所以，是的，多亏了生成性AI，灵活性大增。

所以，是的，来自戴尔的Chris Bennett，戴尔的AI和数据解决方案首席技术官，以及Eternal的产品开发副总裁Joe Balsamo。感谢你们今天的时间和对AI系统灵活性的精彩回答。非常感谢。

好的，我希望你喜欢今天与Chris Bennett和Joseph Balsamo的对话，讨论为什么在我们的AI模型部署中灵活性至关重要。确保不要错过我们即将推出的任何激动人心的节目。如果你还不是订阅者，请订阅这个播客。但最重要的是，我希望你能继续收听。直到下次，再见，期待与你一起享受另一轮超级数据科学播客。