We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode John Palazza - Vice President of Global Sales @ CentML ( sponsored)

John Palazza - Vice President of Global Sales @ CentML ( sponsored)

2025/3/10
logo of podcast Machine Learning Street Talk (MLST)

Machine Learning Street Talk (MLST)

AI Deep Dive AI Chapters Transcript
People
J
John Palazza
Topics
John Palazza: 我认为企业要想有效利用人工智能,需要自上而下的统一方法。高层领导需要制定愿景并负责,才能创造一种文化,让机器学习渗透到业务的各个方面。 从创新到生产再到规模化,企业需要改变在创新阶段的松散状态。关注GPU利用率和成本控制至关重要,避免因计算能力不足而导致破产。 CentML致力于帮助企业优化基础设施,使其能够更有效地启动并使用机器学习和生成式AI,解决基础设施带来的挑战。我们的创立源于对高效利用计算资源的需求,尤其是在大型语言模型和人工智能领域。 企业开始更加重视计算资源的实用性和效率,而不是一味追求规模。企业需要从理论构建转向实际构建,以实现机器学习的最佳财务和技术利用。 许多现有的计算资源利用率不足,提高GPU利用率和效率是解决计算资源短缺的关键一步。CentML的目标是帮助企业尽可能高效地利用现有计算资源,以应对不断增长的计算需求。 尽管企业倾向于平台化,但个人仍然需要参与决策,这在实践中很常见。企业中缺乏团队协作和集中化,导致资源浪费和效率低下。大型企业需要自上而下的方法来更有效地利用人工智能。自上而下的方法,由高层领导制定愿景,才能促进机器学习在企业中的有效应用。 我们与企业组织的各个层面进行沟通,了解其在生成式AI和大型语言模型方面的战略。企业对大型语言模型和生成式AI的应用需求日益增长,但其采用路径和阶段各不相同。 许多首席技术官尚未充分关注计算资源的利用率和效率问题。从创新到生产再到规模化,企业需要关注成本控制,避免因计算能力不足而导致破产。 提高效率能够释放资源,从而推动创新和增长。我认为在不久的将来,最棒的机会将来自那些开放权重模型。企业更倾向于使用开放权重模型,因为它更灵活,更容易扩展。随着Llama模型的进步,越来越多的企业开始关注开放权重模型。 企业不应该满足于“足够好”的解决方案,而应该追求更具突破性的创新。与NVIDIA和Deloitte等合作伙伴的合作,为CentML提供了市场洞察和技术支持。 CentML并不担心云服务提供商会构建类似的产品,因为CentML与他们建立了良好的合作关系。CentML与云服务提供商合作,提高客户满意度,并为客户提供更高效的解决方案。 CentML目前没有计划自建云平台,而是专注于与现有云服务提供商合作。CentML致力于为客户提供灵活性和自由度,让他们能够轻松切换模型和基础设施。 CentML对AI领域的众多初创公司感到兴奋,并认为这是一个充满活力和机遇的领域。

Deep Dive

Shownotes Transcript

在去中心化和中心化之间总是有一个摆动的钟摆。但问题是谁拥有组织中的 AI?因为如果我们要更有效地利用 AI,我们肯定需要一种联合的方法。拥有远见的管理人员从最高级别拥有所有权,从而创造了一种文化,使机器学习的采用能够渗透到其业务的各个方面。我认为事实证明,这样做更成功的公司,无论是在采用方面,还是在这些公司未来的发展方向方面。

尽管有很多兴奋,但我认为有很多个人的兴奋,但不一定是下一阶段的合作。但是,从创新到生产再到规模的这种转变,就是创新中发生的松散需要开始改变的时候。突然之间,他们说,你知道吗?我们在 H1、H100 上运行这个解决方案很棒,但现在我们要将其推广到 45,000 名用户,我们担心这种能力会让我们破产。

随着 Lama 的发展,我进行的许多对话中,客户主要关注的是他们可以使用到的更开放的权重。John,欢迎来到 MLST。很高兴你在这里。很高兴来到这里,Tim。非常感谢你。告诉我你的背景。哇。所以我从一个小农场开始。不,我只是开玩笑。我最初是一名军官。所以我去了美国的海军学院。所以

我是一名海军军官。我当时就开始探索机器学习的早期基础知识以及围绕技术的各个方面。所以,最终开始销售软件。我经历了很长一段时间的创业周期。大约在四五家创业公司中担任第一位销售人员。非常喜欢建立这种产品市场契合度,了解在哪里

以及新技术在从军队过渡到平民部门时是如何被使用的。然后在过去的十年左右的时间里,我一直致力于解决机器学习和人工智能方面的挑战。首先是为一家名为 GraphLab 的创业公司提供咨询,该公司被 Apple 收购,这非常令人兴奋。然后在 MLOps 领域早期与一家名为 Algorithmia 的公司和另一家名为 Converge 的公司合作,我们处理的是

我认为在开始使用机器学习时面临的挑战和采用情况,这就是促使我来到 Sentinel 的原因,当涉及到生成式 AI、大型语言模型以及了解人们如何以及为什么使用它们时,我们现在正在经历类似的叙述。Sentinel 这里正在建立的兴奋感对我来说非常有吸引力,这就是我们今天所处的位置。

太棒了。那么 CentML,如果我理解正确的话,它成立于 2022 年多伦多大学。这是正确的。它是什么?我的意思是,你们的产品是什么?你们做什么?我们是第一个在多个层面关注优化的平台。优化是一个陈词滥调的术语,所以我为使用它而道歉。让我们以更好的方式来看待它。有时最难做的事情实际上是开始使用机器学习,或者在这种情况下,开始使用生成式 AI 和大型语言模型。

Sentinel 意识到其中一些负担或挑战来自基础设施本身。

使用如此多的计算能力,如此大量的这种环境是怎样的?我们说,如果有一种更好的方法呢?如果有一种方法可以,首先,满足客户在其旅程中的位置,我们可以了解这意味着什么?而且,一旦他们处于这个旅程或正在考虑它,我们如何确保他们在正确的时间为正确的负载使用正确的计算能力来帮助人们优化和采用大型语言模型?从根本上说,这就是 Sentinel 的真正所在和本质。

我总是喜欢说,学者有时面临着最大的挑战。因此,对于多伦多大学 Sentinel 的人员来说,他们面临的一些最大挑战是如何有效地使用我们的拨款来实际测试所有这些机器学习?在这种情况下,我们不能只使用最大和最好的硬件。我们必须使用最有效的硬件。

他们总是说,需要是发明之母。在这种情况下,生成这些大型语言模型以及处理人工智能大型工作负载所需的正确计算能力,导致了 Sentinel 的成立。

那么你认为我们是否开始转向更务实的计算?你知道,有一种 modus operandi,那就是让我们构建越来越大的模型,而根本不关心效率和环境等等。当我们部署到企业时,问题就更大了,因为当然存在异构计算环境,不同的人在不同的成本中心使用许多不同的应用程序。所以现在这确实成为一个问题。

是的,我完全同意你的观点。我认为总是有这种愿望,我会说几乎是害怕错过,他们想要我们能获得的最大基础设施。让我们变得更大。让我们变得更快。让我们变得更大。

但是突然之间,它看起来像这样,这有多好用,对吧?所以我总是认为拥有你能拥有的最大、最坏和最大的东西是很棒的。但是当它不可用并且实际上开始成为负担和障碍时,我觉得这就是我们现在所处的过渡时刻。人们说,我们如何从机器学习的理论构建转向既在财务上又在技术上得到最佳利用的实用构建?这又是……

我们在 Sentinel 每天进行的对话都集中在,对吧?这有点像松紧带回弹了一点,人们说,当然,机会就在那里,但我看到转变即将到来。我们如何利用这种转变?我们如何开始以正确的方式、以最有效的方式使用事物?因此,对计算机的需求大幅增加。我的意思是,我前几天读过一项调查。显然,到 2026 年,我们将需要多出约 33% 的 GPU。GPU 供应不足。

一般来说,对计算能力的需求正在增加。应用程序正在增加。我的意思是,很快人们将在他们的 VR 耳机上生成实时虚拟游戏、虚拟世界等等。那么你对这些行业趋势有什么看法?好吧,首先,这是一个令人兴奋的时刻,对吧?我很想看到其中一些事情实现。我已经每天都从使用 AI 中受益。所以,我看到的越多,就越兴奋。

不过,我要说的是,这很有趣。你知道,这种计算能力短缺并没有改变,对吧?你知道,我总是回想起一些故事,甚至可以追溯到存储时代,对吧?而且,你知道,很多年前我被 EMC 收购了,EMC 是一家相当大的存储公司。当时 EMC 最大的担忧是他们将消失。存储将消失。一切将 100% 位于云端。

然后我记得在我离开后的两三年后,我与那里的副总裁会面,他们说,我随意地问进展如何。他说,这是我们历史上最好的一年。我说,但这不可能。所有这些云支出都增加了。他说,是的,你知道吗?存储支出也是如此。他说,事情就是这样继续下去。这是规律,对吧?我认为计算能力也是如此。所以我认为需求不会减少。

但我认为我们可以看到的一件事,以及我们不仅看到需要而且需要要求的一件事是更好的效率。我们今天可用的许多计算能力并没有得到 100% 的利用或正确利用。

因此,我们看到人们持续使用可用 GPU 的 30%、40%,然后继续前进。我相信在这个领域有如此多的价值。因此,能够在 GPU 上获得 80%、100% 的利用率和效率,对我来说是解决我们正在处理的这种计算危机的第一步。

这同样也是我们认为 Centum L 适合的空间以及空间本身的基础。总会有对更多计算能力的需求。我们的目标只是帮助人们尽可能高效地使用他们现有的计算能力,因为这种需求会不断增加,因为它需要增加。

是的,这里有几件事。首先,GPU 比 CPU 更贵。因此,即使现在在云端,CPU 利用率也不是很高。当然,如果您使用 PaaS 服务,情况会更好,但仍然有很多用户使用 IaaS 服务。另一件事是 GPU 尚未虚拟化。我认为有一些初创公司正在这样做,也许云供应商将开始做类似的事情。但目前,这有点像 20 世纪 90 年代,我们直接与金属对话。

另一件事是,我们正在转向数据科学的平台化,五年前,个人贡献者正在构建模型、四处修补并将内容投入生产。现在我们需要规模经济,因为我们负担不起让所有这些随机的 GPU 机器到处烧钱。你如何看待?

那?这是一个非常有趣的问题,因为我觉得一直与这么多客户会面,而且我认为在过去的十年里,我可能已经进行了近 5000 次关于 AI 和 ML 的客户互动,当你想到我们正在进行的对话时,这相当可观。但我认为,即使每个人都希望越来越接近平台,个人仍然能够做出直接决策的能力也是非常实用和正在发生的,对吧?无论我们是否想要它。我认为有时当你给

太多人太多的王国钥匙。你会遇到这种情况,并非总是为正确的原因使用正确的计算机,并非总是正确的模型。有孤儿模型。我总是喜欢说我开过会,这大概是在五年前,

与一家非常非常大的金融服务公司,我们正在讨论机器学习的现状。在那次会议上,同一个组织中有大约八位不同的 CIO,但他们都有 CIO 头衔。我们正在讨论机器学习的用例。我用作一个非常非常基本的例子的是情感分析,对吧?一个非常简单的用例,尤其是在了解客户反馈方面。

他们都在为情感分析开展自己的项目。团队之间没有合作。没有集中化。有一系列不同的雪花。我认为现在,尽管有很多兴奋,但我认为有很多个人的兴奋,但不一定是下一阶段的合作。

大型企业客户的统一。所以我认为我们距离那还差一点。我认为这就是我们看到的部分原因,对吧?我们仍然看到,即使平台是我们前进的方向,采用也需要加速。我们需要看到人们开始从更多角度看待它

统一或最佳品种,或者实际上利用这些工作负载,而不是个人作为孤岛工作。我认为这些事情应该改变。我认为这还没有发生,但我们正在朝着这个方向前进。是的。对比这两种方法非常有趣,因为亚马逊文化有一些说法,他们有这些两人比萨团队,他们拥有自主权,这很棒,因为你可以拥有像飞轮一样的东西,人们做事情。

但是你最终会让很多人重复同样的努力。此外,对于语言模型来说,很酷的一点是情感分析非常容易。你只需要问语言模型,这个东西的情感是什么?你可以用自然语言来描述它。而且实际上并没有什么技术上的提升。因此,你不需要重复使用别人之前做过的事情。

但问题是,好吧,谁拥有组织中的 AI?因为你知道,之前有一段时间,我们有这些首席数据官和首席 AI 官等等。在去中心化和中心化之间总是有一个摆动的钟摆。没错。但我真诚地认为,我们需要在这些大型企业中采取自上而下的方法。如果我们要更有效地利用 AI,我们肯定需要一种联合的方法。我完全同意你的观点。我认为……

最有效地采用机器学习的公司是从最顶层开始作为一项文化决策,作为一项统一或公司决策,然后是一种从这种自上而下的方法向下渗透的实施。我认为,你知道,你总是喜欢认为你从顶部开始,但在很多层面上,你从那些参与其中的人开始,与他们一起工作,帮助建立技术的信誉。

但在 AI 和更广泛的领域中,我真的觉得,拥有远见的管理人员从最高级别拥有所有权,从而创造了一种文化,使机器学习的采用能够渗透到其业务的各个方面。这才是我的想法,我认为它需要去的地方。我认为事实证明,这样做更成功的公司,无论是在采用方面,还是在这些公司未来的发展方向方面。

正如你所说,当它来自公司的愿景时,对一些更复杂的模型做出决定要容易得多,这表明我们正在采用或启用或将其作为我们的标准和实践的一部分。我认为这才是真正推动我们成功边界的原因。

你与客户进行什么样的对话?我的意思是,例如,当你与潜在客户交谈时,你与谁交谈?你是否与组织的所有级别的人交谈,或者你倾向于关注特定角色?是的,我知道这是一个很好的问题。我的意思是,我们正在与组织内的所有领域交谈,对吧?在理想的设置中,我们正在与组织内的高级管理人员和高级领导交谈,并解释和了解他们对生成式 AI、大型语言模型的战略是什么,对吧?

他们是在自己构建吗?他们是在利用开源吗?他们是在利用封闭模型吗?他们是否采用了他们正在消费或构建的结构?因此,每个客户的旅程都略有不同。我总是喜欢说,在每家创业公司中,理想的世界是有一位主管或副总裁负责你的产品。

对。就像任何一家公司的 Sentinel 副总裁都会是一个很容易打电话的人。不幸的是,这还没有完全实现。因此,我们确实倾向于与从事生成式 AI 领域或高层领导的人进行对话。但我们的一些最佳赞助商是一些一直在处理这个问题的人。

你知道,这个问题可能是将大型语言模型集成到应用程序中并实际利用如何大规模使用它。这些人可能只是一名高级 ML 工程师。与他们进行对话并向他们展示我们可以构建的内容以及如何让它更容易一些,这种满足感是极好的。它也产生共鸣,因为它是一种技术解决方案。因此,它肯定遍布整个组织,但每个对话点都有价值。

你认为这将如何发展?我的意思是,举个例子,你知道,奥斯卡·王尔德说时尚是一种丑陋的形式,它是如此令人无法忍受,以至于我们必须每六个月改变一次。数据平台架构非常类似。所以,你知道,我们有……

单体数据湖,然后我们有了快路径和慢路径,然后我们有了网状湖和湖仓等等。而且,你知道,这些都是非常昂贵的项目,它们往往会慢慢获得业务各个部门的认可。所以,你知道,你这边有财务人员,那边有零售人员。在某种程度上,采取联合的方法很好,但这同时也意味着你需要让如此多的利益相关者参与进来。

很多人说,你不能将我的数据用于这件事。你需要给我一个令牌。只有在有人实际验证身份时,你才能使用我的数据等等。因此,你只会得到这种复杂性的爆炸式增长。你如何解决这个问题?有时,在技术或 AI 中,流行的东西或现在的东西甚至不到六个月,对吧?所以……

在获得资金时可能适用的解决方案不再适用。我开玩笑说,我的第一家创业公司之一,

是一家名为 BackWeb 的公司,我们开发了一种名为 Polite Push 技术的东西。我在这里暴露年龄了,但当时的竞争对手是一个名为 Pointcast 的产品。在某个时候,它是互联网上最大的用户。它比雅虎或 AOL 还要大,无论当时是什么。它很棒,直到公司网络意识到它令人难以置信的具有侵入性,然后它就被禁止了。所有这些不同的技术都在那里。所以它有一段时间很热门,下一段时间就不热门了。而且

你知道,我们上市了,这项技术最终并没有那么好,你知道,两年后也没有那么好。现在有了 AI 和机器学习,我认为我们遇到的其中一件事是,随着时间的推移,需求一直在变化,对吧?我认为采用、集成和

利用到生产中的普遍概念仍然存在。我的意思是,我认为有些公司已经实现了它。有些公司正在寻求实现它,有些公司才刚刚开始他们的旅程。因此,仍然有很多公司具有不同的进化特征。我还认为方法正在发生变化。如果你看

七年前、八年前,许多公司再次独立工作,试图努力工作。你会发现一些公司会开始他们的项目,生活在云端,然后从云端迁移到本地,然后迁移到混合云,再迁移到混合本地。并且存在所有这些不同级别的采用和不同的方法,所有这些方法都有其自身的优点,其中一些方法也有其自身的挑战。我认为今天我们看到的是,普遍的需求或理解是大型语言模型和生成式 AI

对商业和社会都有巨大的影响,而且会发生。现在的问题,或者我们正在处理的问题是,我们的客户以及企业领域中的公司如何看待最佳前进道路。因此,许多公司开始并说,你知道,我们只想试探一下。我们想从生成式 AI 开始,也许将其作为端点提供服务。那么,我们能否尝试将 LAMA 模型作为端点?但是,你知道,这段旅程不会就此开始和结束。因此,当一家公司从那里开始时,我们正在与其他公司进行对话,他们说,

这很棒,但我们真正想要的是将其中一些内容引入内部。我们想在我们的 AWS 环境或 GCP 上运行它。我们有一些我们想利用的本地 GPU。我们最大的困难在于它的推理能力,推理能力一直在增长。你能帮我们解决这个问题吗?答案是,是的,我们可以。我们专注于优化推理和构建该过程的能力。然后我们进入下一阶段。我们已经与一些想要构建和训练自己大型语言模型的公司会面。

对吧?因此,完全摆脱利用现有架构并构建一些新的东西。我认为,正如你所说,我认为人们在这个旅程中的位置是每六个月都在变化的。是的。我的意思是,机会当然巨大。我前几天读了贝恩的报告,他们说 AI 可以为企业带来巨大的效率,你知道,在软件开发方面。我认为他们估计如果做得正确,可以达到 15% 或 30%。而且

例如,在销售方面,它可能约为 30%,呼叫中心约为 25%,仅此而已。所以机会巨大,但存在犹豫。我认为这有点像,你知道,大约十年前的云计算一样,没有人想成为第一个。

我想你已经见过这么多客户,你一定能看到模式。你一定能看到,好吧,有一种特定的文化。有一种特定的组织正在更好地采用 AI。例如,谷歌已经进行了大量的集中优化。他们有一个集中的单一代码库。他们有一个集中的构建系统。他们拥有所有这些规模经济,因为他们真的设法一起工作并弄清楚了这件事。而我还没有在很多其他企业中看到这一点。

这是否意味着我们需要拥有优秀的软件工程师,或者你认为会出现某种程度的抽象,这将使我们能够更轻松地构建 AI 应用程序?是的,我的意思是,我认为这是一个……

一个很好的问题。我还认为这是一个不能忽视的趋势。我认为拥有优秀工程师和优秀软件工程师的公司正在突破现有技术的界限,并且正在设定能力的预期。我认为这太棒了。但我认为大多数公司

建立如此庞大的工程团队,拥有如此多的技能,是非常困难的,对吧?我记得与一家非常非常成功的创业公司进行销售洽谈。这是一项非常棒的技术。我们与 Salesforce 会面并进行了那次谈话。

Salesforce 就像,哇,这是一个令人难以置信的产品。我们正在内部构建类似的东西。我记得像任何优秀的销售人员一样说,绝对的。但我们有一个专门的工程师团队正在构建这个,我们专门从事这项工作。我们有 25 名工程师。他们说,太棒了。所以我们在 Salesforce 的团队中有 380 名工程师。我说,好吧,所以我的 25 名专业工程师,比你在你能力范围内拥有的要少一些,对吧?但我认为你会看到那些——

在工程级别工作的独特雪花,他们可以在这些大型团队和这些大型组织中开发和工作,他们将始终存在于这些组织中。从这些组织中产生的工作实际上可以影响你在拥有 12 名工程师的小型公司中可以从中受益的东西。

因为其中一些功能可以产品化。你知道,如果你看看 Uber 的 ML Ops 空间,他们创建了一个名为 Michelangelo 的解决方案,对吧?很明显,这是他们的 ML Ops 解决方案。它并没有停止,你知道,客户从使用 algorithmia 或 Converge 中受益。

这是我领导销售的两个 MLOps 平台。原因很好。人们需要它,但他们没有构建自己的基础设施,而是想要从解决这些相同的问题中受益。我们现在正在优化领域处理这个问题,对吧?你知道,如果你去一家更大的公司或更大的企业,他们有 300 名工程师每天都在做这件事,调整它并处理它,绝对的。但大多数公司都没有。并且利用一个开源产品,其中,

仍然需要大量的资源,并不总是适合每个人的正确答案。因此,像 Sentinel 这样的解决方案以及不同领域的其他产品,在您在谷歌拥有的大型集中式工程团队中,您在当地大型零售商中没有时,可以帮助填补这些空白。

是的,我记得 Uber 的 Michelangelo。那太棒了。我认识一些以前在那里工作的人。但这确实激励了许多大型企业的人开始考虑平台化。同意。构建数据产品,创建这种信息架构,对吧?因为你说过,是的,所有这些复杂性都需要处理。

但是聪明的人可以创建一个模式。他们可以创建做事的方法,你知道,数据连接器和标准的处理形式等等。当然,这些可以模板化并在下游重复使用。我还看到围绕用户体验的许多创新,因为,你知道,Gen AI 是如此新颖,以至于花了很长时间才从聊天界面转移。

现在我们似乎正在向画布界面发展。当然,ChatGPT 有这个画布界面,Salesforce 今天刚刚发布了类似的东西。我认为随着时间的推移,我们将看到关于

生成式 AI 的界面设计的这种演变,这可能是创建这种低代码、无代码、你知道,企业可访问性的秘诀。我还认为,将其提升到下一步,对吧,我认为这也有助于推动采用,对吧?这么多公司

他们想要从中受益并想要使用它,但他们并不完全确定使用它的正确路径是什么,对吧?所以只是一些基本问题,例如你是否使用 RAG 或微调,你是否将其集成到某些东西中或创建不同的前端,对吧?例如,你是否将其提升到代理级别并将其交付到那里,我认为这

很快一切都会走向那里。我认为这些类型的创新和变化是推动采用并使公司能够更普遍地使用它的原因。

正如你所说,我同意多种参与方式和这种演变不断推动采用,使其变得更快、更容易,并有望更普遍,因为我很想看到每家公司都能从中受益。所以你使用了“魔法代理”这个词,这是我最喜欢的词之一。当我们想到这种抽象级别时,这太令人兴奋了。当然,你们做了令人难以置信的工作。

优化编译器、内核以及所有硬件等等。然后,我们将在该基础之上构建代理等功能。我认为这本身可能会成为一种新的用户体验概念,因为现在在ChatGPT或其他任何平台上,你进行搜索,而你实际上想做的是一种分层搜索。

所以你想说,我有这五个PDF文件,我希望你去做一些研究并总结每个文件。所有相应的结果都应该注入到我的东西里。所以,你知道,你正在进行这种组合处理,因为这就是我们的思维方式。目前,奇怪的是,实际上不可能做到那种事情。我认为这有几个原因。但你认为代理的未来是什么?我们实际上将如何开始利用它?

所以,我们在Sentimel实际上正在多个领域努力扩展我们的解决方案以与代理级别互动。我认为,第一步是在软件模型本身中进行故障排除和互动,对吧?这是一种非常简单的方法,正如你所说,可以诊断并提供下一步采取行动的内容,并使这些行动能够运行。你对故障排除、故障单、数据中心工作的影响,

太棒了,对吧?你可以将这些相同的用例应用于我们曾在类似领域的工作,朝着医疗保健行业迈进,处理医生信息、处方信息,并通过我们都在工作中参与的这些流程或领域采取合乎逻辑的步骤。我们今天在企业中看到的许多生成式AI都是第一步或第二步,而代理可以将其提升到完全可用性,第三步、第四步、第五步。

以更快的速度,并开始产生更大的业务影响,对吧?我们今天与客户打交道的许多用例中,那些看到围绕特定聊天机器人产生最有效结果的客户,我只是觉得还有更多业务影响

比聊天机器人更多。并不是说它们没有价值,因为它们有价值,而是下一个阶段。我认为代理将真正成为向企业交付价值的焦点。顺便说一句,顺便提一下,我得到了Cursor,你知道,像Gen AI代码程序一样,它为我生成一个我现在用于采访的应用程序。它叫做Interview Notes。

它有一个计时器,我有一个好坏参考和一个文本框。所以当我输入一些内容时,它会生成一个SRT字幕文件。然后我的编辑可以将其叠加在录音上,他们就会知道所有内容的位置。这太棒了。使用Gen AI非常酷,因为你会想到一个主意,你会想,哦,你知道。是的。

在你之前,你根本不会费心去做。但现在有很多创新,因为你会想,哦,我可以试试这个。哦,我可以试试那个。它只需要30秒。所以你就去做。太棒了。确实如此。好的,很酷。所以CentML,你们一直在做一些非常有趣的事情。你能告诉我你们核心产品堆栈吗?我们有C-Serve,它……

它在LLM ops领域真正处于领先地位,使你能够非常轻松地集成和服务、预配置,甚至深入了解模型如何在特定硬件上运行,从而提供有关成本、优化和效率的想法。然后我们还有一个平台,它更名为C-Train,专门关注这些领域中的培训方面。我们然后有一个

在其之下,一个名为C-Cluster的产品,所有这些都符合使我们的平台解决方案独一无二的因素。这包含了我们围绕编译器、网络功能的组件,并真正为这种体验提供了另一层次的优化和增强。然后在最底部,我们的平台使我们能够提供无服务器端点

在我们各种具有高效和优化端点的LAMA模型上,客户可以在API级别参与,并获得他们对托管大型语言模型的第一次体验,甚至扩展到生产级别。让我们首先谈谈集群管理。当然。这很酷,对吧?所以我还记得,我的意思是,我过去使用Databricks,例如,这在某种程度上非常相似,因为它……

一家独立的初创公司,它已成为许多云提供商(如GCP和Azure等)中的领导者。奇怪的是,因为我们也可以在这里谈论护城河,Databricks发展如此之快,以至于没有人能够超越他们的创新,每个人都喜欢使用它们等等。在某种程度上,我认为你们正在做的事情也类似。所以你们有很多聪明的人非常快速地工作,优化这些东西

你们几乎已经成为许多云中的领导者,人们可以像,你知道,设置并使用Sentinel构建东西。但是集群管理非常有趣,因为它是一个例子,说明我们所说的与其直接进入金属,不如现在拥有这个自我修复、自我扩展的集群,它会自动执行大量优化并为你运行作业。当然,当你不想为此付费时,你可以暂停它,但这只是计算的虚拟化程度越来越高。

对。而且,正如我们早些时候谈话的那样,GPU环境的很大一部分尚未虚拟化,对吧?但我们相信我们的方法允许

在正确的时间以正确的方式运行正确的负载。所以它与从中获得的好处的概念非常相似。我认为它普遍存在的原因是我们可以在任何地方运行它。因此它可以在任何主要的云提供商上运行,也可以在本地运行。因此,无论客户在哪里运行他们的工作负载,他们都有能力运行它

并实际查看在其自身环境和自身基础设施中运行它之间的区别。我认为这是非常独特的。它还允许我们在各种不同类型的GPU上运行,包括制造商和级别。通过我们的平台,我们实际上能够利用和运行你在A100或H100上传统运行的一些工作负载。

可以通过你的L4s或A10s或其他环境来增强。我们实际上正在提供这种洞察力。因此,正如你所说,我认为这非常有价值。你知道,我们在Snowflake App Store上有一个解决方案,对吧?其独特之处在于我们在Snowpark容器服务上运行,对吧?这是你每天都看不到的东西。因此,我们的功能不仅扩展到

传统的云提供商,甚至还有一些其他客户。我们的目标是成为该标准,以允许高效的工作负载流向它们能够最有效运行的地方。是的,我喜欢这种作业或工作负载的抽象。你知道,我们正在谈论拥有一个新的界面,一个新的平台。

当,你知道,在过去,我们会说,好吧,它必须在NVIDIA H100或其他什么东西上运行。现在我们有了这个界面,我们说,我想有一个作业,只做你预测对这个作业最有利的事情。我说这个的原因是,我认为存在足够好的性能的概念。

使用ML模型,对吧?你知道,有时人们会严重高估他们需要的硬件,甚至可能高估他们特定作业所需的模型。在中间拥有某种虚拟化层意味着,通过经验,也许我们可以巧妙地进行一些路由和映射。我们可以,你知道,在优化的硬件上运行它,甚至可以换出模型并共享其他人正在使用的另一个模型。我认为我们真的需要这样做。

我认为阻止这种情况发生的原因,顺便说一句,我同意你的观点,但我认为阻止这种情况发生的原因是,如果这样做不容易,并且实际上需要做出决定、付出努力和行动,人们就会犹豫不决,对吧?它必须是无缝的。

因此,我们的方法是,你知道,我们不希望客户不得不重写我们的模型150次才能利用每种可用的GPU版本。我们希望他们能够做出明智的决定,从而使他们能够做出这种改变。你知道,如果你让每个人都能够在H100上运行他们的工作负载,

如果他们能做到,他们就会在上面运行它。如果他们不关心成本,他们可以在最快的速度上运行它,就像如果我可以每次都开着法拉利去买杂货,它可以放在前座上,我会这么做的。这并不总是最有效的方法。使用Sentinel,客户不必担心根据燃油消耗选择特斯拉还是法拉利来购买20英里外的杂货所需要付出的努力。

可以根据他们想要花费多长时间自动为他们选择,所以如果我想在这个性能区域内以这种延迟交付这个模型,有16种不同的方法可以做到,你可以让Sentinel决定最具成本效益或最,你知道,在成本参数下具有财务能力的其他平台,因此它开始允许你做出业务决策,而无需在这个问题上选择两害相权取其轻,我认为

最终,这就是使人们能够做出正确决策的原因。如果它是无缝的、无痛的,并且不需要大量的改变,那么你就可以从这些基础设施组件中获益。正如你所说,有大量的模型和基础设施没有正确地结合在一起。有很多人可能不应该在这些环境中结合在一起,但因为他们没有改变它们的途径或对如果他们运行会发生什么的理解,

而且他们没有对此进行深入了解,所以他们没有这样做。使用Sentimel,我们希望我们可以开始让这些工作负载在经济上和性能上最合理的地方运行,并且考虑到一些更高容量的工作负载,在这些环境中运行的必要性。是的,这里还有很多钱可以节省。我的意思是,我在你们的网站上读到,在某些情况下,我认为你们可以节省高达60%。如果你仔细想想,我的意思是,

大型企业,他们一定在云计算上花费了难以置信的巨额资金。我认为英伟达可能会说不够。

没有所谓的巨额资金。今天有这么多初创公司正在涌现,它们试图成为针对特定通用用例的大型语言模型。我认为其中一些是最有创意的想法,并且令人难以置信地改变了这些领域中业务的开展方式。但他们的最大成本是计算,仅此而已。所以初创公司正在努力,并说,你知道,如果我们能够将我们的跑道延长六个月,

因为我们可以将计算成本降低60%,所以许多GPU一开始就没有得到充分利用,对吧?所以人们的利用率并没有达到80%或90%,这并非他们自己的错,只是因为编程方式、编码方式。

单个开发人员的工作方式与协作开发人员的工作方式。Sentinel的目标是,首先,提高效率和实际利用率,然后提高模型运行位置和模型运行方式的效率。通过我们许多独特且已获得专利的技术,

一种方法,我们实际上能够推动这种消费。我总是说网站是一个放置统计数据很危险的地方,因为你总是可以试图证明它。而我实际上看到我们的数字根据我们实际客户的说法很低。所以这是一个多方面的方法,它对我们的企业客户以及初创公司都产生了非常非常大的影响和非常非常大的好处。

大型企业中典型的CTO对这些有多少了解?我的意思是,我可以想象,随着时间的推移,我们正在谈论气候变化,因为计算成本只会继续增加。但我目前有一种直觉,我的意思是,在我最近的经验中,很多高级领导者并没有真正考虑利用率和效率。所以我认为那些收听你播客的CTO和领导者,他们

他们正在考虑效率,因为我认为你让一些人们没有注意到的领域得到了关注。但不幸的是,我倾向于同意你的说法。我认为很多CTO还没有感受到这个问题的痛苦。我说这个,你知道,在初创公司工作了近25年,这是

这是一个有趣的采用曲线。我认为我们在很大程度上现在处于创新阶段。因此,许多公司,当CTO查看它时,他们会查看创新预算,并说,我愿意花费X金额的钱

看看情况会如何发展,对吧?所以这几乎就像一个实验。但是从创新到生产再到规模的转变,我认为,在创新中发生的这种松散需要开始改变。因此,我们正在与之打交道的客户以及我们作为公司与之进行最佳对话和取得最佳成功的客户是那些处于创新阶段并正在转向生产和规模的客户。突然之间,他们说,你知道吗?

我们很高兴在H100上运行我们一直在测试的这个解决方案,但现在我们将将其推广给45,000名用户,我们担心这种能力会让我们破产并影响大量的成本。那时它就变得真实了,对吧?当它从创新转向生产时,它就变得真实了。我认为……

优秀的CTO和具有前瞻性的CTO,他们今天正在考虑这个问题。这就是为什么我们进行了如此多的精彩对话。而那些还没有达到这一点的人,我预计在接下来的几个月和几年里会与他们进行这些对话。

当他们越来越接近从创新到生产再到规模的时刻时。有趣。你认为当我们使它更高效时,这是否会导致整体使用的计算量减少?我的意思是,我说这个的原因是我前几天有了一个奇怪的想法,在贝恩的报告中,他们说,你知道,我们将减少25%的呼叫中心支出。这会产生一些利润空间,因为它就像我们之前花了这么多钱。现在我们的预算中有一些剩余资金。

如果是我,我会添加更多功能。没错。没错。我现在拥有所有这些LLM,并且我拥有Gen AI,我们可以更快地编写代码。而且,你知道,与其只是继续做我们之前在呼叫中心管理中所做的事情,我会添加

添加更多自动化。所以这几乎就像它会不断发展一样,但至少我们可以用这些钱做更多的事情。这正是我认为将会发生的事情。我认为这在所有创新中都是随着时间的推移而发挥作用的。效率是规模化兴奋的因素。它是规模化创新和规模化下一代运动的因素。所以现在,人们因为运行它所需的成本而有点停滞不前。

如果你能够提高效率并释放一些这种能力,甚至释放一些时间,对吧?如果你能够释放一些用于

达到创新阶段并转向生产和规模的开发人员资源,释放这些个人,开发人员,释放创造性内容能力,释放成本。这为增长打开了下一个阶段,为效率打开了下一个阶段,为扩展你的价值打开了下一个阶段。对我来说,这是一个始终如一的线索,对吧?所以我总是觉得,当你拥有一个能够帮助推动创新向前发展的解决方案时,

你通过提高采用率和优化或效率来推动创新,你今天正在创造价值,但你真正做的是为这项技术的未来解锁价值。

我认为在未来三到五年内,没有比今天的生成式AI和LLM更具价值的技术了,对吧?我认为这是我们在短期内可能产生的最大影响领域。我相信从那里还会出现更多的东西,但在短期内。如果我们能够释放它并加速它,我很自豪能够在Sentinel做到这一点。

所以,约翰,我想听听你对开源情况的看法。我应该说开放权重。从技术上讲,它不是开源的,但像Meta这样的公司,例如,他们正在赠送Lama。在大企业中,他们不愿出于显而易见的原因将他们的数据发送给OpenAI和Anthropic等公司。所以他们想要控制。他们想要实用主义。但另一方面,好吧,

你可以争辩说,这些专有模型的功能更好,但差距似乎正在缩小。在许多方面,拥有灵活性更好,对吧?因为我可以做我的代理,我可以做你们正在谈论的所有优化。你认为这种情况将如何发展?我认为这是一个有趣的叙述,对吧?我认为几年前,我之前的公司Converge被收购了,但是

但我们正在努力理解LLM是什么,对吧?所以,你知道,MLOps平台开始理解我们认为将是我们的平台和产品的下一个方向,对吧?当我们当时调查LLM时,重点主要放在构建你自己的大型语言模型上。

它不是ChatGPT或OpenAI,它不是人们所考虑的,Meta当时也不存在。人们真的只是在想,我们将不得不构建我们自己的大型语言模型。所以当时我与之合作的公司正试图构建它。非常耗时,非常艰巨的任务。突然之间,ChatGPT出现了,这是一个尤里卡时刻,我认为它只会用于我孩子的家庭作业。然后事实证明它正在企业环境中使用,它无处不在,每个人都在听说它。然后它开始转变,并且

而且,你知道,这非常非常多地围绕着Lama展开的对话。我认为这实际上是正确的方向。我认为这是大多数企业公司似乎正在离开的方向,因为正如你所说,首先,我认为许多想要考虑如何最好地利用其性别AI解决方案或大型语言模型解决方案的公司认为它是一个基础,并且

然后你使用这个基础来扩展并扩展你的影响范围。我觉得这与开发人员社区和这些公司的社区非常吻合,它们沿着开放的东西进行创新。我认为随着Lama在功能、准确性、一致性和今天与Anthropix和

chat GPTs相比的功能方面取得进展,我认为它使人们更容易使用。我认为这不会改变。我实际上认为这将成为标准。我认为今天参与其中的公司将以此为基础。我会说,根据我的谈话,我进行的许多谈话中,客户主要关注的是他们可以使用的更开放的权重。我认为随着时间的推移,这也会保持一致。

所以很有趣,因为我认为我们开始更加了解如何在语言模型上开发应用程序。所以很多人,他们只是去使用,你知道,Claude Sonnet 3.5或其他什么。为了给予它应有的评价,我认为这是性能的门槛。你知道,我一直对LLM持相当怀疑的态度,但我认为Sonnet 3.5……

它足够好,可以做很多事情,因为对我来说,不同模型之间的能力差异在于它们处理歧义的能力。是的。

所以你可以,你知道,在Claude 3.5上进行零样本,做一些非常有用的事情,而且它很多时候都能奏效。现在,这并不是说你不能使用任何较小的Lama模型。你只需要做更多工作,对吧?你只需要做更多的提示工程。你需要给出更多例子。你知道,它越具体,你针对它的目标越具体,它就越可靠。

这只是一个架构问题。有很多原因可以解释为什么最好在您自己的组织内部控制整个过程,对吧?因为你可以进行你们正在谈论的所有优化。你可以进行各种有趣的路由和代理以及层层叠叠。你可以从头开始构建这个东西。但有趣的是,在某些时候,存在“足够好”这样的东西。我认为我们已经非常接近“足够好”了,如果这说得通的话。

你知道,我一直喜欢说,对初创公司来说,最糟糕的敌人有时是无所作为。而第二糟糕的敌人是“足够好”,对吧?因为总有一些解决方案或某种能力,啊,它“足够好”。我们真的需要改变它吗?就像我一直喜欢说的那样,你永远不想在一个让法拉利每小时快一英里的初创公司工作,对吧?

你想在一个让它每小时快400英里或某种程度的疯狂速度的初创公司工作。但正如你所说,我完全同意你的观点。我认为

我们现在真正面临的最佳机会,我认为,将来自那些开放权重模型。现在,如果我理解正确的话,你们与英伟达和德勤合作。我的意思是,这如何影响你们的市场营销策略?所以,你知道,我们很幸运在我们的公司里有一些很棒的投资者。而且,你知道,除了像德勤或英伟达这样的公司,

他们都在使用和投资我们的公司,我认为这很棒。它使我们有机会与他们合作,与他们合作,获得参与,以及了解方向。当你与世界上最大的服务提供商之一合作时,

你肯定会感受到哪些项目或关注领域是热点,无论是对于他们的客户还是对于这个领域。在他们的创新实验室和团队中工作,确实让我们深入了解了垂直行业或特定公司可能发生的事情的思维模式。这对我们来说是一个令人难以置信的绝佳合作伙伴关系,也是我们与他们合作在市场上推出一些解决方案的绝佳机会。我认为这对我们来说非常非常有价值。与英伟达合作,有机会与他们合作,了解,获得对我们解决方案的反馈,这令人难以置信地具有创新性。我还认为,他们投资于这个领域的成功,不仅仅是SenseML的成功,还有优化、采用率和在其平台上的利用率的成功,因为他们确实看到像我们这样的产品对他们的

堆栈、他们的解决方案以及他们的客户来说是如此附加的价值,因此这种合作关系非常棒,对吧?这不仅仅是财务上的,而是技术上的,以及两家公司对彼此的整体支持都非常巨大,并且加速了我们解决方案的开发以及我们客户群的采用。你是否担心Azure、GCP或AWS会在他们自己的平台上构建类似的东西?这不会让我彻夜难眠,嗯……

这并不是因为他们没有能力,而是因为我们与他们每个人都有关系。

所以我们是GCP的合作伙伴。我们在他们的社区中可用。我们正在简化与GCP合作的过程。我们的平台使这个过程和目标变得非常容易。我认为贯穿所有这些供应商的一件事,顺便说一句,我们也正在与AWS合作。我们在AWS和GCP的市场上都可用,那就是每个公司,GCP、AWS、Azure,他们都很关心他们的客户。

他们关心客户满意度。他们意识到,你知道,采用有时可能会受到感觉的限制,对吧?你知道,如果客户觉得他们为他们提供的基础设施花费了巨额资金,或者可以提高效率或改进,

可以提高利用率。如果我们能够更有效地在他们的基础设施上运行模型,他们就不会看到客户会少花钱。我认为他们意识到客户会因为获得的效率而更快乐,他们会发现其他更令人兴奋和创新的用例来利用他们的平台。因此,我们发现使用Sentinel的客户满意度更高。

我认为这也扩展到他们正在使用并与我们合作的云提供商。是的,我的意思是,在某种程度上,这是整个云提供商的一大优点。我的意思是,我过去在微软工作,有一个古老的故事,在Bulma时代,

如果你被发现拿着iPhone,他会威胁要解雇你之类的。然后他们拥抱了云。当然,他们只是在硬件上赚钱。所以在某些时候,他们开始拥抱开源。他们就像,是的,我不在乎你是否运行Linux。他们只是变得更加开放、更酷的公司。这在各行各业都有体现。但与此同时,这些大型巨头、这些超大规模公司也有一些负面影响,他们控制着一切。

对。而且,你知道,这几乎就像你在他们的主权云中是领导者一样。我的意思是,你会自己开始建立云吗?你对这种关系有什么看法?我认为总是有一个愿望去看看你可以在哪里以及如何扩展你的足迹,你可以在哪里以及如何更好地帮助客户。对。如果你看到差距,我认为任何初创公司如果不尝试进入差距以提供价值的话,都是失职的。

但我认为云空间本身就是一个如此动态的空间,对吧?你知道,你提到了奥斯卡·王尔德关于时尚每六个月更新一次的说法。我认为云计算可能是每三个月更新一次,因为我认为如果你用谷歌搜索任何东西,并且谁知道这个播客或其他播客的赞助商是谁,

似乎每三周就会出现一个新的专注于人工智能的云平台,对吧?我不认为我们需要进入这个领域,但我确实认为存在一个需求或更大的增长空间。几周前我实际上在听一个播客,听到一个广告,它甚至不是一个技术性播客。他们提到了他们在云中使用的硬件类型。

我当时想,这是一个非常具体的受众群体,对吧?你知道,我的车上有四个人,只有一个知道这些指的是什么。所以我认为肯定会有增长。我只是想说,根据我自己的谈话,你知道,我们与许多

新的云提供商或独特的专业云提供商进行了多次对话,他们正在寻求构建或扩展这些场景。我认为这是相关的。是的,这很有趣,因为传统云计算的锁定部分原因在于,您需要重写大部分代码才能将其移植。我的意思是,当然,所有这些都是可移植性问题,你知道的,但你知道它是什么样的。

所以他们所做的是,他们给你所有这些免费积分,并说,来我的云上免费构建。然后他们知道你不会离开。但问题是,

这有点像LLM。让我在这里大声思考一下,因为存在这样一种观念,即这些模型只是输入和输出标记,你可以随意互换它们。但实际上并非如此,对吧?在很多事情上,人们开始走上一条路,然后就陷入了这条路。有趣的是,我不知道是不是因为我妈妈是个嬉皮士,或者我的成长方式,但我不喜欢在那些限制人们的公司工作。而且

我参与过的每家初创公司都是关于行动自由的。我们的平台看到人们会移动,对吧?人们可以更改模型。人们可以更改基础设施。他们不应该因此而感到负担,对吧?而CentML实际上使得即使更改模型也变得很容易。

更改您正在使用的模型的架构,从一个转换器模型到不同的转换器模型,从AWS到GCP再到本地部署,不应该是一件令人害怕的事情。它应该是一件有意义且可用的事情,因为这是

关于客户,以及客户参与的最佳方式。对于那一刻和行动自由,这是CentML的首要任务,也是其内置的功能。根据你的观点,我认为每个人都应该接受这一点,对吧?我认为

没有人喜欢处于一段试图将你锁定的关系中。你想处于一段为了获得最佳服务、最佳体验和正确感受的关系中。我认为任何采取不同方法的人都不一定是最好的,对吧?我一直在反思我们之前谈论过的事情,当你拥有更多利润时,你可以做更多的事情。因为我当时在想,现在,转换器模型效率极低。

这太疯狂了,对吧?它们具有这种二次分层时间复杂度。这意味着即使我们想做开源工作,也像是从桌子上捡起面包屑。我们等待Meta或Cohere之类的公司。我们采用他们的一个模型,进行一些微调,然后开始构建整个系统。当然,你的技术使我们能够更有效地做到这一点。但明年,我们可能会看到这些状态空间模型。我们可能会看到这些最小LSTM。它可能会回到RNN和类似的东西

因为我们失去了一些五年前拥有的炼金术。我们想要,而且我们确实有很多人在那里只是在构建东西,但我们希望有更多的人在那里只是在构建东西。你知道我的意思吗?我认为这是保持初创公司灵魂的东西之一,对吧?那就是你必须意识到,创新不会仅仅因为你今天决定构建某些东西而停止。

我认为成功的初创公司的关键在于我们能够拥有自己的炼金术,能够跟上不断变化的市场,因为我们专注于此,并且我们正在关注你现在提到的关于我们支持的模型和优化方式的相同趋势。你知道,即使是一些地区对他们最喜欢的模型也有不同的方法。对。

因此,当我们在全球多个地区销售时,我们必须为每种模型类型、挑战和基础设施做好准备。我认为正是这种灵活性以及初创公司的灵魂使CentML如此相关和新鲜。我认为所有优秀的初创公司都必须拥有这种DNA。否则,我们会因为使用iPhone而将人们赶出去。我们不想那样。

最后一个问题,我的意思是,只是稍微放眼远眺一下。我的意思是,你显然是一家非常令人兴奋的初创公司。我认为你在2023年10月进行了一轮2700万美元的融资?你对这个领域的其他初创公司怎么看?不一定是你们直接竞争的领域,但目前在更广泛的人工智能领域,什么东西让你感到兴奋?是的,我的意思是,我认为这是一个非常令人兴奋的时代,有很多公司正在成立和获得融资。

围绕着这个新兴空间是什么。每个人对他们解决问题的方向都略有不同。有些人关注企业客户,就像我们一样。有些人关注刚起步的人,个人用户,企业对消费者。我认为我们看到的是,这个空间是如此动态,世界上一些最聪明的人都在努力解决这个问题

我们如何优化,我们如何参与,我们如何推动大型语言模型和生成式人工智能的采用和增强?我认为在任何时刻,在任何事情上,我不会对任何可能出现的初创公司的方向感到惊讶。我认为这是一件好事。我还认为,独特的特征之一是我们的团队是一个如此有凝聚力的单元,对吧?来自多伦多大学,

我们能够招聘一些多伦多大学最优秀和最聪明的人才加入我们的团队,这些人已经建立了工作关系。所以这就像公司中的公司。我认为这太棒了。但就他们之前所做的事情的性质而言,我们能够以非常快的速度发展一个非常庞大而多元化的工程团队。我认为这非常令人兴奋。但如果你看看行业中的其他初创公司,他们正在走类似的道路。

对。看到这么多开发团队走到一起构建、开发和推进这项事业,真是令人兴奋。我认为我们正处于一个非常令人兴奋和充满活力的运行的开始阶段。我很高兴能够在Sentimel参与其中。太棒了,约翰,非常感谢你,伙计。这真的太好了。很荣幸。我喜欢它。我期待着它。谢谢你,蒂姆。是的,绝对喜欢它。