Erik Bernhardsson on Creating Tools That Make AI Feel Effortless
23:36 Share

对不起。

今天，我和Modal的创始人兼首席执行官埃里克·伯恩哈德森聊天。Modal开发了一个针对AI、机器学习和数据应用程序的无服务器云平台。在此之前，埃里克曾在Better.com和Spotify工作，在那里他领导Spotify的机器学习工作并构建了推荐系统。埃里克，非常感谢你今天加入No Priors。是的，谢谢。很高兴来到这里。如果我没记错的话，你在Spotify工作，帮助建立了他们的ML团队和推荐系统，然后还在Better.com工作。是什么激励你创办Modal，你希望解决什么问题？是的。

是的，我很久以前就开始在Spotify工作了，2008年，我在那里工作了七年。是的，我构建了一个音乐推荐系统。那时在数据基础设施方面几乎什么都没有。Hadoop是最现代的东西。所以我花了大量时间构建许多基础设施。特别是，我构建了一个名为Luigi的工作流调度程序，基本上现在没有人使用它。我构建了一个名为Innoi的向量数据库，你知道，在短暂的时间内人们使用过，但现在没有人真正使用它。

所以我花了大量时间构建很多东西。后来在Better，我担任首席技术官，并思考了很多关于开发人员生产力之类的事情。然后在大流行期间，我休假了一段时间，开始研究一些东西。我意识到我一直想为这些类型的事情构建更好的基础设施，例如数据、AI、机器学习。所以很快意识到这就是我想做的。这就是Modal的起源。很酷。这种方法是如何发展的？或者公司今天关注的主要领域是什么？我开始研究……

首先，就像，数据、AI、机器学习基础设施的挑战是什么？我开始从开发人员生产力的角度思考，我想要什么工具？我意识到一个很大的挑战是使用云可以说是有点烦人。就像我一样喜欢云提供的强大功能，

我从很久以前，大约2009年左右就开始使用云了。它实际上使用起来非常令人沮丧。所以在我的脑海里，我有这样一个想法，如果你让云开发感觉几乎和本地开发一样好，对吧？就像如何实现快速的反馈循环？

所以我开始思考，我们该如何构建它？并很快意识到，好吧，我们实际上不能真正使用Docker和Kubernetes。所以我们必须放弃它。可能还需要构建我们自己的文件系统，我们很早就这样做了，并构建我们自己的调度程序和我们自己的容器运行时。所以这基本上是Modo的前两年，只是将所有这些基础基础设施层都到位。

马克·曼德尔：是的。那么，对于您今天的客户，您提供的服务、产品或——JAN-FELIX SCHWARTZ：是的，我们是基础设施即服务，这意味着一方面，我们运行一个非常大的计算池，例如数千个GPU和CPU。我们让获取变得非常容易——如果您需要100个GPU，我们通常可以在几秒钟内为您提供。

所以是一种大型多租户池，这意味着容量规划是我们为客户解决的事情，你知道，这是我们解决的问题。他们不需要考虑预留。我们总是提供大量的按需GPU。另一方面，有一个Python SDK可以很容易地构建应用程序。我们的想法是，你编写代码，

基本上就像Python中的函数一样。然后我们获取这些函数，将它们转换为云中的无服务器函数。我们处理所有容器化和所有基础设施方面的事情。因此，您不必考虑所有这些Kubernetes、Docker之类的东西。事实证明，真正的杀手级应用程序，我们是在生成式AI之前启动这家公司的，但事实证明，真正开始推动所有吸引力的事情是Stable Diffusion的出现。一群人来到我们这里，说，嘿，这看起来很酷。就像你有GPU访问权限一样。很容易，你知道，你不必考虑，你知道，启动机器和配置它们。

所以我们的第一个杀手级应用程序就是以无服务器的方式进行生成式AI，重点是扩散模型。现在我们实际上拥有更多不同的模式。很多用途仍然是文本到图像，但我们也看到了很多音频和音乐。我认为一个非常酷的客户正在构建非常棒的东西的例子是Suno。

它使用AI生成音乐。他们在大规模运行所有推理，Modal。有很多这样的客户在处理构建酷炫的生成式AI模型。特别是，我想说的是音频、视频、图像和音乐等模式。很酷。我认为Suno现在正在为这些东西使用所有Transformer主干，对吧？与基于扩散模型的东西相比。我认为这两种方法都有。我不确定。是的。

是的，我认为他们公开谈论过。我提到它的唯一原因是这个。你在十月份写了一篇文章，我认为它叫做《AI的未来需要更灵活的GPU容量》。总的来说，我在业内听到的是，人们使用GPU的方式有很多是相当浪费的。

所以我有点好奇你对GPU使用灵活性的看法，实际使用量与浪费量相比是多少，即使只是使用人们今天使用的现有类型的GPU，还有多少优化空间。是的，GPU很贵，对吧？我认为这有点像悖论。这意味着云，你知道，很多云容量就像，你知道，获得它的唯一方法是签订长期承诺，对吧？

我认为对于许多初创公司来说，这并不是事情应该如何运作的正确模式。我认为云的惊人之处在于，您可以按需访问所需的任何数量的CPU。但是对于GPU，由于稀缺性，近年来获得访问权限的主要方式一直是签订长期合同。我认为从根本上说，这根本不是初创公司应该这样做的事情。为了获得它，一直存在供需问题。但是是的。

看看CPU市场，如果您需要的话，您可以即时访问数千个CPU，我的愿景一直是GPU也应该如此。这意味着，特别是当我们更多地转向推理时，我认为对于训练来说，这已经不是什么问题了，因为您可以利用所需的训练资源。但对于推理，尤其是您甚至不知道事先需要多少。它非常不稳定。因此，我们为许多客户解决的一个重大挑战是，我们……

我们是完全基于用量的。因此，当您在Modal上运行事物时，我们只向您收取容器实际运行的时间费用。这对客户解决方案来说是一个巨大的麻烦，例如进行容量规划并考虑有多少GPU。然后出现的问题是，要么您过度配置，并且您为大量空闲容量付费，要么您配置不足，然后当您遇到容量短缺时，您的服务会下降。所以……

而使用Modal，我们可以很好地处理这些非常突发、非常不可预测的工作负载。因为我们基本上喜欢获取所有这些用户工作负载，并在许多不同的客户之间运行一个大型的数千个GPU的池。是的。让我一直印象深刻的事情之一是，正如你所说，你启动了一个巨大的集群。你运行了一台巨大的超级计算机，对吧？然后在某些情况下，你运行它几个月。然后你的输出是一个文件。这实际上就是你生成的。如果你仔细想想，这有点疯狂。

是的。从某种意义上说，该文件代表了整个互联网或某种人类知识语料库。然后，正如你对推理的论点一样，你需要在启动和关闭方面有更多的灵活性，或者，如果你正在进行较短的训练运行或某些训练后方面，你可能需要更灵活的容量来处理。

完全正确。这是我们现在非常感兴趣的事情。传统上，Modal的大部分内容一直都是推理。这是我们的主要用例。但我们也对培训非常感兴趣。特别是，可能更关注这些较短、非常突发的实验性训练运行。不是非常大的训练运行，因为我认为这是一个非常不同的市场。所以这是我们正在关注的一件非常有趣的事情。你如何看待满足人们的端到端需求？我知道人们还做很多其他事情。很多人都在使用Rack来增强他们正在做的事情，或者……

你知道，人们现在在推理时使用计算来采取不同的方法有很多不同的方法。你知道，我有点好奇你如何看待可以作为基础设施提供的端到端堆栈以及Modal关注或想要关注的地方。是的，完全正确。我的意思是，我们的目标一直是构建一个平台并涵盖端到端用例。事实证明，推理是我们作为第一个杀手级应用程序而处于有利地位的。但是，

但我的最终目标一直是提高工程师的生产力，并专注于我认为是ML的高代码方面。我认为我们的目标受众更像是传统的ML工程师，例如构建自己模型的人。但这其中有很多不同的方面。有数据预处理，然后是训练，然后是推理。这实际上可能还有更多的事情，对吧？例如，

拥有反馈循环，您可以在其中收集数据和在线排名模型以及所有这些东西。因此，我对Modal的目标一直是涵盖所有这些东西。所以很有趣，你看到很多客户现在，我们没有训练产品，但很多客户使用Modal进行批量预处理。因此，他们使用Modal，也许他们正在训练视频模型。所以也许他们有PB级的视频。因此，他们实际上使用Modal，甚至可能使用GPU来进行特征提取。然后他们在其他地方进行训练。

然后他们回到Modal进行推理。因此，对我们来说，进行训练很有意义。总的来说，我认为构建一个可以端到端处理整个机器学习生命周期以及与之相关的许多其他事情的平台很有意义。还有数据管道和夜间批量作业以及所有这些事情。是的。我的意思是，你描述的是一种相当广泛的基于平台的方法。我认为有一些公司处于你的一般领域或市场。你认为Modal与它们有何不同？

我认为，首先，我们是云原生的。我们只是云极端主义者。我们全力以赴地说：“我们将构建一个运行每个人计算的多租户平台。”这样做的好处非常巨大，因为我们可以更好地进行容量管理。这是我们可以提供即时访问数百个GPU（如果您需要的话）的方式之一。您可以执行这些非常突发的事情，我们只需为您提供大量GPU，对吧？

我认为另一个好处或另一种差异化是成为通用的。我们专注于我认为的，正如我提到的，高代码，例如我们在我们的容器、我们的基础设施中运行自定义代码，这是一个更难的问题。容器化和以安全的方式运行用户代码是一个难题。然后处理容器调用启动。正如我提到的，我们必须构建我们自己的调度程序。我们必须构建我们自己的容器运行时和我们自己的文件系统才能快速启动容器。我认为所以。

与许多其他供应商不同，他们只关注推理或可能只关注LLM。我们的方法一直是构建一个通用的平台。从长远来看，我希望这种体现会更加清晰，因为我认为我们现在可以在此基础上构建许多其他产品，因为我们的计算层变得越来越成熟。当我与大型企业讨论他们如何考虑采用AI时，

他们中的许多人已经在Azure、GCP或AWS上拥有他们的数据。他们正在运行他们的应用程序。他们在市场上购买了积分。他们想花钱常驻。他们已经完成了安全审查。你知道，他们已经做了很多事情，他们担心诸如延迟或对其他第三方服务的ping之类的，而不是仅仅运行他们自己的现有云提供商或他们合作的超大规模提供商或超大规模提供商的集合。你知道，他们中的许多人实际上跨多个服务工作。

在Modal的背景下，你如何看待你自己的计算与超大规模计算相比，以及在任何地方运行的能力？是的，完全正确。当然，这也有一个安全合规性方面的问题。我认为，你知道，这是一个，你知道，挑战。我回顾云出现的时候，我记得在2008年、2009年左右，云出现了，我的第一反应是，

怎么会，为什么有人会把他们的电脑放在别人的电脑里运行呢？对我来说，这简直是疯了。为什么有人会这样做？但在接下来的几年里，我意识到，实际上，这很有道理。我认为现在即使在企业公司中，也有一种认识，是的，实际上，我们的电脑在大型超大规模公司中可能更安全。同样，

我记得在2012年左右与Snowflake交谈。他们采取了一种类似的方法，他们基本上说，我们将把数据库运行在云中，它不会在你的环境中，你知道，或者可能是你的环境，但我们是在基础设施即服务中。我认为这很疯狂。然后显然，我认为Snowflake现在是一家非常大的上市公司。我认为他们表明，

基础设施即服务很有意义。所以我认为对采用这种多租户模型存在一些抵制。但我认为，当你查看云的安全性和采用情况时，我认为我们有很多顺风吹向我们。我认为安全正在从网络层转向应用程序层。我认为带宽成本正在下降。我认为有很多技巧可以用来最大限度地降低带宽成本。

与传输成本。例如，您可以将数据存储在R2中，它没有出口费用。我认为这实际上意味着我们将不得不大力推动。但我认为这种多租户模型在容量管理方面有很多好处，对我来说，它显然是AI未来的重要组成部分。就像运行一个大型计算池并将其非常动态地切片一样。你前面提到，真正

导致早期采用Modal的是稳定扩散和围绕图像生成的这些开源模型。在最近几天或过去几个月里，你是否看到任何非常流行的开源项目或模型真正开始流行起来？这是一个好问题。我认为，如果有什么不同的话，那就是它实际上已经有点转向更像专有模型，但更像专有的开源模型。所以像Flux，我认为最近一直是

一个受到很多关注的模型。我个人对音频非常感兴趣。我认为胶片尚未开发。我认为该领域有很多开源模型的机会。但我认为我们还没有看到真正酷的东西。

你认为当今世界在AI基础设施或基础设施即服务方面还缺少什么？我非常有偏见，但我认为Modal缺少。工程师们基本上可以采用代码并运行它的一种方法。看，我对代码和人们想要编写代码并自己构建东西非常看好。我认为除了LLM领域之外，这是一种非常……

在我看来，不同的世界。我认为总会有很多应用程序，人们希望训练自己的模型，他们希望运行自己的模型，或者至少运行其他模型，但具有非常自定义的工作流程。我只是不认为有一种很好的方法可以做到这一点。这样做非常痛苦。所以……

我认为这非常令人兴奋。我认为在存储方面，还有一些其他非常令人兴奋的东西。我们实际上并没有在Modal中接触存储。我们非常专注于计算。所以我个人对向量数据库非常感兴趣。它将如何发展？我认为没有人真正知道。我对围绕训练数据的更高效存储非常感兴趣。我还对……我想我现在非常着迷的另一件事是……

训练工作负载。为了有效地训练大型模型，您必须花费大量资金和时间来设置网络。所以我真正兴奋的事情之一是，如果我们可以使训练不那么依赖带宽，那会怎么样？因为我认为这实际上会改变围绕训练的基础设施，您现在可以将许多不同数据中心中的许多GPU连接在一起，并且

并且不必拥有这些非常大的数据中心，例如，InfiniBand之类的东西。所以这就像我期待看到更多发展的另一种基础设施。多重要……所以围绕向量数据库有时会有一些争论，你提到你在Spotify时实际上构建了一个。我认为Spotify今天的市值达到了1000亿美元。我认为它是第一批达到这个目标的欧洲科技公司之一，这非常酷。所以我认识的很多人可能会使用现有的向量数据库之一，或者在某些情况下只是使用Postgres数据库。

使用PG Vector，对吧？你如何看待对向量数据库作为独立基础设施的需求与采用Postgres或执行其他操作相比？

是的，我觉得每个人都在争论这个问题。我不一定知道。就像，我认为有很多，有很多理由可以证明，你知道，你可以把所有东西都放到关系数据库中，你就可以了。对我来说，从长远来看，更大的问题是，你知道，如果你考虑一下，像，什么是像，AI原生数据存储解决方案？就像，我不知道它是否像，必然具有与数据库相同的形状因素和相同的接口。所以这实际上是我更感兴趣的一个更大的问题。人们看待向量数据库，就像，

你知道，无论它是否是关系型数据库。他们把它塞进这种像，你知道，老式的模型中，就像，你输入数据，你得到数据。但我不知道，我认为在AI时代，有很多空间可以重新思考这一点，并拥有非常不同的……

你知道，与数据的交互模型。我知道这听起来有点模糊。是的，这非常有趣。你能详细说明一下吗？我的意思是，我一直在思考的一件事是，也许数据库本身就像嵌入引擎，对吧？就像你不是把向量放进去，你，你知道，你通过那个向量搜索。我认为有很多，你知道，更原生的，像AI原生存储解决方案将是您输入文本，您输入，你知道，视频，您输入图像，然后您可以通过它进行搜索。对我来说，那将更像是一种……

原生的、AI原生的存储解决方案。所以这是我想到的一条思路，就像，也许我们只是，我们对这个还处于早期阶段，就像，我认为这需要5到10年的时间才能真正实现，才能解决这个问题。是的，这真的很酷。我想你提到的另一件事是，似乎越来越多的人正在训练自己的模型，至少在Modal工作的许多领域都是如此。

你认为人们应该遵循任何启发式方法来决定何时训练自己的模型以及何时使用现成的模型吗？我认为最终对于任何模型质量真正重要的公司来说，除非你最终训练自己的模型，否则我觉得很难证明你有一个更好的解决方案。因为否则，你的护城河是什么？如果你没有自己的模型，你需要在堆栈中的其他地方找到护城河。

这可能是可以找到的。对于许多公司来说，它可能在其他地方。但我认为，至少如果你有自己的模型，并且该模型明显优于其他任何模型，那么这本身就是一种护城河。我认为在LLM领域之外，当人们构建音频、视频、图像模型时，这一点更为清晰。我认为如果这是你的核心重点，对我来说非常清楚，在这种情况下，你必须训练自己的模型。是的。如果我没记错的话，你是IOI金牌得主。

是的，没错。显然，你对代码和编码有很多想法。随着时间的推移，你认为AI会如何改变它？或者你对那里发生的事情有什么反向预测吗？我不知道这是否与众不同，但就像，我实际上认为，就像，你知道，这只是开发人员生产力改进中的一个。而且，你知道，你回顾一下，你知道，

无论如何，编译器最初就像，你知道，一个使开发人员更高效的工具，然后像更高级的编程语言、数据库和云以及所有这些东西。所以就像，我实际上不知道AI是否像，你知道，事后看来与任何这些变化不同。所以，顺便说一句，就像每次发生这种情况一样，你知道，

事实证明，对软件的潜在需求非常大，实际上软件工程师的数量增加了。所以，我觉得你回顾一下软件开发的过去40年，就像每十年，由于更好的框架或更好的工具等等，工程师的效率都会提高10倍。事实证明，这实际上只是释放了对软件工程师的更多潜在需求。所以我对软件工程师非常看好。我认为要摧毁这种需求需要付出很多努力。我认为人们将许多AI视为一种固定的东西，但在我看来，它就像，不，它只会释放对更多事物的更多潜在需求。所以我对软件工程非常看好。然后我想你很久以前接触过的另一个领域是，我认为你在高中赢得了瑞典物理竞赛。我很想知道你是否关注过任何基于物理的AI模型或一些模拟，这似乎是一个非常有趣的领域。

而且你对它的模型的思考方式也不同。我确实赢得了瑞典高中物理竞赛。当我还是十几岁的时候，我是一个十足的数学迷。好的。是的，我认为这现在是一个非常令人着迷的领域。就像那些似乎需要一些真正的再发明，而且没有那么多人在研究的领域之一。所以这是我有点兴奋的领域之一，就它可以开始想出的许多不同的应用程序而言。

是的，我认为这是，我的意思是，像物理学一样，在我看来，它就像，你知道，它看起来像物理学的黄金时代，就像20年代、30年代和40年代。我觉得它在该领域并没有真正发展多少。所以我不确定，也许我希望你是对的，即基于新物理的模型会复苏。是的，我不知道这在短期内是否会帮助基础研究。我认为它只对模拟有帮助。

它感觉有点像物理学作为一个领域真的加倍关注了埃德·威滕的物理学道路，也许在那里有点迷失了方向，或者其他什么。我不确定。你在谈论为物理学做更多基于计算的方法吗？它有点像Ansys或其他公司，你模拟飞机机翼。你模拟地下室的承重。我明白了。所以就像高性能计算。这总是存在的，对吧？尤其是在……

石油和天然气等领域。但它有很多种小型定制的微调或手工调优的模型，用于特定的事情，而不是，你知道。我的意思是，气象学就像我认为深度学习应该

像改变一样，就像它很有道理，就像你知道深度学习应该非常擅长预测湍流之类的事情，因为湍流实际上很难用传统的物理模型来解决，对吧？所以理论上深度学习应该，我觉得很有道理，是的，我认为有一些关于Nvidia的论文，然后我认为谷歌有一个团队在研究它，所以有一些不同的天气模拟团队开始发表一些非常有趣的东西，似乎是的，是的

我还想指出一个相邻的领域，例如生物技术，我认为计算方法非常成功。如果你特别关注蛋白质折叠，以及其他一些事情，例如序列比对等等。这实际上是一个我们开始看到更多使用Modal的领域。我觉得计算生物学正在复苏。现在这是一个非常令人兴奋的领域。

今天在No Priors播客中，Elad与Modal Labs的创始人兼首席执行官Erik Bernhardsson进行了访谈。Modal Labs是一个平台，通过提供无服务器基础设施来简化ML工作流程，旨在简化AI工程师的部署、扩展和开发。Erik谈到了他早期在Spotify的ML算法方面的工作，Modal今天提供的服务，以及他为AI工程师构建端到端解决方案的愿景。他们深入探讨了GPU趋势、云与本地设置，以及何时训练自定义模型与使用现成解决方案。Erik还分享了他对AI在编码、物理学和音乐等领域不断变化的作用的看法。每周注册新的播客。将反馈邮件发送至[email protected]在Twitter上关注我们：@NoPriorsPod | @Saranormous | @EladGil | @Bernhardsson节目要点：0:00 介绍 0:22 Erik早期对ML基础设施的兴趣 1:22 成立Modal Labs 4:17 当今GPU的使用现状及未来发展趋势 7:14 Modal的端到端愿景 9:00 区分竞争对手 10:20 云与本地部署 12:35 流行的AI模型 13:20 AI基础设施的差距 14:55 对向量数据库的见解 16:48 训练模型与现成模型 17:47 AI对编码和物理学的影响 22:14 AI对音乐的影响</context> <raw_text>0 在您的客户群中，您是否看到与科学相关的特定用例最受人们关注？有很多。我不是买家，所以这有点肤浅，只是看看我们的客户。但我看到很多的是医学影像，因为据我了解，使用现代方法，你可以进行非常自动化的测试

获得数百万次实验，并对这些实验进行自动化的电子显微镜成像。因此，我们实际上已经看到很多客户使用Modal来处理这些图像并对其进行计算机视觉处理，这非常酷。真的很酷。从人为影响的角度来看，您对这些模型中最兴奋的领域是什么？凭借我在Spotify的背景，我认为，谁知道呢，对我来说，这是一件非常令人兴奋的事情。我认为AI生成的音乐还处于非常早期的阶段。你仍然可以……

听到它是不对的。它有点像恐怖谷。但很快，每一代模型都越来越好。首先，音乐本身往往是第一个看到新技术真正影响的领域，无论是Spotify还是iTunes，还是盗版，或者所有这些东西，或者追溯到留声机。所以我一直认为音乐在某种意义上是一个令人兴奋的领域。它总是显示出新技术的机遇。

而且我认为Sooner就像从根本上来说是你以前在Gen AI之前无法做到的事情。对我来说，这真的很令人兴奋。它就像真正地推动了前沿，使一种全新的产品成为可能，就像，五年前不可能存在这样的Sooner。这很酷。好吧，我认为我们今天涵盖了很多内容。非常感谢您的加入。是的，非常感谢。很高兴。

在Twitter上关注我们@NoPriorsPod。如果您想看到我们的脸，请订阅我们的YouTube频道。在Apple Podcasts、Spotify或您收听的任何地方关注该节目。这样您每周都会收到一集新剧集。并在no-priors.com上注册电子邮件或查找每集的文字记录。