AI+Data in the Enterprise: Lessons from Mosaic to Databricks
47:18 Share

企业客户真正证明了你能扩展业务，证明你与一些将长期存在、拥有巨额预算的公司建立了联系，当他们投资技术时，会进行长期投资。但另一方面，最好的客户往往是其他初创公司，因为没有为期一年的采购流程。他们愿意直接参与进来，你可以更快地获得更多反馈。

欢迎收听《Founded and Funded》。我是Madrona的合伙人John Thurow。今天，我有幸邀请到Databricks的首席人工智能科学家Jonathan Frankel做客节目，他是在该公司以13亿美元收购MosaicML（他联合创立的公司）时加入Databricks的。Jonathan是数据和人工智能交叉领域的核心运营者。

他领导着Databricks的人工智能研究团队，他们将自己的工作部署为商业产品，并发表研究成果、开源存储库和开源模型，如DBRX和MPT。在本期节目中，我们将深入探讨数据和人工智能基础设施不断变化的格局，以及这如何使人们能够更便捷地访问这些关键技术。

Jonathan分享了他对MosaicML最初愿景、向Databricks过渡以及生产就绪型人工智能如何重塑行业的见解。我们将探讨企业如何从原型转向大规模部署，人工智能创始人需要具备哪些不断变化的技能才能取得成功，以及Jonathan对测试时计算等令人兴奋的发展的看法。

无论您是创始人、建设者还是好奇的技术人员，本期节目都充满了关于如何在快速变化的人工智能生态系统中蓬勃发展的实用建议。Jonathan，很荣幸邀请您来到这里。欢迎来到节目。非常感谢您的邀请。我迫不及待地想把我们私下的谈话分享给大家。我们总能从这些谈话中学到很多东西，所以让我们开始吧。多年来，你一直在为人工智能基础设施的建设者提供支持。

首先是在Mosaic，现在作为Databricks的一部分。我想回到最初。让我们从那里开始。Mosaic ML的核心论点是什么？你当时是如何服务客户的？核心论点很简单，就是让每个人都能高效地使用机器学习。这个想法是，这并不是一项应该由少数人定义的技术，不应该构建成通用的“一刀切”方案。

而应该根据每个人的需求，由每个人为自己的需求定制。就像我们不需要依赖少数几家公司来构建应用程序或编写代码一样，我们只需去做就行了。每个人都有一个网站。每个人都可以定义他们想要如何展示自己以及他们想要如何使用这项技术。我们真的坚信机器学习和人工智能也是如此，尤其是在深度学习开始变得令人兴奋的时候。

然后，当然，LLM 成为了一件大事，我想，大约在我们Mosaic旅程的一半时间里。老实说，我认为这项使命在今天甚至更重要。我们生活在一个世界里，在这个世界里，我们不断地在以下两种情绪之间来回切换：一方面是由于只有极少数公司能够参与构建这些模型而产生的巨大恐惧；另一方面是每当出现一个可以非常轻松地定制的新开源模型时所产生的巨大兴奋，以及人们可以用它做出的令人难以置信的事情。

而且，你知道，我坚信这项技术应该掌握在每个人的手中，以便根据他们认为合适的目的，以他们自己的方式，在他们自己的数据上进行定义。你知道，这是一个非常好的观点。你和我公开和私下都谈到了所有这些基础设施的民主化效应。我会观察到Mosaic提供的功能差距

尤其是在对非常大的模型进行超高效训练方面，将其交到更多公司手中。现在你在Databricks，这个差距更大了。你可以使人工智能生命周期的更多部分民主化。你能谈谈这个使命是如何扩展的吗？

是的，我的意思是，这真的很有趣。我们的首席技术官Matei，我上周查看了他为我们的研究团队准备的会议记录，他只是随意地在他的记录中写道，你知道，我们的使命一直是，我认为是让每个人都能使用数据和人工智能。我想，等等，这听起来很熟悉。而且，你知道，我们可能会在某个时候聊聊这次收购以及为什么，你知道，我们选择合作。这是相同的使命。

我们走在同一条路上。Databricks显然比Mosaic走得更远，并且非常成功，但很高兴能一起参与其中。所以我认为差距扩大的原因有两个。一个是，你不再需要预训练了。有一些很棒的开源基础模型，你可以从中构建和定制。所以即使是预训练也是那种并非人人适用的事情。

但这不再是必要的了。你可以直接进入有趣的部分，通过提示、RAG或通过微调或RLHF来定制这些模型。差距也扩大了，因为我们现在是世界上最好的数据和数据分析公司，也是世界上最好的数据平台。

如果没有数据，人工智能是什么？如果没有人工智能，数据又是什么？因此，我们现在可以更广泛地思考一家公司从开始到结束的整个流程，以及他们试图解决的问题。他们有什么数据？这些数据以及他们的公司有什么独特之处？然后，从那里开始，人工智能如何帮助他们，或者他们如何使用人工智能来解决问题？反过来，这就是我们所说的数据智能的概念。这个想法实际上是为了与通用智能形成对比。

通用智能是指存在一个模型或一个系统，它通常能够解决每一个问题，或者在对每个问题进行最少的定制的情况下取得重大进展。在Databricks，我们提倡数据智能的概念，即每家公司都有独特的数据、独特的流程以及对世界的独特看法。

这体现在他们的数据、他们的工作方式以及他们的人员中。人工智能应该围绕这一点进行塑造。人工智能应该代表企业的身份，而企业的身份体现在他们的数据中。而且，你知道，很明显，这些都是，这是说数据智能与通用智能之间的对比非常有争议。答案将介于两者之间。但对我来说，老实说，我在Databricks工作的每一天都感觉像是在做自Mosaic成立以来一直在做的事情，

只是在一个更大的地方，有更大的能力影响世界。你所拥有的优势非常特别，你看到了这些客户多年来从原型到生产的历程。其中最精明的客户现在已经投入生产。因此，我有两个问题要问你。

第一个，你认为是什么最终解开了这个难题，并使其成为可能？第二个，那些处于领先地位的客户正在学习什么？他们发现了什么，而其他客户即将发现？所以我要，我想，揭示我这些天来已经不再是一个科学家，而更多地成为一个商人。

我将使用炒作周期来描述这一点。这样做会让我心碎，也会让我听起来像个MBA。但在企业中，总有一些走在技术前沿的早期采用者。他们是那些很快就能理解并采用新技术的公司，而另一些公司则更加谨慎和保守。我看到的是，这些公司现在都处于炒作周期的不同阶段。对于那些真正早期的采用者和技术领先的公司来说，

他们大约在ChatGPT首次出现的时候就达到了期望膨胀的顶峰。去年，当这些系统很难可靠地工作时，他们陷入了幻灭的低谷。他们现在正在提高生产力，并将产品投入生产。他们在这一过程中学到了很多东西。我认为他们已经学会了正确设定期望，说实话，哪些问题有意义，哪些问题没有意义。这项技术远非完美。

而且我们仍然，我认为更重要的是，我们仍在学习如何利用它以及如何在50年代或60年代使用打孔卡的方式来使用它，你知道，它仍然是图灵完备的，而且速度稍慢，但从理论上讲，与我们今天的计算系统一样强大。但经过50年的软件工程之后，构建一个可靠的系统并以模块化的方式构建它以及我们学到的所有这些原则要容易得多。我认为这是，

这些公司在这条道路上走得最远，但这将是一段非常漫长的旅程。我们知道，在系统崩溃之前，我们可以构建多大的系统，以及人工智能将在哪里不可靠，以及我们需要在哪些任务中转向人工，哪些任务有意义，哪些任务没有意义。我看到很多公司已经将其分解成非常小的任务。我通常向人们解释的方式是，你知道，你应该在以下情况下使用人工智能：

它是开放式的，没有正确的答案，或者一项任务难以执行，但易于检查。你可以让人工检查。我认为GitHub Copilot就是一个很好的例子，你可以想象这样一种情况：你要求人工智能编写大量的代码。现在，一个人必须检查所有这些代码并理解它。老实说，这可能与从头开始编写代码一样困难，或者非常接近。

或者你可以让人工智能建议少量代码，人类几乎可以机械地接受或拒绝。你正在获得巨大的生产力提升，但这是一种人工智能正在做一些对人类来说比较费力的事情的情况，但人类可以很容易地检查它。

我认为找到这些最佳点是那些长期从事这项工作、愿意承担风险并投资这项技术的公司所做的事情。他们愿意尝试，愿意失败，说实话。他们愿意承担这种风险，并且如果这项技术第一次或第二次没有奏效，他们也愿意让他们的团队继续努力，并再次尝试。然后，你就会看到一些公司处于，我认为很多公司现在都处于幻灭的低谷。

那些不太处于技术前沿的公司。然后，还有一些公司仍然处于期望膨胀的顶峰，他们认为人工智能将为他们解决所有问题。这些公司一年后会非常失望，两年后会非常有成效。当然，很多即将收听节目的创始人都在问，他们如何参与这些对话？他们如何识别即将走出低谷的客户？

以及他们如何为他们而努力？你会对这些创始人说些什么？我从在Mosaic的经历中学到了两个相互矛盾的教训。

首先，风险投资家喜欢企业客户，因为企业客户确实证明了，至少如果你在做B2B业务的话，你能扩展业务，证明你与一些将长期存在、拥有巨额预算的公司建立了联系，当他们投资技术时，会进行长期投资。但另一方面，最好的客户往往是其他初创公司，因为没有为期一年的采购流程。他们愿意直接参与进来。

他们理解你的出发点，也理解你能提供的服务水平，因为他们习惯了。你可以更快地获得更多反馈。但这被认为价值较低的验证。即使在我评估公司时，企业客户对我来说也更有价值。但初创公司客户对于构建产品和快速发展更有用。所以答案是争取企业客户。不要阻塞企业客户。我认为这是公平的。我认为优化学习非常明智。

但我还会关注另一个方面，我认为你和我都在我们创建的企业中都看到了这一点，那就是故事讲述。我甚至不会说GTM。围绕我们产品的叙事可以细分，即使产品是水平的，就像许多基础设施产品一样。

Mosaic是一款水平产品。Databricks是一系列水平产品。但我们讲述的故事解释了为什么Databricks和Mosaic在金融服务、医疗保健领域非常有用。将会有一个小型采用飞轮，在这些细分市场中并不多见，你确实希望首先找到快速客户。

然后，当你完善这个故事时，再找到大型客户。这可能会有产品上的影响，也可能没有。我认为这是一个很好的观点。而且我认为，在多个方面都有故事可讲。如今，在社交媒体世界以及每个人都在关注人工智能的世界里，

你可以讲述一些水平的故事，这些故事会引起所有人的注意。我认为，我的意思是，我从Mosaic中学到的一个重要教训是，经常谈论你正在做的工作，并有一些重要的时刻，在那里，你，在那里，你真的全力以赴，做一些大事。在你做这件事的时候不要消失，但是

你知道，为我们发布MPT模型，一年半后听起来如此古朴。仅仅在一年前，我们训练了一个70亿参数的模型，使用了1万亿个token。这是对Llama 1模型的第一个具有商业价值的开源复制品。

现在我们有一个6800亿参数的专家混合模型刚刚问世，这听起来很可笑。而最近的Meta模型是一个4050亿参数的模型，训练使用了15万亿个token。听起来很古朴，但那一刻彻底改变了Mosaic。它引起了上下游以及所有垂直行业、所有规模公司的关注，并带来了大量的业务。

以及最近的DBRX等时刻，同样的经历。因此，通过这些重要时刻进行故事讲述，尤其是在人们密切关注的领域，实际上确实具有普遍的共鸣。

但与此同时，我完全理解你所说的，对于每个垂直行业、每种规模的公司，都有不同的故事可讲。我认为我在这里学到的最重要的一课是，在任何行业或任何规模的公司中获得第一个客户都非常困难。在你有很多证据证明你将在他们的领域取得成功之前，有人必须真正冒险相信你。你可以讲述的一个故事会带来更多故事。一旦你与一家银行合作……

许多其他银行都愿意与你交谈。但让第一家银行与你签订协议并真正做些什么，即使对于我们在Mosaic拥有的非凡的市场营销团队来说，也是一场真正的战斗。他们必须真正努力说服某人，他们应该给我们一个机会，这值得一谈。你能带我回到Mosaic早期的一次成功，当时你没有很多资历可以依靠吗？

是的，这是我们与一家名为Replit的公司进行的合作。在我们甚至发布MPT模型之前，我们只是与Replit讨论了我们可以一起训练LLM的想法，我们可以支持他们的需求。在我们将MPT投入生产之前，他们就训练了MPT。他们愿意冒险使用我们的基础设施。我们推迟了MPT，因为我们只有少量GPU，我们让Replit首先尝试。那一周我基本上没睡，因为我一直在不断监控集群。

我们不知道运行是否会收敛。我们不知道会发生什么。那时它仍然是内部代码。但Repl.it愿意冒险相信我们。这带来了巨大的回报。它给了我们第一个真正使用我们的LLM进行训练并成功投入生产的客户。这导致了大约十几个其他人立即签约。MPT模型实际上是在那之后才发布的。你是如何让自己处于这种幸运事件发生的位置的？

我们写了很多博客。我们分享了我们正在做的工作。我们在开源领域工作。我们谈论我们的科学，并建立了我们真正关心效率和成本以及可能真正做到这一点的人的声誉。

我们经常谈论我们正在做的事情。这是一种我们早期就学到的教训，我认为我们谈论得还不够频繁，但我们写了很多博客。当我们从事一个项目时，一旦我们达到一个里程碑，我们就会写博客的第一部分。我们不会等到项目完成，然后再写第二部分和第三部分。而那些MPT模型实际上，我认为，是关于从头开始训练LLM的九个月博客系列的第四部分。

这更早地引起了Repl.us的注意，并开始了对话。也许从悲观的角度来看，一种方法是提前销售你的产品。但实际上，我从另一个角度来看待它，那就是向人们展示你正在做什么，并说服他们相信你会迈出下一步。他们希望在你第一次迈出下一步时就在那里，因为他们想走在技术前沿。

我认为这就是与Replit开始对话并使我们处于那个位置的原因。但我们一直在参加各种活动，只是与人们交谈，试图找到任何可能对企业感兴趣的人，他们有一个正在考虑这个问题的团队。我们与很多人进行了交谈，但我们已经开始与人们签订合同了。但Replit能够立即行动。他们是一家初创公司。他们可以说，我们将这样做，开支票并执行。因此，大声说出你所代表的东西，

以及你所相信的东西，并且擅长它。就像，我认为我们非常努力地擅长一件事，那就是高效地训练。你不能假装直到你成功。就像我们做了这项工作，这很困难，我们经历了很多挣扎，但我们一直在努力，在我们的联合创始人Nafin和Hanlon的大力鼓励下。即使这非常困难和可怕，他们也让我继续努力。我们烧了很多钱。

但我们做得非常好。我认为人们意识到了这一点，你知道，它带来了客户，带来了Databricks的收购。我现在在我的谈话中看到其他小型初创公司也出现了这种情况，在合作的背景下，在收购的背景下，诸如此类的事情，我正在与之交谈的初创公司是那些真正擅长某件事的公司。很明显，他们真的擅长某件事。通过他们的工作可以看出，我可以检查他们的工作，他们已经完成了他们的作业，并且他们展示了他们的工作。

你知道，那些是最受关注的人，因为他们真的非常擅长。你相信他们，你知道他们讲述的故事是真实的。关于这一点，还有一点我想补充一下，我认为这补充并扩展了你刚才所说的话，那就是你们相信某些事情。这与故事无关。这与……

结果无关，你相信训练可以而且应该变得更高效。你们所做的许多工作都预料到了像Chinchilla这样的东西，它量化了

后来如何做到这一点。哦，我们没有预料到。我们追随Chinchilla的脚步。Chinchilla是早期有远见的成果。我可以这么说，在Chinchilla工作的Eric Elson现在是我的Databricks研究团队的同事之一。但我的意思是，如果我真的想寻找真正有远见的早期工作的先驱，那么有一些时刻。当我回顾过去时，

只是LLM现在的支柱工作。Chinchilla就是这样一件事情。另一个是Luther AI整理了pile数据集，这是在2020年末完成的，那时还没有人真正考虑LLM。他们整理了到2022年为止仍然是最好的LLM训练数据集。但我们确实真诚地相信它，我认为，正如你所说。就像我们相信它，我们相信科学。

我们相信有可能做到这一点，并且通过非常严格的研究。我们非常有原则，并且拥有我们相信的科学框架，我们相信我们的工作方式。我们有一种关于如何进行科学研究以及如何在这些问题上取得进展的理念。OpenAI相信规模，现在每个人都相信规模。我们只是相信严谨，相信认真地做作业和仔细测量将使我们能够取得持续的有条理的进展。

这仍然是事实，仍然是我们工作的方式。有时这并非总是最快的工作方式，但最终，它会带来持续的进步。所以现在是2025年，令人惊叹的创新正在发生，而且机会似乎比以往任何时候都多。甚至更多兴奋，甚至更多兴奋的人。你认为新团队的形象和技能组合

应该与你组建Mosaic时相同，也应该有所不同？所以这取决于你想要做什么。我们聘请了杰出的研究人员，他们是严谨的科学家，他们关心这个问题，并且与我们的目标一致，他们分享我们的价值观，他们不屈不挠，

老实说，他们也很棒。我认为文化不能被低估，信念是最重要的品质。如果你不相信有可能解决一个科学问题，你就会失去所有解决它的动力和创造力，因为你会失败很多次。第一次失败，你就会放弃。但除此之外，

我认为这是数据科学最真实的体现。就像，我从未真正理解成为一名数据科学家的意义，但这感觉就像数据科学。你必须提出关于哪些方法组合将使你能够解决问题以及关于仔细测量和制定良好的基准来理解你是否已经解决了这个问题的假设。我认为这不是一项仅限于拥有博士学位的人的技能。远非如此。所以……

Databricks由一个博士超级团队创立的事实现在意味着，超过10,000家企业在处理数据时不需要博士超级团队。我以同样的方式看待我们从Mosaic到Databricks的故事。

我们构建了一个训练平台和围绕它的许多技术。现在，我们正在构建各种各样的产品，使任何人都可以构建优秀的人工智能系统，就像当你获得一台计算机并想要建立一家公司时，你不需要编写操作系统一样。你不需要构建云。你不需要发明虚拟机。我的意思是，抽象是计算机科学中最重要的概念。而且

Databricks有一个博士超级团队来构建需要构建Spark、Delta和Unity Catalog以及所有其他内容的底层基础设施。现在人工智能也是如此。人工智能的未来不在像我这样的人手中。它掌握在那些有问题并且能够想象出解决这些问题方案的人手中。就像我相信万维网的先驱蒂姆·伯纳斯·李并没有完全想象到，我不知道，TikTok。

这并不是他在构建万维网时所想到的。我今天最兴奋与之合作的初创公司是那些正在使用人工智能来简化获得更多医疗保险、简化解决日常问题、简化预约医生或让医生帮助你、让我们尽早发现医疗挑战的公司。这些人之所以能够获得授权，是因为他们不必从头开始构建LLM。

去做所有这些。这一层现在已经创建好了。因此，未来掌握在那些有问题并且关心某些事情的人手中。对于今天的博士超级团队来说，在使人工智能可靠和可用、构建这些人需要使用的工具、构建一种方法，使任何人都可以在一个下午内构建一个评估集，以便他们可以快速测量他们的系统并回到他们的问题上，还有大量的工作要做。

还有大量非常困难、复杂、模糊的机器学习工作要做。但我认为有趣的部分掌握在那些有问题的人手中。

随着你在Databricks内部采用这些类型的人工智能技术，并且你试图做到，我相信，尽可能地做到精明，你的角色是如何变化的？我仍然是一名科学家，但我最近并没有编写很多代码。但我现在花了很多时间将研究与产品、研究与客户以及研究与业务联系起来。然后

回到研究团队，说，我认为我们真的需要这样做。RL如何帮助我们做到这一点？然后去研究团队，说，你们对我们可以用RL做的这个很酷的新东西有这个好主意。让我回到产品中，用他们甚至没有想过的事情来让他们大吃一惊，因为他们不知道这是可能的。拿出一些全新的东西，说服他们我们应该为此构建一个产品，因为我们可以，因为我们认为人们会需要它。所以在很多方面，我现在有点像产品经理。

但我现在也是个推销员，你知道的，我还是个经理，我正试图继续提升这个研究团队令人难以置信的技能，包括那些已经和我共事四年的人，以及那些刚从博士毕业的人，把他们培养成下一代成功的Databricks人才，在这里待一段时间，然后也许像我在Mosaic的前同事那样去创办更多公司。所以它有点像什么都做，但我不得不做出选择，是只专注于

作为一名科学家，整天写代码，非常擅长让GPU听我的指挥，还是擅长领导和管理团队，激励人们，让他们兴奋并成长，或者擅长思考产品和客户以及我想要在那里的组合。这种组合自然地让我远离成为某个特定科学主题的世界级专家，而是转向我认为对我们的客户更重要的东西，那就是了解如何利用科学来解决实际问题。

你必须从技术到客户的形象以及对客户的同理心之间做出一种富有想象力的飞跃，我想这需要进行大量的客户对话。但这是一种思维的逆转。它不是，这是一个我们已经解决的难题。我们能用它做什么？它是在你的脑海中保留一个重要问题的索引，并发现可能的解决方案。

我实际上认为这与任何优秀研究人员的技能相同。没有哪个优秀的研究人员只会说，我做了一件很酷的事情，让我找一个我应该做这件事的理由。有时，非常偶尔地，这会导致重大的科学突破。但总的来说，我认为一个优秀、高效、日常的研究人员应该解决一个问题，并说，我该如何解决这个问题？或者找到应该问什么正确的问题，然后提出这些问题，并想出一个非常基本的解决方案。

所有这些在我看来都只是产品场景，无论你是在构建MVP，比如找出你认为应该问但尚未提出的问题，并构建MVP，然后试图弄清楚是否存在产品市场契合度，还是反过来，找到一个问题，然后试图构建一个解决方案。我认为很多研究不应该仅仅是说，我做了这件事，因为我可以。这是非常高风险的，

很难以此为生，因为你通常不会想出任何东西。我正在努力找出应该问的重要问题，既要提出新问题，也要与我的产品经理核实这是否是应该问的正确问题，还要与我的客户交谈。现在，我的受众不再是研究界和一群博士生评审员，而是要让他们接受我的工作，

我的受众现在是客户，我正在说服他们为我们付钱。我认为这比发表论文和参加晚宴要严格得多，标准也高得多。本周早些时候我与一位客户共进晚餐，他们正在做一些非常酷的事情。他们有一些非常有趣的问题

两周后我将登上飞机，去他们的办公室待一天，整天与他们的团队会面，只是为了更多地了解这个问题，因为我想理解它，并把它带回我的团队，作为一个值得提出的问题。你知道，这并不是我全部时间的100%，但是……

我认为你应该愿意跳上飞机，去和一家保险公司聊天，花一天时间和他们的机器学习团队在一起，向他们学习他们所做的事情，倾听他们的问题，看看我们能否做一些有创意的事情来帮助他们。这就是好的研究。如果你把我送回学术界，那可能仍然是我会做的。几周前我们在NeurIPS上谈论过我最喜欢的事情之一，那就是高中赛道系统。

在关于人工智能的NeurIPS学术会议上。我想知道你是否可以分享一些关于你所看到的内容，以及这告诉你关于人工智能下一波思维方式的信息。NeurIPS的高中赛道非常酷，也很有争议。

原因有很多。这仅仅是另一种让那些非常富裕、能够获得知识和资源，并且父母在科技公司工作的学生进一步领先的方式吗？还是这是一个机会，让一些真正杰出的人展示他们有多么杰出，让人们比我早得多地了解研究，并尝试进行科学研究？

但是人们与计算机互动的方式正在发生代际变化。这是我的同事Hanlon（Mosaic的联合创始人之一）观察到的现象。我完全是在偷他的东西。所以，谢谢你，Hanlon。看到那些由显然在你的计算机界面只是输入自然语言的时代长大的人创办的公司，无论是对Siri，还是现在尤其对Chat GPT。这就是他们思考用户界面的方式。你想建立一个系统吗？

我们会告诉人工智能你想要什么。在后台，我们将以人工智能驱动的方式将其分解，为你构建系统，然后将其交还给你。这是一种与计算机互动非常不同的方式。但这就是过去几年在科技领域成长起来的许多人的方式，许多现在正在大学毕业或在过去几年毕业的人，现在还在上高中的人，尤其是他们的iPhone。他们的个人电脑是Chat GPT。

你知道，它不是按钮、下拉菜单、仪表板和复选框，你知道，还有应用程序。只是告诉电脑你想要什么。现在它运行得并不完美。总有一天它可能会。而且那一天可能不会太遥远，但这是一种非常不同的方法，值得我们牢记。我想稍微改变一下话题，谈谈多年来我们一直在进行的技术辩论，那就是关于技术组合的辩论。

企业和应用程序开发人员将使用这些技术将人工智能应用于他们的数据。当然，RAG和上下文学习多年来一直是令人兴奋的发展，因为它非常容易，而且将数据放入提示并用你能找到的最佳模型对其进行推理非常有吸引力。但是，

我不得不说，围绕补充方法（如微调和测试时间计算、来自OpenAI的强化调整等等）出现了一波兴奋浪潮，一波新的兴奋浪潮。我想知道从客户的角度来看，现在是否是时候了，或者你认为我们是否过于超前，企业和应用程序开发人员应该使用这些技术的正确时间和组合是什么？

我的想法在这方面确实发生了变化。你已经看到了这一点。但我认为我们已经达到了客户甚至不应该知道或不在乎的地步。我只想要一个擅长我的任务的人工智能系统。我想清晰地定义我的任务。

我想从另一端得到一个人工智能系统。无论你是否提示，无论你是否进行少样本学习，无论你是否采用基于强化学习的方法并进行微调，无论你是否使用LoRa或进行完全微调，或者是否使用DSPy并进行某种提示优化，这些对我来说都不重要。只要给我一个系统，让我运行起来，然后改进这个系统。显示一些可能与

我告诉你的意图不符的示例。让我澄清一下我希望你如何处理这些示例，以此来改进我的系统规范，并使我的意图对你更清晰。现在再做一次，改进我的系统。让我们让一些用户与系统互动并收集大量数据。

然后让我们使用这些数据来改进系统，使系统更适合这项特定任务。谁在乎它是RAG？谁在乎它是微调？唯一重要的是你是否解决了我的问题，以及你是否以我可以接受的成本解决了这个问题？你能随着时间的推移使其更便宜、更好吗？从科学的角度来看，这正是我现在在Databricks的研究议程。但你不应该关心系统是如何构建的。

你关心的是它做什么以及它的成本是多少，你应该能够指定，这就是我希望系统做的事情，各种方式，自然语言、示例、评论、人工反馈、自然反馈、明确反馈，所有的一切。系统应该随着你收集的反馈越多而不断改进，并在你的任务中变得更好。你的目标应该是尽快将系统投入生产，即使它只是一个原型。这样你就可以开始获取这些数据，系统也开始变得更好。它使用得越多，就应该越好。

其余的，无论是长上下文还是短上下文，无论是带有自定义嵌入模型和重新排序器的RAG，还是微调，那时你真的不在乎。因此，答案应该是以上所有内容的组合。我认为我所见过的最成功的系统都包含了一点所有内容，或者在几次迭代后发展成为包含了一点所有内容。在你之前的谈话版本中，你说过，伙计，RAG是……

RAG就是它。这就是人们真正想要的。你可以做其他事情来扩展它，但是RAG可以做到很多事情，我们还没有必要超越这个视野。我现在听到你说的是完全不同的东西。我听到你说客户不在乎，但你在乎。你听起来像是正在构建各种东西的混合体。是的，我认为我看到的越多经验越多，就越没有一种万能的解决方案。

RAG在某些用例中运行良好，但在其他用例中却完全失败。我很难告诉你它会在哪里成功，在哪里不会成功。我现在给客户的最佳建议是尝试一下，然后找出答案。因此，应该有一个产品可以为你做到这一点，或者帮助你以指导的方式完成这个科学过程，这样你就不必自己制定进度了。所以，对我来说，现在的问题是，我该如何满足客户的需求？无论你带来什么，

告诉我你想要系统做什么。现在，我们将与你的团队一起为你构建它并弄清楚。但我认为我们可以自动化很多这些工作，并使人们能够轻松地带来他们所拥有的东西，声明他们想要的东西，并非常接近一个好的解决方案或至少是最佳可能的解决方案。这也是我认识到这并非一次性交易的一部分，你只需解决你的问题即可。这是一个……

反复参与的过程，你应该真正尝试快速迭代，发布一些内容并与系统进行一些互动。了解它是否按照你想要的方式运行，从这些示例中学习，然后一次又一次地重新构建它，直到你得到你想要的东西。我认为很多这些都可以自动化，至少这是我的研究论点，我们可以自动化，或者至少有一个非常简单的指导方法来完成这个过程。

对于新模型范例（例如测试时间计算，现在甚至使用DeepSeek开源）的机遇领域来说，这意味着什么？我会认为它们属于两个不同的类别。

我今天早些时候实际上和我的团队中的一位成员玩这个游戏，他告诉我，是的，DeepSeek已经改变了一切。我说，你对Falcon、Llama 2、Mistral、Mixtral和DVRX等等不是也这么说吗？我们正生活在一个起点不断变得更好的时代。

我们可以更有雄心壮志，因为我们从旅程的更深处开始。这就像我们的AWS或Azure的朋友推出一种更高效或更便宜的新实例类型时一样。

我不会去看它，然后说一切都变了。我会去看它，然后说，这些人非常擅长他们所做的事情。他们只是让我的生活和我的客户的生活变得更好。我们可以处理更酷的问题，更多的问题具有投资回报率，因为你知道，出现了一种更快、更便宜的新实例类型。模型也是如此。

对于新的方法。它可能是像DPO这样的东西，也可能是像测试时间计算这样的东西。你知道，很难将这些东西进行比较。但这只是更多可以尝试的东西。这些是权衡空间中的更多点。我认为生活中的每件事都是成本和质量之间帕累托前沿的权衡。测试时间计算为你提供了这种非常有趣的新权衡。

可能是在创建系统、使用系统以及可以获得的整体质量之间的成本之间。每次出现这些想法中的一个时，设计空间就会变得更大一些，权衡曲线上的更多点变得可用，或者曲线向上和向左或向上和向右移动，这取决于你的定义方式。生活变得更好一些，我们可以玩得更开心一些。对于我们所有人都在Databricks上构建的产品和系统，

事情变得更有趣一些，我们可以为我们的客户做更多的事情。所以我认为没有任何一件事情会改变一切，但这只是，它变得越来越容易，越来越快，构建产品和解决问题也越来越有趣。我喜欢这样。几年前，如果我想使用基础模型，我必须自己构建一个。现在我已经领先一步了。我喜欢这样。乔纳森，我有一些快速的问题，我想用它们来结束我们的谈话。

来吧。让我们开始吧。那么，你在整个旅程中学到的最难忘的教训是什么？也许是你希望做得更好的一些事情，或者是你收到的其他创始人今天想听到的最佳建议。我会给你两个答案。我的意思是，我学到的最艰难的教训是，说实话，是人际关系方面的问题。是如何与每个人有效地互动，如何成为一名好经理。

我认为四年前我刚从博士毕业时，我不是一个很棒的经理。和我共事那么长时间的团队成员，或者当时和我一起工作的团队成员肯定会告诉你这一点。我希望那些仍然和我一起工作的团队成员认为我现在是一个更好的经理。而那些在我整个职业生涯中管理过我，培训过我并指导过我的经理们，认为我现在是一个更好的经理。学习如何与其他学科或公司其他部门的同事互动，学习如何以富有成效的方式处理紧张或冲突，

以富有成效的方式表达不同意见，并关注对公司有利的事情，以富有成效和健康的方式与客户互动，即使你知道，有时你和客户相处得并不容易，他们和你相处得也不容易。这些都是来之不易的教训。这是整个旅程中最艰难的部分。我成长最多的地方，也是最具挑战性的部分。

我收到的最好的建议，可能来自我的联合创始人Navin和Hanlon。Hanlon的一条让我印象深刻的建议是，他一遍又一遍地告诉我，创业是一系列你正在测试的假设。这让我们在Mosaic的早期非常自律，陈述我们的假设是什么，试图系统地测试它，找出我们是正确还是错误，这个假设可能是科学的，可能是产品的，也可能是关于客户和他们想要什么的。

但把它变成一项系统的科学工作，让我更容易理解当事情非常艰难时如何取得进步，而且事情确实艰难了很长时间。我知道这不是对快速问题的快速回答，但这是一个我非常重视的问题。除了你自己的，你对哪些数据和人工智能基础设施最感兴趣，为什么？我认为有两件事让我非常兴奋。第一是

帮助你为你的LLM创建估值的产品。我认为这些现在是基础设施。有数百万家初创公司在做这件事，我认为他们都非常出色。我可能可以立即列出至少十几个，我敢打赌你还可以列出我没有提到的十几个，因为我们都在看到这些伟大的宣传。我有一些我非常喜欢的，一些我个人投资的，但我

我认为这是一个我们必须解决的问题。这是一个非常困难的问题。我认为这是一个至关重要的基础设施。我个人真正感兴趣的另一件事是数据标注。

我认为数据标注仍然是人工智能世界的关键基础设施。无论我们的模型有多好，我们对合成数据有多好，总还是需要某种形式的更多数据标注。而那些正在做这件事的公司，收入一直在增长。问题变了，你的需求也变了。我不知道。我认为这是一个迷人的领域。在许多方面，它是一个产品。在许多方面，像我现在的客户一样，我正在合作的任何公司的数据科学家，

也在进行数据标注，或者试图从他们的团队中获得数据标注。构建评估就是数据标注。而且，你知道，我提到了两件事。归根结底，这两件事都是我最喜欢的第二件事。我认为它们最终是一样的。

一个是去购买你需要的资料。另一个是关于使构建你需要的资料变得足够容易的工具，这样你就无需去购买它。我感觉这两家公司都在人工智能增强方面取得了很大进展，或者说这两类公司都在人工智能增强这个过程中取得了很大进展。但是当我计算原始的Llama 3.0模型时，这是我最后一次真正坐下来计算，我最好的猜测是价值5000万美元的计算和价值2.5亿美元的数据标注。

这就是我们今天构建这些惊人模型的令人兴奋的秘密。我认为这只会随着这些推理模型变得更加真实，我不知道推理本身是否会泛化，但看起来你不需要在你的领域中有很多推理示例就能让模型开始在你领域中进行不错的推理。

这将使弄清楚如何让你的组织中的人员或让某个地方的人员帮助你为你的任务创建一些数据，以便你可以开始引导在你的任务上进行推理的模型，变得更加重要。除了你的核心技术关注领域之外，你对哪些技术或非技术趋势最感兴趣？我认为有两个。这只是一个外行人和一个专家的说法。作为一个外行人，我正在密切关注机器人技术。

我认为，对于我们世界上所有有趣的数据任务，世界上还有很多物理任务，如果机器人能够执行这些任务，那将是令人惊叹的。感谢我的洗碗机。感谢我的洗衣机。我无法想象如果我必须擦洗每一个盘子和每一件衣服来保持清洁，我的生活会是什么样子。机器人技术在许多方面已经融入我们的生活。这些只是非常具体的单用途机器人。但是

如果我们真的能够解决这个问题，我不知道我们是否会在十年内或三十年内做到这一点，就像VR一样，我觉得机器人技术是一个我们一直觉得即将突破的问题。然后我们没有完全做到，但我们取得了一些创新。我喜欢我的机器人吸尘器。那是我做过的最好的投资。几周前，我为我女朋友的猫买了一个机器人猫砂盆。我每天都收到短信，说，哦，我的上帝，这是最好的东西。

而这仅仅是触及了我们可能不必做的日常任务的表面。我希望有一些东西能够帮助那些由于某种原因无法轻松四处走动的人更容易四处走动，即使在并非为他们设计的环境中也是如此。

我最近听到一位同事这么说，所以我不会为此承担责任。但这个想法是，如果你有机器人，你就可以做一些在世界上没有任何后勤或物理意义的事情。现在，在布莱恩特公园，就在我们纽约的Databricks办公室下面，有一个很棒的溜冰场，整个冬天都在那里。如果你愿意让一群机器人做很多工作，你实际上可以每天晚上拆除溜冰场，然后建立一个啤酒花园。

如果你真的想的话，你可以每天交换它们。那些由于劳动密集型而没有任何后勤意义的事情。你可以做到这一点。突然之间，这变得很有意义。你可以做一些非常劳动密集型和资源密集型的事情。这让我非常兴奋。

从数据智能到物理智能。啊，好吧，有人已经创造了物理智能这个词，但是，是的，我不明白为什么不呢。老实说，我们现在在Databricks处理很多物理智能的情况。所以我认为数据智能已经将我们带到了物理智能，但人们还可以做更多的事情。我们只是触及了这一点的表面。谷歌花费了多少钱，300亿美元来建造……

非凡的自动驾驶汽车。过去一年，整个叙事已经完全从自动驾驶汽车已经死亡，那是浪费的钱，转变为，哦，我的天哪，Waymo可能会接管世界。所以我对这个未来感到兴奋。我只是希望我知道这是否会在明年或30年后发生。然而，另一个趋势是，我的意思是，我花了很多时间在政策领域，我认为这可能是一个很好的结束地方。在我成为人工智能技术专家之前，我是一名人工智能政策实践者。

这就是我最初进入这个领域的原因。这就是为什么我决定回去攻读博士学位。我这些天花了很多时间与政策领域的人聊天，与各个办公室聊天，与记者聊天，只是与非政府组织合作，试图理解这项技术以及我们作为一个社会应该如何管理它。这是我在业余时间做的事情。我不代表Databricks正式这样做，只是因为我认为我们作为最了解这项技术的人应该理解

尽力提供服务。但我认为作为一个技术专家，问我能提供什么服务？我能回答什么问题？我能帮助你思考这个问题并弄清楚这是否有意义吗？这是一条非常细微的界限，你需要小心。但如果你真的怀着为那些负责思考代表社会发言或代表社会思考的人提供服务的心态而来，你就能产生真正的影响。但你必须在多年时间里建立声誉和信任。

但另一方面，你可以为世界做很多好事。这绝对是一个很好的结束语。所以，Databricks的首席人工智能科学家乔纳森·弗兰克尔，非常感谢你加入。这很有趣。感谢你的邀请。