We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode From Rules to Reasoning Engines // George Mathew // #296

From Rules to Reasoning Engines // George Mathew // #296

2025/3/18
logo of podcast MLOps.community

MLOps.community

AI Deep Dive AI Chapters Transcript
People
G
George Mathew
Topics
George Mathew: 我专注于投资那些能够建立具有持久影响力的公司,也就是能够创造世代影响的组织。在过去的几年里,AI和ML发生了巨大的变化,特别是像ChatGPT这样的模型彻底改变了游戏规则。我们正从基于规则的软件转向AI驱动的推理引擎,AI将成为所有软件的核心组成部分,从根本上改变业务运营。我看到了基于代理的系统兴起,高质量数据的重要性,以及像Deep SEQ这样的最新突破,这些都将AI推理能力推向了新的高度。未来,AI将在软件、企业应用和日常生活中扮演核心角色。 我坚信,未来软件的核心都将是AI驱动的功能。从1995年至今,软件经历了客户端-服务器、互联网、移动和云计算等阶段的变革,而现在,我们正处于AI系统构建的新时代。我认为,从现在开始,所有软件都将包含AI驱动的功能。这将改变软件的价值主张和使用方式,并催生新的数字劳动力,例如合成SDR、BDR、开发人员和流程自动化人员。这将减少对服务的需求,并实现软件在企业内部的自主运行。 大多数软件都是基于规则引擎构建的,而AI驱动的推理引擎将改变这一点。规则引擎随着时间的推移会变得脆弱,因为你必须不断地将业务流程编码到这些规则中。但如果我们不再需要这样做呢?如果我们拥有一个能够持续推理正在发生的事情的推理系统,并且这个推理系统可以像人类一样,甚至在推理方面超越人类呢?这将改变软件的价值主张和使用方式。 未来软件的AI集成将既有对现有系统的增强,也有从头开始的全新构建。我们可以将现有系统整合到代理工作流程中,结合基础模型的推理和知识,从而获得巨大的好处。同时,也会出现许多全新的系统,这些系统将从根本上不同于我们之前所做的任何事情。 AI在软件中的应用将从辅助工具(co-pilots)发展到完全自主的系统(autopilots)。完全自主的自动驾驶系统甚至不需要以与人类相同的方式执行工作。大型语言模型的概率能力使我们能够看到意想不到的涌现行为。我们应该关注推理能力的提升,高质量数据仍然是关键。大型语言模型提供商面临着来自高效、低成本模型的竞争压力。AI正在提升定制软件开发的效率。我们可以利用现有的组件、数据和管道构建高度定制的软件体验,同时保持底层组件的可升级性。 未来AI系统将更倾向于多个小型代理协同工作,而非单一大型系统。这些代理将执行各种大小的任务,从而提高效率。更具有科幻色彩的、始终伴随我们的AI系统,则可能在未来出现。

Deep Dive

Chapters
George Mathew, Managing Director at Insight Partners, shares his insights on building companies with lasting impact, focusing on the transition from rule-based software to AI-driven reasoning engines. He emphasizes the importance of high-quality data and the rise of agent-based systems in shaping the future of AI.
  • Focus on building 'generational outcomes'
  • Shift from rule-based software to AI-driven reasoning engines
  • Importance of high-quality data for AI systems
  • Rise of agent-based systems

Shownotes Transcript

您好,我是乔治·马修。我是 Insight Partners 的董事总经理,我喜欢喝热或冷的香草拿铁,至少要加 1% 的牛奶。欢迎来到与乔治·马修的第二次对话。这是 MLOps 社区播客,我是主持人德米特里奥斯。

在第一版中,几年前我和乔治交谈时,我们回忆了他成为 AI 和 ML 行业最主要的风险投资家之一之前的经历。在本期节目中,我们讨论了他对市场的观察以及他对未来几年的预测。让我们直接进入主题。

我们上次聊天已经过去两年了。我记得我们上次聊天时,我在希腊享受阳光,完全没有意识到即将发生的事情,我想我们甚至在 ChatGPT 席卷互联网之前就谈论过这件事。那么,过去两年还有什么变化呢?你一直在关注什么,思考什么?

哦,我的天哪,过去两年什么也没发生,对吧?那是如此平静祥和的时刻,一切与数据、AI、ML 相关,也很高兴再次见到你。再次见到你真是太好了。好久不见了。再次感谢你邀请我来到 MLOps 播客。我很高兴你能为

过去几年所做的一切。哦,谢谢,伙计。第二次回到播客,尤其是在,你知道,在一切变得疯狂之前就有一些看法。是的。当我们上次谈话时。所以是的,这将很有趣。是的,我清楚地记得你谈到过,我问过,你如何看待公司,以及什么事情会让你对公司感到兴奋?你说过一些话,我在这里概括一下,但大致意思是,你正在寻找那些人

能够真正建立具有世代意义的组织的公司,或者类似的东西。世代成果,是的。我认为是世代成果。这是我第一次以如此长远的眼光思考。我只是想,哇,你怎么能……

哇。这让我大吃一惊。所以也许我们可以谈谈世代成果,以及你认为下一波世代成果是什么。当然。是的,我很乐意这样做。我认为对我来说,这是一个进行这种对话的恰当时机,因为我即将成为一名风险投资家五年,当然,在我成为 Insight 的风险投资家四年并进入第五年之前,我作为一名建设者也有很长的职业生涯。我之所以提到这一点,是因为 Insight 刚刚庆祝了 30 周年,我们刚刚募集了第 13 只基金,这是一只 125 亿美元的基金。而且,而且,

如果你看看 30 年来的软件发展历程,Insight 从 1995 年到现在一直非常专注于软件投资,我 1995 年大学毕业。所以对我来说,几乎要思考我在建设者生涯中所做的事情,以及我现在作为一名风险投资家的时间,这是一个

从我们开始看到 1995 年客户端-服务器的引入以及网络的出现、移动设备的大规模兴起、最终定义了十多年软件的云基础设施的时刻开始,这是一个巨大的转变。而现在我们再次站在这个悬崖边上,而且我们已经远远超过了构建 AI 系统的阶段。所以

我对,你知道,不仅对我们近 30 多年来(如果不是更长的话)在软件如何成为人类继续表达自己并推动全球生产力的最重要基质方面所经历的一切感到兴奋,而且对我们未来 30、40、50 年能做的事情感到兴奋。对我来说,非常清楚的是,从现在开始,所有

特别是软件中的所有内容都是 AI 驱动的功能。它是什么样的?因为我知道我们谈论过一些事情,比如 AI 系统正在超越……

它实际上是在思考我们如何超越屏幕?我认为第一步可能是超越聊天框,然后我们也许可以超越屏幕。那么你如何看待这一点,以及你看到的一些让你兴奋的事情是什么?是的,我想在构建当前一代 AI 系统的过程中也建立这一点。

不用说,我们应该真正强调的是,如果没有现代数据堆栈本身的出现,我们就无法构建这些现代 AI 系统,对吧?因为这很清楚

现在,你需要高质量的数据才能大规模构建你的 AI 系统。当然,这在变压器架构中得到了证明,该架构真正实现了 GPT-4 模型、O1 模型,当然还有 Anthropic 发布的内容以及许多基础模型构建者能够在知识和推理方面出色地归因的内容。而且

嵌入到,或者更准确地说,赋予模型本身。因此,您可以看到从现代数据堆栈到现在采用这些模型并定义围绕如何构建和扩展模型的机器学习操作的演变过程。因此,最近围绕 LLM 和 LLM 操作。

现在是基于代理的系统,对吧?这不仅仅是关于你可以在基础模型本身中做什么,而是如何有效地协调它们,以便你能够采用一种代理方法来使多个推理系统、多个知识系统融合在一起,为现有问题或新问题提供新的 AI 系统。所以,

这就是我现在开始兴奋的地方,因为我意识到,到目前为止,大多数软件都是基于

并构建功能强大的规则引擎。但随着时间的推移,规则变得非常脆弱,因为你必须继续将你的业务流程编码到这些规则中。但是,如果不用呢?如果你有一个几乎可以持续推理正在发生的事情的推理系统,并且这种推理可以像人类一样,甚至在推理方面可能比人类更强大,那么会怎么样呢?你今天从 AI 系统中得到的结果?

这令人兴奋,对吧?因为它开始改变你看到价值主张的地方以及软件本身的消费方式,对吧?因为在这一刻之前,你必须购买你的软件。你必须让服务方面的人员让该软件在企业内部运行。你有一些内部运营人员。

将软件作为关心该特定软件的角色。如果你使用 CRM 软件,那么销售人员、销售经理、销售运营人员会关心该软件。如果你是一家 ERP 软件提供商,那么你会有许多在财务和运营部门工作的人员关心该软件。现在,我们

正以惊人的速度朝着这样一个未来前进,在这个未来中,AI 系统包含了软件价值主张以及在企业中启用该软件的服务,以及数字员工、合成物等前所未有的东西,其中有一个完整的

关于该软件如何在企业内部运行的自主体验,而无需像服务那样在将该软件投入使用方面花费那么多成本。当然,现在甚至还有合成 SDR、合成 BDR、合成开发人员、合成

流程自动化人员现在可以,你知道,而不是手动处理这些信息,你有一个完整的推理系统来处理。这与我们对 Crew AI 的投资非常相似,它只是能够自动化所有历史上自动化的内容。

手动机器人处理,只有很少的智能异常处理。现在,你有一个高度推理的功能参与了你如何进行许多后台自动化和处理。因此,软件的这种演变一直到这些 AI 首要系统的出现,而这些 AI 首要系统包含了软件创新。

和服务以及劳动力,这是我们还没有完全看到的东西。它才刚刚在一些关键市场中出现。我对这个机会的样子感到非常兴奋。让我们花一点时间谈谈几篇不同的论文。我知道你提到了你非常喜欢达里奥的论文。然后还有这些不同的

关于我们未来可能走向何方的观点。这就像一种拥抱机器和被机器扼杀的方式。是的,这很有趣。让我们设定一下背景,对吧?我认为这当然始于利奥波德·阿申布伦纳在 2024 年 6 月发表的论文,即态势感知,对吧?他概述了未来十年

构建这个未来所需要的东西。我们稍后会谈谈这两篇论文。但我认为我在那篇论文中看到的是一种非常机械的未来观。扩展这些集群需要什么?从 AGI 到超级智能需要什么?这样做的时间框架是什么?构建万亿美元集群本身意味着什么?就像,

我们需要将实验室锁起来多少,这真的很有趣,我们谈论的是锁定实验室以及 AGI 的安全性,特别是 DeepSeek 的情况。甚至六个月或七个月。这至少是世界其他地区对它的反应与论文中提出的内容大相径庭。一致性是什么样的?对人类来说意味着什么?

在一个自由世界中推动民主,而所有这一切都在发生。这是一篇非常有思想的论文。我认为它在如何看待 AGI 的时间安排方面也过于强硬,就像会发生什么一样。我认为最有趣的事情之一是,无论它是否发生以及何时发生都没有关系,这真的令人兴奋,那就是如果你能够构建一个超级智能,它可以自动化

创造所有你作为人类想要的所有可能未来的研究成果。我认为这就是我的,是的,这是有道理的。无论何时发生,这都是解锁认知劳动、解锁更多

科学技术机会、解锁机器人技术、解锁军事优势以及更广泛地解锁 GDP 的令人难以置信的观点。但它确实反映了对所有这一切的非常机械的看法。如果你做了这些事情,这些结果就会出现。在我看来,这几乎是残酷的。

尽管如此,这是一篇非常重要的论文。但达里奥随后提出了你的观点,德米特里奥斯,就像《爱的恩典机器》一样。它谈论的是,你知道,不是一个完全不同的未来,而是谈论

为什么这些机器实际上可以帮助我们人类。我们如何才能使人类变得更好,因为机器正在帮助我们实现这一目标?它实际上让我想起了,我不知道你是否看过名为《文化》系列的科幻系列,对吧?文化是

特别是 AI 系统,已经融入到我们的生活中,对吧?这就像一个非常后经济的社会,资源无限,机器如何帮助我们超越我们作为人类的当前限制。未来的人类是什么样的?这是我们对人类与机器融合、奇点融合的共同存在的一种美好的看法。

两者当然都是可能的。但我确实发现达里奥的思想中有一些美好的东西,因为我们对人工智能的未来及其对人类的影响感到非常焦虑。而且,而且,

我认为有很多值得担忧的事情。我已经注意到了这一点,特别是如果我们正处于构建与人类价值观不一致的系统(当然是大规模的)的阶段。但有可能达到一个未来,在这个未来中

人类本身将以指数方式进步,造福人类,因为我们的 AI 系统将帮助实现这一目标。我认为我强烈建议任何尚未阅读《爱的迷宫机器》的人花一些时间阅读这篇论文,特别是这篇论文。这两篇论文,但如果你想相信人工智能的更美好的未来将改变人类,那么当然要阅读这篇论文。我很好奇,当我们

思考这种转变时,它会是建立在传统之上的一个层次,还是会从头开始构建?我之所以这样问,是因为我两周前和一些朋友在一起,他们谈到他们如何尝试创建一个 Jira 代理,它在他们的黑客马拉松中运行得很好,然后当他们将其插入他们的真实 Jira 实例时,它却失败了,因为

Jira 中的人类正在做最少的事情来表达他们需要表达的内容。另一个人可以看到并理解它,因为他们拥有所有相关的上下文。但代理看到了它,却不知道发生了什么。所以我问,你会不会用某种图形知识库来重建它,以便它能够拥有上下文?他说了一些有趣的话。他说,不,我会去……

我会以不同的方式思考它。就像不是试图将代理塞进 Jira,我会想,我该如何改进 Jira?是的,我认为这两件事都会发生,对吧?我认为会有很多情况,你将能够使用你现有的系统

将其放入代理工作流程中,你将它与赋予基础模型的一些推理和知识相结合,这些知识可能经过微调,或者你可能对如何提供上下文有一个检索增强生成的视图

该模型将使用从现有系统提供的这些数据进行操作。你可以获得复合 AI 系统在此出现的一些巨大好处。然后确保这是你的观点,就像会有许多关键的新系统出现,你根本不想采用现有流程。你只会想出一些全新的东西,并且

你甚至不需要将现有功能的复杂性包裹起来,只需构建与你之前所做的事情完全不同的东西。这是一个有趣的想法。有没有不同的方式来思考 Jira 和 AI?

票务和软件开发,我们已经习惯了一种可以彻底重新想象的流程。好的。是的,我认为这是一个公平的观点。我们已经习惯以某种方式做的事情可能有很多。我们不再需要使用 AI 来自动化我们正在做的事情,而是完全创造一种新的方法。

是的,对我来说,我觉得每次看到 Cursor 的更新时,我都想,伙计,他们会吞噬开发人员所做的一切。所以感觉上有一个世界,一个未来,开发人员必须接触的一切都以某种方式、某种形式可用。

连接,它不一定是光标,因为如果我们看到另一个 UI UX 变化或转变,就像我们与副驾驶一样,失去领先地位,那么光标可能无法执行。所以你这样想。如果某些东西知道你在做什么以及你试图做什么,那么它不也能够为你更新票证吗?没错。是的。

是的,在什么方面进一步下游

该用户、他们的角色以及他们正在做的事情,而不仅仅是手头的任务,对吧?是的,这就是我所关注的。即使在过去一年中,我对这个问题的思考也发生了很大的变化,因为我认为大约一年半前,我的很多思维过程都是这样的:这种基于 AI 的软件出现将看起来像一堆,称之为副驾驶,对吧?你工作,而这个东西将帮助你更好地完成这项工作,这就是……

很多人对副驾驶的思维方式。现在我真正接受了这样一个想法,即你可以看到完全自主的自动驾驶仪,而这些完全自主的自动驾驶仪甚至不必以你作为人类所做的那样方式来完成这项工作。等等,更深入地探讨一下,因为……

它让我想起了,当他们放开两个聊天机器人时,他们创造了自己的语言。是的,这就是我们现在可以看到的这些涌现行为的美妙之处,我们……

没有预料到,仅仅是因为我们作为人类的思维方式受到限制,但这些概率模型可以以我们可能从未想到的方式相互交互,所以我确实认为这种价值在于我们担心虚构和幻觉,但我实际上认为这里出现的系统具有一些重要的价值,这些系统会延续

这里出现的概率系统彼此进行不同的对话,而不是它们通常与与之交互的现有业务流程和现有人员进行的对话。

所以我认为这里有很多话要说。现在,还有很多事情要做,因为它确实感觉推理向量,随着一种模型的出现,当然已经取得了相当多的进展。当然,我们可以谈论 DeepSeek 的很多方面,但你可以感觉到

推理向量在过去一年中得到了真正的启动,即使是知识向量,知识的积累,我们可能正在放缓,因为从公共互联网中可以消费的原始数据越来越少。因此,我们没有使用私有数据源等来训练即将上市的下一代模型。

是的,有那个向量。你认为我们还会利用其他向量吗?因为我考虑到了这样一个想法,即人类现在可以接受等待 20 分钟才能得到答案。当 ChatGPT 首次出现时,这是不可想象的。

我们不会等待 20 分钟,但现在我经常使用深度研究,并且我想,是的,去做吧,无论如何。所以这是人类耐心程度的另一个向量。然后你还有你正在关注的实际技术向量。就像你说的那样,有推理,或者可能有一些,你一直在思考的其他事情可以增强。请记住,在很多方面,推理向量包含了你刚才提到的某些

事情,对吧?因为如果你考虑聊天本身的概念,聊天中的推理是即时的,对吧?它是同步的。它是立即的。你想要立即得到答案。但你也可以考虑,随着你进入更复杂、更长篇幅的思考,短篇幅和长篇幅的思考,所以你会进入一些更长篇幅的思考,那么推理可能需要更长的时间。

对吧?你可以考虑一下,然后给出不需要与聊天同步的答案。它可以是异步的,以你的观点来看,进行研究并返回。我们对研究的进行很耐心,只要他们的思考在此时具有更高的质量,并且响应时间更长。所以我确实认为现在已经证明了,就像人类一样

有短篇幅和长篇幅的思考,我们的 AI 系统也应该有更直接的短篇幅和更长篇幅的推理和思考。有趣的是,将幻觉视为一项功能,并允许以某种方式发生,或者几乎就像你正在为模型提供空间去创造性地发挥,并且

它们可以在这里的一个小沙箱中做到这一点,然后它们可以提出一些疯狂的想法,你几乎就像法官一样,会说这是否有效,然后用这个想法进行推理,这可能是完全垃圾,可能根本不起作用,但以某种方式,给予它

指示要跳出框框思考,几乎就像产生幻觉一样,这是一种有趣的方式。是的。当你考虑我们正在增强或完全采用作为自主系统的工作类型时,

你可以看到大量的创造性工作,你确实想要,你知道,一个高度,称之为,多样化的输出,你可以迭代并让模型,你知道,在较小或较大程度上,真正产生幻觉并返回你不会想到的输出,并非常有效地利用它,尤其是在许多这些创造性领域,对吧?你确实希望放宽这种约束,以获得更多创造性,

从你可能正在使用的模型中获得更多可能的创造性事物。然后在其他情况下,如果你正在进行交易结算流程或后台的直通流程,那么这是你最不需要的东西。你只需要一个非常紧密的模型,它不会偏离轨道。它有……

像人类一样的推理来处理和理解异常发生时的情况,如何处理它,但除此之外,它实际上会做它需要完成该流程的事情。我认为这就是我真正兴奋的地方,老实说,像 DeepSeek 这样的东西的

最近发展真正让每个人的眼睛都为之一亮。关于 DeepSeek,我们可以谈论很多事情,我很乐意这样做。但真正引起我注意的一件事是,你可以采用一个非常大的模型,呃,

并将模型蒸馏到一个点,并使用一些真正引人注目的技术来能够超优化模型的效率,不仅是训练,而且是使用强化学习、迁移学习技术进行推理。

你可以构建非常有趣的特定领域模型,这些模型真正保持在轨道上,准确地做它们需要做的事情,其中包含高质量的人类推理,并且不会偏离轨道去思考 14 世纪的英国历史。所以我认为这是我们很可能会看到的一个非常有价值的因素,它不仅仅是这个想法,你需要……

A,从万亿参数的 GPT-4 风格的大型语言模型转向任何东西,10 或 20 万亿参数模型,或者甚至更大。关于这将如何出现有很多疑问。我们会看到的。我相信研究人员正在努力解决这个问题。但有一些话要说,这些

优雅、紧凑、特定领域的模型。几年前我就说过这个。我只是从未见过像我们用 DeepSeek 看到的那样的体现,它们将同样重要,如果不是更重要的话,对于 AI 系统如何在企业中,甚至可能在整个人类中发挥作用。是的。让我们现在继续讨论 DeepSeek 的话题,因为它太迷人了。它迷住了全世界。我的一件事……

想知道的是你对其他模型提供商的看法以及这对他们的地位有何影响。这肯定引发了很多问题。就像我不在任何一个模型提供商内部一样,只是大声说出来,Insight 从未向任何基础模型构建者投资,这并不是因为我们不喜欢基础模型构建者正在做的事情。我们对

来自模型构建者、工厂和研究机构的成果并没有深信不疑,他们在很多方面都是坚定的信徒。其中一个原因是,在任何时候,估值都感觉不对。

事后看来,P20,可能有一些我们应该在某些估值时就参与的。我很确定 Anthropic 的 10 亿美元估值轮是一轮不错的估值。我们有机会参与其中。所以你考虑一下你随着时间的推移所构建的这些反投资组合。这绝对是我反投资组合中的另一个。但我们坚信数据……

是最重要的基质。我会谈谈我们进行的一些主题投资,特别是数据是最重要的构建这些 AI 系统的基质的想法。我们也知道,随着开源模型的持续普及,我们在 Huggy Face 中看到的情况,总会有一个时刻,世界上最好的模型

从知识或推理的角度来看,在开源社区中,六到九个月后,总是会出现几乎等效的模型。DeepSeq 可能是最好的例子之一,至少对于推理向量而言是这样。这相当于 O1 模型,如果不是更好或比 O1 模型所能做的更好,并且假设使用更少的资源完成。所以如果你是一个

大型模型构建者,你现在有一些工作要做,对吧?因为你必须展示推理向量或知识向量的巨大增量遍历,这同样是模型构建者在训练这些即将推出的下一代基础模型、前沿模型时真正考虑的问题。但是当你这样做时,你将在网络、

GPU、所需的电力、所需的资源上花费数千亿美元来实现这一目标。到目前为止,每次发生重大模型演变时,似乎都有一种更优雅、更高效的方法来赶上。当然,这应该让任何模型构建者都感到担忧,对吧?尤其是在构建这些前沿基础模型的大型研究机构中。

就像他们什么时候才能拥有一个可持续超过六到九个月的真正护城河?这应该让每个人都感到担忧。我听说过一个传闻,即使是那些开源效率更高的模型构建者,比如 Meta 和 Lava 模型,比如,

我认为扎克伯格可能在某个时刻向他的团队大喊大叫,好吧,怎么可能你要求 Y 数量的美元来构建下一代 Lama 4 及以后的模型?而这个东西却以一小部分成本和一些非常巧妙的方法和蒸馏技术做到了这一点。是的。

所以,是的,每个人都必须考虑这个问题,对吧?到目前为止已经花费数千亿美元的每个人都必须考虑,这可能很重要,对吧?重要的是,我过去常常谈论这个,就像你需要太空计划来建设航空航天工业一样。是的,我们需要将基本资金投入太空计划。但现在我们已经到了这样一个地步,它确实感觉像

我们应该能够建立航空航天工业。因此,至少在这个比喻中,我会关注的是人工智能研究与围绕人工智能系统形成的产业。那么,当我们这样做的时候,我们是否应该花费我们必须花费在研究上的资金才能达到目标,以及还需要多少资金?所以肯定有很多问题,以及关于这个确切主题的大量研究。这是一个很好的类比,让航空航天工业栩栩如生。

2025 年基本上要确保我们是在现有基础上进行建设,现在是时候起飞了,所以在我的眼中,当涉及到这些模型的构建时,还有一件有趣的事情是,这有点像碰运气,在你花光所有钱之后,你真的不知道会得到什么

它可能是好的,也可能只是平庸的。我认为我们已经看到很多模型问世了。它们并没有真正引起轰动,因为它们很酷。是的,还有一个基础模型问世了,这几乎就像一个你可以进行微调的基础模型。但是你很快就会看到它们消失在历史中,因为它们不是

那么好。是的,与现有的相比。是的,是的。现在我认为散布在 Huggy Face 上的模型的长尾,希望能成为一些令人难以置信的事情的指标,当然是在排行榜上,但也有一些长尾。我认为这仅仅表明存在一个

肯定有空间继续创造这些超出预期的结果,就像我们刚刚在 DeepSeek 中看到的那样。但要达到这一点,你需要迭代大量的失败。有时这发生在一个特定的研究机构及其工作内部。有时它发生在不同的研究机构之间。当然,这体现在我们今天在 Hugging Face 上看到的长尾中。是的。

有趣的是,从我的角度来看,也许并不那么有趣,但我不知道你是否看到 Mistral 发布了一个新模型。

几天前。对我来说,时机不对,伙计。你为什么要尝试呢?这就像一个完全的,是的,艰难的选择,必须在本周发布一个新模型。是的。但 Mistral 在过去是这样的。就像 Mistral 有过他们自己的时刻,他们发布了一个开源模型。每个人都在谈论它。我认为他们有点困惑,哦,我们可以再做一次。

我们会把它发布出来。但它并没有,再次回到模型的质量,它并不是什么突破性的东西。它周围没有这个完整的叙述。它并没有吸引和抓住所有人的眼球。在我看来,就像你们世界上的 Mistral 现在正处于困境之中,因为他们试图这样做。有人给我发了一篇文章,说 Mistral 试图上市。

就像,在所有模型构建者中,我没想到 Mish Draw 会是第一个上市的。说实话,它不在我的 bingo 卡上。是的,是的。比赛仍在现有模型提供商之间继续进行。是的,我同意,你知道,你会期望……

更大的规模,对吧?对于最终上市的少数公司来说,你当然会期望在他们各自的旅程中,规模更大一些。我们倾向于看到一些这样的情况,呃,

从 Weights and Biases 的角度来看,这是我在 Insight 做的第一个投资,是实验跟踪参数调整版本控制的事实上的解决方案,事实证明,OpenAI、Anthropic、Cohere、Mistral、Meta、Nvidia

都是使用 Weights and Biases 来构建高质量模型的客户。正因为如此,你甚至可以对这些组织中用户的数量以及他们从像 WMB 这样的工具中获得多少杠杆作用获得相当有趣的感知能力,以收敛并构建他们的模型。看到这一点非常令人着迷,你知道,肯定有这样一种,称之为核心五到十个研究机构正在进行

引领市场的工作。但是,当像 DeepSeat 这样的东西出现时,就会有一些时刻让一切都发生颠覆或重新解释,然后你必须考虑刚刚发生了什么。但似乎仍然有伟大的工作来自 OpenAI、Anthropic、Cohere、Mischel、Meta 和 NVIDIA。是的,是的。你需要这些时刻来提高标准,让人们保持警惕。而且它

它改变了格局。它让事情变得更酷一些,哦,我现在可以使用 DeepSeek 了。如果我可以在我自己的机器上托管它,我会三思而后行选择不同的模型。但这并不意味着你只需要获取模型,然后你就好了,你可以安然无恙。我认为另一部分是,

我们在社区中进行了一次讨论,这对我来说非常吸引人,因为有人询问人们在使用 SageMaker 和不使用 SageMaker 之间看到的成本差异。有人在讨论中插话道,是的,我们每月节省了 5000 美元

从 SageMaker AI 切换到普通的,我认为他们使用的是什么,ECS?EC2,是的。EC2 实例。哦,所以他们没有所谓的托管 SageMaker 体验。他们只是将自己的工具集成到 AWS Empra 中。他们发现,哇,好吧,现在我们每月节省了 5000 美元。但你没有看到的是,他们在这条讨论中非常自信地

透明地表示,拥有知道如何做到这一点的工程师的成本是多少?你真正想要优化的是什么?你的团队有多大?你的团队有多成熟?所有这些因素都会发挥作用,这是一个经典的构建与购买决策

因此,你不能仅仅认为,好吧,我现在要获取 DeepSeek,我就好了。我不必担心任何事情。因为正如另一个朋友告诉我的那样,他说,在我的 ML 平台工程师的工作中,每当可能的时候,我都会尝试将 ML 平台外包给大型模型提供商,因为我不想处理它。这太让人头疼了。是的,我的意思是,这当然是有道理的,对吧?因为如果你是那些人之一

ML 团队,你的工作是引入最高质量的人工智能系统,该系统包含该模型,引入训练特定领域模型所需的数据,并将该模型放入实际有益于该组织的生产工作负载中。是的,你越能获得

帮助你支持这一点的平台和工具。这只是,说得不好听点,这是我们在 Insight 对这个领域所有事物的“镐和铲子”论点。我们只是肯定地倾向于在这个领域的大多数“镐和铲子”。是的。他甚至在一个受监管的空间中,他说,除非你有

数据问题和法规,否则就外包它,用“镐和铲子”解决它,然后你可以把时间花在更重要的问题上,所以考虑一下这一点非常吸引人,顺便说一句,我遇到过一些企业,我看到哦,是的,我们自豪地填写了很多,比如

我们构建了非常定制的定制 ML ops 管道。我说,哦,你可怜的人。就像,你为什么要把所有精力都投入到这件事上呢?而其中一些决定是在某个时间做出的。有一种信念认为,你无法从市场上获得的所有东西中获取一切,并出售。

强制它并将其结合起来以使其有意义。但是,是的,我必须想象这不会很好地利用资源,尤其是在一个组织中。而且我猜想你每个季度或每年都会进行这样的对话,比如,我们是否继续支持它,或者我们是否尝试迁移到更新的东西?因为在某种程度上,当你选择你的堆栈时,对吧,

它是当时最佳功能的快照。如果你真的全力以赴,我记得我们这里有一个来自 Pinterest 的人,他们用于广告平台的许多东西是在 2018 年或 2017 年选择的。已经有了如此多的进步,他们必须决定,我们是否……

手动操作,也许你在这里取下一块,然后在这里升级它,但也许它不合适。因此,你无法添加这个闪亮的新东西,这可能是好的,也可能是坏的。你并不总是需要闪亮的新东西,但是,但是真的要考虑一下,如果你决定走这条路,你决定采用目前最好的东西,并且

让这个快照成为你正在使用的。然后放弃未来可能出现的创新。一点,嗯?来自你围墙之外的东西。是的,这是你必须注意这些构建与购买决策的事情。这不仅仅是在你的 AS 中,而且是一般的。如果你现在要锁定某些东西,你可能会得到一些非常符合你需求的东西。是的。

但最终只会出现这种外部创新,它将继续向前发展。

顺便说一句,自从我们谈到构建和购买以来,我一直很着迷的一件事是,人工智能软件系统或使下一代软件能够实现和支持的人工智能系统,更准确地说,是现在你可以做得更多定制软件开发更好。我之所以提到这一点,是因为以前,你几乎必须依靠你的软件包提供商来完成产品中需要他们完成的事情,并且你必须等待这些版本的发布,然后你才能实现该软件包。但我们不是一个可以构建的世界,我们正在谈论一些组件,数据,管道,

构建块可以继续发展,但是你如何利用它可以是非常高度定制的软件体验,就所有意图和目的而言,都是定制软件,具有许多真正可升级的基础,例如它的生命周期管理变得更加直接。所以我认为这里有一个时刻,你可以交付东西。

高度指定的定制软件,但所有底层组件的进步将继续拥有自己的可升级性生命周期。这不是你必须构建定制的东西的地方。它实际上是在抽象层之上,你可以在那里更快地迭代,因为你正在使用这些构建块。看到今天你可以完成多少

比以往任何时候都多的定制软件开发。这是因为你认为它就像我可以提示我的软件或我的软件,我并不总是与它互动,

或者我不总是通过 GUI 与它互动。这只是这种体验中 UI 的出现方式。但它也是当你必须现在获取你现有的软件包并几乎附加 AI 功能而不是从头开始构建它,然后本机拥有一个非常……

企业特定的软件功能体验,你不需要等待别人开发你需要的功能,而是能够自己构建这些更高级的功能。我认为你正在获得为你的业务构建的更具体的定制软件。

对。而且,顺便说一句,就像有些时候你不想那样做,对吧?当一切尘埃落定,没有太多创新发生时,你可以直接从货架上拿走一些东西,它和你能构建的任何东西一样好或更好。但我们正处于一个你可以构建比从货架上拿走任何东西更好的东西的时刻。这就是为什么我认为这将是所有这些过程中定制软件开发的一个令人信服的时刻。

是的,它正在查看该抽象层,并表示我们将从其不断在我们之下移动的事物中受益,但我们可以拥有用户所需的内容。是的,考虑这一点很有趣,因为它确实感觉现在更像是乐高积木。由于它如此新颖,而且还没有真正稳定下来,

而且你每天都会得到新的东西,你更有可能构建一些东西

更快或自己构建。我猜想,我只是回想起 Pinterest 的故事,以及我打赌在那些日子里他们走出去,说,看,那里没有什么东西足够好。我们可以创建我们需要的抽象层,然后我们将拥有我们自己的定制内容,这些内容将使我们到达我们想去的地方。但我

不可避免地,就像你说的那样,它会改变。现在我们正处于这个阶段,为这种类型的东西构建和创建我们自己的定制软件更容易。然后你可能会克服障碍,你会开始意识到,好吧,现在有一些非常漂亮的产品,我们将想要使用它们。是的。由于你提到了 Pinterest,所以还有一个细微之处需要补充。当你看到

过去十年中出现的一些更引人注目的开源软件,它实际上是从公民组织内部需要的定制功能工作开始的。就像,其他人可能也需要它。Airflow 来自 Airbnb。是的。对吧?Kafka 来自 LinkedIn。是的。

因此,你看到这些像现在这样的现代 OSS 组件,它们实际上源于一个非常具体的领域需求,碰巧在一个非常具体的领域中,然后通过将其作为开源软件发布而推广到世界其他地区。因此,以一种通过该自定义环境获得所需内容的方式构建这些东西有一些有趣的益处。

然后,当你意识到有些东西其他人也需要,这是可重用的,并且开源对这一点有益时,我们当然在过去十年中看到了许多开源功能,尤其是在过去十年中。是的。多么好的例子。说到开源,是的。

有一个名为 Spark 的小型开源项目。哦,那个。它还在吗?它还在那里做任何事情吗?人们试图杀死它。是的。但它还在。是的,顺便说一句,我有一个关于它的有趣故事。关于 Spark?是的。我在 2015 年的 Spark 峰会上……

我的 Alteryx 团队,包括我自己,致力于交付 Spark R,以及我们共同开发它的开发者

是 Databricks 一位非常聪明的工程副总裁 Ali Ghatzi 和他的团队。不可能。是的,这就是我们如何将 SparkR 推向市场的方式。不可能。是的。所以你当时和他一起工作,现在你又和他一起工作了,因为我最近看到你发布了你参与了他们的

大型 J 轮融资,我认为。J 轮融资,是的。没有人会想到当时的 Databricks 会达到其 J 轮融资,但十年后我们在这里。是的。它怎么可能存在 J 轮融资?这是一件事。然后为什么现在?是什么让你和你有

显然在 Databricks/Spark 生态系统中工作了十多年。是的,是的。

为什么突然想成为股东?是的。有时迟到派对是可以的,对吧?是的。在这种情况下,它比仅仅迟到派对更有条理。大约两轮之前,我们以更小的仓位进行了投资。我们一直对从 Spark 到 Databricks 的发展以及真正……

Databricks 今天作为统一的数据管理平台所代表的意义感到兴奋,它使用湖仓作为所有预处理、所有 PB 级数据准备的结构,然后是这个

他们引入的名为 Databricks 内置数据仓库的功能,现在这个数据仓库产品对 Databricks 来说是一项 6 亿美元的业务,这太不可思议了,对吧?你想想。当你总结所有这些事情时,Mosaic 的收购,内部构建的

围绕数据仓库的功能,Unity Catalog 本身以及它如何成为企业的统一层。Tabular 的收购,以及现在拥有 Iceberg 格式。这就像产品策略一样。我们甚至没有谈论其早期开始以来,市场营销和行业策略的演变程度。

感觉这是一家具有时代意义的公司。我认为如果大声说出来,我并没有说错什么。而且确实感觉还有很长的路要走。所以这就是我们的想法。机会出现了

成为 100 亿美元 J 轮融资的一部分,我认为这是有史以来最大的风险投资交易。我们 Thrive 和 Josh Kirshner 的朋友领导了它。我们以相当可观的支票共同领导了它,这确实帮助了

Databricks 继续它的旅程。对他们来说,这只是确保为所有在这个旅程中度过了很长时间的人提供大量的流动性,以便在他们继续发展和扩展公司到下一个增长水平和阶段时考虑他们的需求。是的,我们再兴奋不过了。这当然对 Insight 来说是一笔很大的投资。对所有参与者来说,这是一轮

非常大的融资。而且看起来 Databricks 在市场上还有很长的路要走。我们很高兴能成为这一旅程的一部分。我想有人会说,加入这样一家公司并帮助他们完成旅程永远不会太晚。是的。你说像具有时代意义的,它确实感觉像那样。我立刻想到,

当你环顾数据人工智能领域时,你是否觉得在这个领域还有其他具有时代意义的公司?因为对我来说,Databricks 现在表现非常出色。但我不知道。也许你正在关注其他公司,并认为,是的,它们也是具有时代意义的公司。或者也许如果有些事情进展顺利,

还会有另一个这样的公司。是的。看,根据定义,应该会出现下一代公司。所以它们正在到来。我只想明确这一点。但确实感觉现在有一些特别的东西。当然,对于 Databricks 来说,我们不应该不提及 Snowflake 作为一家公司在同一群体和时期所取得的成就。

如果你看看 Palantir 作为另一个很好的例子,它以一种非常不同的方式构建了一些具有时代意义的东西。是的。这,看到那些 10 年、15 年前开始创业的人,建立的公司现在是某种意义上的,至少是数据 IML 领域继续进步的基础,这令人兴奋。是的。

我认为有一个清晰的未来展望,对吧?无需过度延伸,你当然可以说,基础模型构建者及其各自的增长和规模都相当令人印象深刻。这种增长和规模的推动者,例如 Scale.ai 公司,也相当令人印象深刻。并且能够最初提供许多必要的资源

努力丰富构建模型所需的数据,现在为模型提供商本身提供 RLHF,因为它们正在进入市场。所以确实感觉围绕这些当前的模型构建者以及支持模型构建者的功能已经变得相当庞大。

这有点棘手,对吧?因为当你看到像 Databricks 这样的东西时,它从 DeepSeq 中受益匪浅,对吧?我之所以提到这一点,是因为如果你考虑 DeepSeq 的表现形式是什么,我认为每个人都在过去一周谈论这个,它就像 Jevons 悖论的想法,对吧?随着资源成本下降,

你消耗的资源越多,它就会占用你当时可用的所有容量。我认为对于我们随着时间的推移所谈论的 GPU、计算基础设施相关的所有事情都应该如此。但我们现在有一个时刻,无论发生什么,你只需要高质量的数据才能构建下一代模型,无论它们是超高效模型,

特定领域的模型,你可以从 DeepSeek 及其将在未来几周和几个月内出现的同类产品中看到。

以及世界上一些最大的基础模型。因此,我们对 Databricks 投资感到非常满意。对于基础模型本身来说,感觉这将是一段时间的过山车。而且,下一代公司正在兴起并发展壮大。我提到了 Weights and Biases 的例子,对吧?现在有 90 万机器学习从业人员在 Weights and Biases 上实现了标准化。

像 Weights and Prizies 这样的公司还有很长的路要走。所以我认为它会以波浪的形式出现,对吧?因此,全面扩展和成熟的浪潮已经出现,我们现在将其视为上市公司和私营公司。特别是围绕基础模型及其周围支持基础设施的下一波浪潮已经实现。然后你开始看到这个下一个,你知道,规模较小的公司

令人难以置信的创始人开始构建,将在未来 5 到 10 年内达到下一个规模水平。是的。这是一件你拥有良好地位的事情,即

几乎像轮次无关的能力,我知道你不会做超级早期的种子轮,但你仍然会看到非常早期的公司,并且你可以看到并参与后期的公司。我们在 Insight 对此非常具体。所以我们甚至大声说出了这一点。我们不认为阶段是一种策略,对吧?我们不相信这种想法作为投资者阶段是一种策略。我们应该能够找到

无论它们可能存在于哪个阶段,具有时代意义的增长机会。我们倾向于更关注中间阶段

增长阶段,并且确实做了相当多的工作,尤其是在我们的团队中,他们在收购和我们开出的某些更大支票方面做了很多规模化工作。但这并不是一种策略。我们在任何地方寻找增长。在过去四年里,我有机会与我的合作伙伴一起完成的一件很棒的事情是真正建立我们的早期阶段,对吧?我们现在非常……

能够不仅进行 H 轮融资,而且偶尔甚至进行 C 轮融资,对吧?因为我们看到了这些机会,并且我们看到了创始人对他们想要交付和构建的未来以及主题上想要参与这些对话的狂热看法所带来的巨大增长。这当然是我们战略的一部分。因此,无论何时何地存在增长,都与创始人合作,而与阶段无关。如何

你认为我们现在与计算机交互的方式,我们有非常独立的应用程序,但这几乎感觉像你暗示的一些东西,最好只有一个 AI 应用程序可以了解并与我们在一起,对吧?你提到了关于科幻系列的内容,如何……

它被称为文化。是的,文化层,是的。为了实现这样的目标,我们需要……我认为微软现在正在尝试使用 Recall 来做到这一点,它就像一个始终在线的 AI,它可以随时出现,并在你需要的时候帮助你,然后在你不需要的时候就在后台。对我来说,我试图理解它的方式是,是的……

如果你有所有上下文提供给语言模型,那就好多了,然后它可以对此进行推理,并且可以理解。当我们回到 Jira 的例子时,如果它没有上下文,它就会迷失方向。因此,为了达到你想要达到的目标,

要提供所有上下文,我认为你最终会说,带我到处走走,像我的影子一样与我同在。所以你考虑过这个问题以及它在未来可能如何发挥作用吗?我考虑过一点。是的,我考虑过。顺便说一句,有趣的是,对几乎总是存在的描述,怎么说呢,就像完全在当下一样。

可用的 AI 系统正在做它需要你做的事情,它不需要是单一的和整体的,当你考虑它的时候,对吧?可能有一种观点认为它就像,

数百个代理正在继续调度去做很多事情,然后融合到你的需求中。所以我不知道我是否一定认为这是一件单一的事情,它总是不断地按照你想要它或其他人想要它做的事情去做。实际上,至少在短期内,我看到了更多,这种出现许多

大量的个人企业和几乎混合的代理,它们正在不断地为我们做一些小事、中等大小的事情和大事。在我们谈话的时候,如果有一个代理能够弄清楚如何预订我需要去旅行的行程,那不是很好吗?

预订机票。这就是我们开始使用嵌入到基础模型中的自动化以及正在出现的通用代理系统所看到的那种事情。所以我确实认为,至少在不久的将来,我们将最终进入一个世界,在这个世界中,这些真正善意的代理正在做一些较小的事情,任务是

rote 可重复的任务,不应该由任何其他人代表我们去做。我认为至少在近期内应该是这样。然后我们将看看一个完整的、始终与你同在的系统——它是你存在的一部分——更科幻的未来会是什么样子。它似乎还比较遥远,但肯定是一种在我们完成所有工作后可能出现的可能性。是的。我一直在思考它作为

你刚才谈论的是它将存在于何处,它将存在于网络上,还是你开始看到的更多的是产品创建方式,它直接在 Slack 中,例如 Devon,是的,然后你只需处理 Slack 中的这些代理,我认为这将是,是的

如果 Slack 突然成为你的控制中心,你只需从 Slack 发送代理去执行你需要做的不同事情,这很有趣,是的,实际上,我一直在搜索这个词,因为它让我难以捉摸,但这正是 AI 系统将是环境的还是非环境的本质。

我经常思考这个问题,我们现在和未来 AI 系统的环境性,以及它们如何能够如此嵌入、如此环境化,如此仅仅是我们思维方式的延伸,我们思考它,事情就完成了。这确实感觉像……

不是一个科幻的未来。我认为实际上我们离获得更多这种环境 AI 系统并不遥远,这些系统在家中、企业中以及介于两者之间的任何地方都在做着重要的工作。是的,因为多少次,我不知道你是否遇到过这种情况,你可能比我更有毅力和专注力,但是

我的脑海里有一些事情需要完成。然后我拿起手机,打算立即做那件事。然后某种通知分散了我的注意力。当然。然后 30 分钟后,我想,哦,我怎么了?我拿起手机是为了什么?我甚至都不记得了。而我想做的任务就在虚空中。也许它会回到我身边。也许不会。

但是,如果你有一个环境代理,在任务出现的那一刻,它就会启动并以高度推理的、长篇的方式完成该任务,20、30 分钟后,甚至更长时间,如果需要的话?是的,我只是对一个真正有效的 Siri 感到兴奋。然后我可以分配任务,因为我现在使用的 Siri,它非常不稳定。所以你会看到

在哪里,是的,在 Slack 聊天中输入很棒,但我也有数百万个 Slack 通知,所以如果我能直接与手机或电脑对话就好了。这似乎是 Apple 智能的一个更明显的机遇,对吧?只是成为那个对话层,但它似乎不是一个研讨会。我们将拭目以待。那里发生了一些事情。我不知道是什么,但有些事情,是的。

♪ 我真是个贱人,怪物 ♪