Chetan Puttagunta and Modest Proposal - Capital, Compute & AI Scaling - [Invest Like the Best, EP.400]
01:35:07 Share

关于我们最新的赞助合作伙伴 Ramp 的两个有趣的事实。首先，它们是有史以来增长最快的金融科技公司，五年内达到的收入水平我无法准确引用，但这令人瞠目结舌。其次，他们得到了我更多最喜欢的过去嘉宾的支持，至少有 16 位（当我数的时候），可能比我所知道的任何其他公司都多。名单包括红杉资本的 Ravi Gupta、Thrive 的 Josh Kushner、Founders Fund 和 Coastal Ventures 的 Keith Raboy、Patrick 和 John Collison、Michael Ovitz、Brad Gerstner，名单还在继续。

这些事实引出了一个问题，为什么？由于我个人一直沉迷于历史上伟大的企业，一个明确的教训是，他们中最好的一些企业是由纪律严明的运营商经营的。这些运营商以令人难以置信的细节管理成本，并且他们不断思考如何将每一美元和每一小时都重新投资到他们的业务中。这就是 Ramp 的使命，帮助公司以降低成本并为团队腾出时间来处理更有价值的项目的方式来管理他们的支出。

首先，关于支出，美国企业的平均利润率为 7.7%。这意味着节省 1% 的成本相当于增加 13% 的收入。平均 Ramp 客户每年能够节省 5% 的支出。当然，每个企业家都在寻找将收入增长 50% 的方法。他们也应该同样认真地寻求节省 5% 的支出。

其次，关于时间。不必要的复杂性是大多数财务团队花费 80% 的时间进行运营工作，而只有大约 20% 的时间用于战略工作的原因。Ramp 通过处理贵公司的费用、差旅、账单支付、供应商关系甚至会计来简化支出管理。

值得注意的是，如今一些一流的企业，例如 Airbnb、Anduril 和 Shopify，以及红杉资本和 Vista Equity 等投资者都在使用 RAMP 来管理他们的支出。他们用它来减少支出，自动化繁琐的财务流程，并将节省的资金和时间重新投资于增长。在我的企业 Colossus 和 Positive Sum，我们多年来一直出于这些确切的原因使用 RAMP。

访问 ramp.com/invest 免费注册并获得 250 美元的欢迎奖金。网址是 ramp.com/invest。作为投资者，我一直在寻找能够真正改变我们作为企业工作方式的工具。AlphaSense 通过尖端的 AI 技术和大量顶级可靠的商业内容彻底改变了研究过程。自从我开始使用它以来，它彻底改变了我的市场研究。我现在每天都依赖 AlphaSense 来发现见解并做出更明智的决策。

随着最近收购 Tegas，AlphaSense 继续成为一流的研究平台，提供更强大的工具来帮助用户更快地做出明智的决策。真正让 AlphaSense 脱颖而出的是其尖端的 AI。想象一下，搜索速度提高五到十倍，提供最相关的结果，帮助您充满信心地做出高确定性的决策。

AlphaSense 提供超过 3 亿份高级文档，包括来自上市公司和非上市公司的公司文件、收益报告、新闻稿等等。您甚至可以上传和管理您自己的专有文档，以实现无缝集成。凭借超过 10,000 个高级内容来源和来自高盛和摩根士丹利等公司的顶级经纪商研究，AlphaSense 为您提供做出高确定性决策的工具。

最好的部分来了。“像最佳投资者一样投资”的听众现在可以获得免费试用。只需访问 alpha-sense.com/invest，亲身体验 AlphaSense 和 Tegas 如何帮助您更快地做出更明智的决策。相信我，一旦您尝试过，您就会明白为什么它是市场研究的必备工具。

大家好，欢迎大家。我是 Patrick O'Shaughnessy，这是“像最佳投资者一样投资”节目。本节目是对市场、理念、故事和策略的开放式探索，将帮助您更好地投资您的时间和金钱。

“像最佳投资者一样投资”是 Colossus 系列播客的一部分，您可以访问我们所有的播客，包括编辑后的文字记录、节目说明和其他资源，以便在 joincolossus.com 上继续学习。Patrick O'Shaughnessy 是 Positive Sum 的首席执行官。Patrick 和播客嘉宾表达的所有观点仅代表他们自己的观点，并不反映 Positive Sum 的观点。

本播客仅供信息用途，不应作为投资决策的依据。Positive Sum 的客户可能会持有本播客中讨论的证券的头寸。要了解更多信息，请访问 psum.vc。我今天的嘉宾是 Chetan Puttagunta 和 Modest Proposal。如果您像我一样痴迷于人工智能的前沿以及商业和投资的影响，您一定会喜欢这次谈话。

Chetan 是 Benchmark 的普通合伙人和投资者，而 Modest Proposal 是一位管理着大量公共市场资本的匿名投资者。两人都是好朋友，也是节目的常客，但这是他们第一次一起出现。

时机再好不过了。随着领先的实验室达到规模限制并从预训练转向测试时计算，我们可能正在见证人工智能发展的一个关键转变。我们将一起探讨这种变化如何使人工智能开发民主化，同时重塑公共和私人市场的投资格局。请欣赏与我的朋友 Chetan Puttagunta 和 Modest Proposal 的精彩讨论。♪

Chetan，也许你可以从你的角度开始，告诉我们现在在大型语言模型及其扩展的技术故事中最有趣的是什么？是的，我认为我们现在已经到了一个大家都达成共识或普遍知道所有实验室都对过去两年我们如何看待扩展达到了某种平台效应的阶段。而扩展的幂律规定，你在预训练中增加的计算越多，你得到的模型就越好。所有的事情都是按数量级来考虑的。所以投入 10 倍的计算，

到问题中，你就会在模型性能和智能方面获得一个阶跃函数。这当然带来了令人难以置信的突破。我们从所有实验室都看到了，

非常棒的模型。所有这一切的悬而未决之处，即使从 2022 年底开始，也在于我们最终会用完由人类生成的文本数据。我们将很快进入合成数据的世界。世界上所有的知识实际上都被标记化并被这些模型消化了。

当然，还有一些利基数据、私人数据以及所有这些尚未标记化的少量存储库。但就数量级而言，它不会特别显著地增加这些模型可用的数据量。当我们在 2022 年展望未来时，人们看到了一个很大的问题，即合成数据是否能够使这些模型继续扩展？

每个人都认为，正如你所看到的这条线一样，这个问题将在 2024 年真正摆到台前。我们现在就在这里，我们都在尝试使用合成数据来训练大型模型提供商。现在，正如媒体报道的那样，所有这些人工智能实验室的领导者都公开表示，

我们现在因为合成数据而达到了极限。由大型语言模型本身生成的合成数据无法使预训练的扩展继续进行。因此，我们现在正在转向一种名为测试时计算的新范式。测试时计算的基本方法是

你实际上让大型语言模型查看问题，提出一些可能的解决方案，并并行地追求多种解决方案。你创建了一个名为验证器的东西，并反复迭代地传递解决方案。

新的扩展范式，如果你愿意的话，x 轴是以对数刻度衡量的時間，y 轴是智能。这就是我们今天的处境，似乎几乎每个人都正在转向一个世界，在这个世界里，我们正在扩展预训练和训练，以扩展现在被称为推理或推理时间、测试时间的东西，无论你如何称呼它。

截至 2024 年第四季度，这就是我们的现状。关于整体情况，我想再问一个后续问题。暂且不考虑资本支出以及我们稍后将与大型公共科技公司讨论的所有其他内容，根据你目前的了解，

转向测试时间扩展（时间是变量）是否合理？就像谁在乎一样？只要这些东西不断变得越来越强大，难道这不就是最重要的吗？事实上，我们采用了一种与仅仅基于预训练不同的方式来做到这一点，真的有人在乎吗？这重要吗？在测试时间或推理范式中，很快就会出现两件事，那就是

当大型语言模型探索潜在解决方案的空间时，

作为模型开发者或从事模型工作的人，你很快就会意识到，用于测试时计算的算法可能会很快耗尽有用的解决方案搜索空间。这是第一点。第二点，你有一个验证器来查看什么是潜在的好解决方案，什么是潜在的坏解决方案，你应该追求什么？而弄清楚什么是好解决方案，什么是

坏解决方案或什么是最佳路径，什么不是最佳路径的能力。目前尚不清楚这是否与无限计算线性扩展。最后，任务本身

可能是复杂且模棱两可的，那里的限制因素可能与计算有关，也可能无关。因此，将这些问题想象成如果你有无限的计算能力来解决这个问题，你能否更快地解决它，这总是非常有趣的。当然，在推理中会有许多问题，如果你只是扩展计算，你可以更快地解决这些问题。但我们现在开始看到证据表明

它不一定与我们今天拥有的技术线性地随着计算而扩展。现在，我们能解决所有这些问题吗？当然可以。将会有算法改进。将会有数据改进。将会有硬件改进。将会有各种优化改进。我们仍然发现的另一件事是……

你用于推理的基础模型中固有的知识或可用数据

仍然持续受到限制。仅仅因为你在进行测试时间计算，并不意味着你可以通过仅仅在测试时间扩展计算来突破所有以前的数据限制。所以我们并不是在推理上遇到了障碍，也不是在测试时间上遇到了障碍。只是问题集、挑战和计算机科学问题开始演变了。而且

作为一名风险投资家，我非常乐观地认为我们将能够解决所有这些问题，但这些问题需要解决。如果这是研究实验室的观点，Modest，我很想知道你对大型公共科技公司的看法，因为这个故事的很大一部分是支出、资本支出、战略定位、所谓的这些支出的投资回报率以及他们将如何获得这些疯狂的资本支出回报。

你认为 Jathan 刚才所说的所有内容都很好地反映在公共科技公司的立场、定价和估值中吗？我认为你必须从宏观层面开始，然后才能到达微观层面。在宏观层面上，为什么这如此重要，因为每个人都知道 Mag7，它们今天代表了标准普尔 500 指数的更大百分比。

但除此之外，我认为从主题上讲，人工智能已经广泛渗透到工业、公用事业领域，我认为它构成了市场资本的 40% 到 45%，这是一种直接的参与。

如果你甚至抽象到世界其他地区，你开始引入 ASML，引入台积电，引入整个日本芯片行业。因此，如果你看看目前直接参与人工智能的累积市值，它是巨大的。因此，我认为当你观察整个投资环境时，你几乎被迫要对这个问题发表意见，

因为大多数人在某种程度上都是以某种形式与将成为人工智能衍生游戏的指数进行比较的。在微观层面上，我认为这是一个令人着迷的时代，因为所有公共市场投资都是情景分析和概率加权不同的路径。如果你回到大约四个月前我们谈话的时候，我会说结果的分布已经发生了变化。

在那时，预训练和在此轴上的扩展绝对是方法。我们讨论了当时的影响。我们讨论过帕斯卡的赌注。我们讨论过囚徒困境。

在我看来，当出价的成本是 10 亿美元或 50 亿美元时，谈论这一点很容易。但我们正迅速接近出价将达到 200 亿美元或 500 亿美元的时刻。你可以看看这些公司的现金流量表。很难偷偷摸摸地获得 300 亿美元的贸易贷款。

因此，GPT-5 的成功广受好评。让我们将其应用于所有各个实验室。我认为这将成为一个重要的证明点，证明是否投入了足够的资金，因为这些是三到四年的承诺。如果你回到关于星门（OpenAI 和微软正在讨论的假设的 1000 亿美元数据中心）的文章发表的时候，那是 2028 年交付的。

但在未来六到九个月的某个时刻，这是一个成败攸关的时刻。我们已经知道，30 万到 40 万芯片超级集群将在明年年底、2026 年初交付。但为了获得下一轮承诺，我们可能需要看到这个下一个模型的一些成功证据。所以所有这些都是背景。我认为在微观层面上，如果我们从预训练转向推理时间，这是一个非常强大的转变。并且有一些重大的影响。首先，它更好地协调了收入生成和支出。

我认为这对整个行业来说是一个非常非常有益的结果，在预训练世界中，你将花费 200 亿美元、300 亿美元、400 亿美元用于资本支出，在 9 到 12 个月内训练模型，进行后训练，然后推出，然后希望通过推理从中产生收入。在测试时计算扩展世界中，你现在将你的支出与模型的基础使用情况相协调。

因此，仅仅从纯粹的效率和财务方面的可扩展性来看，这对超级计算中心来说要好得多。我认为第二个重要的影响是，我们必须再次声明，我们不知道预训练扩展是否会停止。但是，如果你确实看到了向推理时间的转变，我认为你需要开始考虑如何重新构建网络设计？

你需要在能源低成本地区拥有数百万芯片的超级集群吗？或者你需要在全国各地散布更小、更低延迟、更高效的推理时间数据中心？当你重新构建网络时，对电力利用率、电网设计的影响，许多我认为构成

投资世界的巨大一部分的叙事，我认为必须重新思考。我会说今天，因为这是一个相对较新的现象，我不相信公共市场已经开始应对这种潜在的新架构是什么样子，以及这可能如何影响一些潜在的范围。

Chetan，我很想知道你是否可以讲述 DeepSeek 及其他类似事物的故事，你可以在其中看到小型团队以相对较低的成本构建的新模型在性能上与一些领先的模型竞争。你能谈谈这种现象以及它让你想到什么或对格局的影响吗？是的。

在过去的，可以说是六周时间里，我们在 Benchmark 遇到的小组数量令人惊叹，他们只有两到五个人。Modest 之前在你的播客中谈到过这一点，那就是技术创新的故事一直是，总是有两到三个人在帕洛阿尔托某个车库里做一些事情来很快赶上老牌企业。我认为我们现在看到了。

现在在模型层面上，坦率地说，我们已经两年没有看到这种情况了。具体来说，我认为我们仍然不确定 100% 预训练和训练扩展是否会卷土重来。我们还不知道。但目前，在这个平台期，我们开始看到这些小型团队赶上了前沿。我的意思是前沿，特别是围绕文本，最先进的模型在哪里执行？

我们看到这些只有两到五人的小型团队以比这些大型实验室达到这一目标所花费的资金少一个数量级，甚至多个数量级的支出赶上了前沿。我认为部分原因是

开源模型的惊人激增。具体来说，Meta 对 Llama 的工作一直是一股非凡的力量。Llama 3.1 有三种版本，4050 亿、700 亿、80 亿。然后 Llama 3.2 有 10 亿、30 亿、110 亿和 900 亿。你可以下载这些模型，

将它们放在本地机器上，你可以将它们放在云端，你可以将它们放在服务器上，你可以使用这些模型来蒸馏、微调、在其之上进行训练、修改等等，并使用相当有趣的方法赶上前沿算法技术

因为你不需要大量的计算或不需要大量的数据，你可以对特定的垂直领域、特定的技术或特定的用例特别聪明和创新，从而非常迅速地赶上前沿。我认为这

很大程度上改变了我个人对模型层和模型层潜在早期投资的看法。这里有很多假设和很多因变量。实际上，在六周内，所有这些都可能不再成立。但如果这种情况持续下去，即由于合成数据，预训练没有扩展，这仅仅意味着你现在可以

做更多的事情，以最少的资金迅速赶上前沿，找到你的用例，找到你最强大的地方。从那时起，坦率地说，超级计算中心就成了最好的朋友。因为今天，如果你处于前沿，你正在为你的用例提供动力，

你不再特别受 GPU 的限制了，特别是如果你要追求测试时间推理或测试时间计算之类的。你正在服务，比如说，10 个企业客户，或者它是一个针对特定用例优化的消费者解决方案。

计算方面的问题不再像 2022 年那样具有挑战性了。在 2022 年，你会与这些开发人员交谈，这只会变成一个问题，好吧，你能将 10 万个集群在一起吗？因为我们需要进行训练，然后我们必须购买所有这些数据，然后……

即使你了解所有技术，你也会突然计算出来，说：“我需要 10 亿美元才能进行第一次训练运行。”这在历史上绝对不是风险投资模式。风险投资模式一直是，你能否召集一支非凡的人才团队，取得技术突破，资金轻盈，迅速领先于老牌企业，然后以某种方式获得分销立足点并继续前进。

在过去两年的模型层面上，这当然似乎是不可能的。实际上，在过去的六到八周里，这种情况已经发生了变化。

我认为，关于 Meta、开源和超级计算中心这一点很重要。开源推动前沿，较小的模型能够扩展到非常成功的点，这非常有益，特别是对于没有原生大型语言模型的 AWS 来说。

但是，如果你退一步想想云计算的历史是什么，它就是为开发人员和构建者提供一套工具。AWS 最初阐述了这一愿景，我在 9 月份马特·加曼参加高盛会议时公开听到了这一点。但他们的观点显然是

大型语言模型只是另一种工具。生成式人工智能是他们可以为其企业客户和开发人员客户提供的另一种工具，用于构建下一代产品。对这一愿景的风险是一个功能强大、通用的模型。

因此，再次，这就是你必须重新思考的地方，如果我们不打算构建这些庞大的预训练实体，你将训练损失降低到接近于零，并且以某种形式构建隐喻中的上帝。如果相反，该行业的重点是在测试时间、推理时间以及尝试解决实际问题，

在客户需要的时刻，我认为这再次重新设计和重新构建了这项技术推出的整个愿景。我认为我们需要保持谦逊，因为我们不知道 Llama 4 将会推出什么。我们不知道 Rock 3 将会推出什么。这些是目前在有史以来最大的集群上进行训练的两个模型。因此，我们现在所说的所有内容在三个月内都可能是错误的。

但我认为现在的工作是吸收所有可用信息并重新绘制各种情景路径。根据我们今天的了解，我不认为人们已经更新了他们关于这些路径如果这是正确的将如何前进的先验概率。

Jathan，我很想知道，也许你会因为这种变化而投资一家模型公司。我记得两年前在晚餐时你告诉我，作为一家公司，我们只是决定不投资这些公司。就像你说的那样，这根本不是我们的模式。我们不会为第一次训练运行开出 10 亿美元的支票。因此，我们不投资该堆栈的这一部分。我们更多地投资于应用程序层，我们将在本次讨论中稍后回到这一点。但也许可以更多地谈谈这种更新后的观点如何发挥作用。

一个样本投资可能是什么样子。以及即使 Llama 4 是预训练扩展损失保持不变，这是否会改变这一点，因为它似乎像 DeepSeek 这样的东西只会从中受益，好吧，现在不是 3.2，而是 4，我们仍然在做我们的事情，它仍然更好、更便宜、更快等等。所以，你对这种你可能投资模型公司而不是仅仅投资应用公司的新的观点怎么看？在 Meta 上次的财报电话会议上，

马克·扎克伯格谈到了他们开始 Llama 4 的开发。他说 Llama 4 正在比他见过的任何东西更大的集群上进行训练。引用的数字是它大于 10 万个 H100，或者大于我见过的任何其他人正在做的报告。

他还说，你知道，较小的 Llama 4 模型应该在 2025 年初准备好。真正有趣的是，无论 Llama 4 是否是 Llama 3 的一个阶跃函数，这都无关紧要。如果他们突破了效率的界限，并达到了一个点，即使它只是略微好一点，它对开发者环境的影响也是非常深刻的，因为它是

Llama 今天的推动力有两点，我认为这对 Meta 非常有益，一点是 Llama 使用的 Transformer 架构是一种标准架构，但它也有其自身的细微之处。如果在 Llama 之上构建的整个开发者生态系统开始只是

假设该 Llama 3 Transformer 架构是基础的和某种标准的方式，它正在将整个堆栈标准化到这种 Llama 的思维方式。从硬件供应商将如何支持你的训练运行到超级计算中心等等。因此，在 Llama 本身上进行标准化

正变得越来越普遍。因此，如果你要开始一家新的模型公司，最终会发生的事情是，从今天的 Llama 开始不仅很棒，因为 Llama 是开源的，而且效率也极高，因为整个生态系统都在该架构上进行标准化。所以你是对的，作为一家拥有 5 亿美元资本的早期基金，我们试图在每个基金周期进行 30 项投资，

10 亿美元的训练运行基本上是你承诺使用两个基金来进行一次可能成功也可能失败的训练运行。

因此，这是一个极其资本密集型的业务。顺便说一句，这些模型的折旧时间表令人恐惧。作为一种技术的蒸馏使得这些模型和这些模型模式的防御能力极具挑战性。它真正归结为你在它之上有什么应用程序？你的网络效应是什么？你如何在那里捕捉经济学等等？

我认为今天的情况是，如果你是两到五人的团队，你可以以编码为例。你可以通过微调和在 Llama 之上进行训练来进入一个生成更好编码答案速度更快的模型，然后使用你自己的自定义模型提供一个应用程序，该应用程序

为你的客户（无论是开发人员还是其他什么人）产生非凡的结果。因此，我们在这里的特定方法和策略一直是大量投资于应用程序。当我们看到 OpenAI API 开始流行时，我们开始看到开发人员在 2022 年夏天谈论这些 OpenAI API。从那时起，我们的很多努力都是为了找到那些正在考虑利用这些 API 来追求应用程序层并真正开始思考在当前这波人工智能之前根本不可能存在的应用程序的企业家。

显然，我们已经看到一些非常令人难以置信的成功公司从中脱颖而出。它们仍然处于早期阶段，但它们所看到的牵引力、它们提供的客户体验、各种指标等等都非常出色。几周前，你邀请了 Brett Taylor 来你的播客。因此，Sierra 就是一个例子。在采购方面，我们有一个名为 Level Path 的东西。投资组合中还有许多其他应用程序层的例子，你可以遍历这些东西

每个大型 SaaS 市场，并使用应用程序层投资来追求它，并开始真正考虑现在可能而两三年前不可能的事情。

我很想知道关于我们讨论过的那些大型基础模型参与者的一些情况，比如Llama，但更少关注XAI、Anthropic和OpenAI。也许Mada，从你开始，我想听听你对他们战略定位以及对每个人来说重要的事情的看法。也许

也许OpenAI就是一个例子。也许这里的故事只是他们建立了一个多么伟大的品牌，他们拥有如此广泛的分销渠道，他们拥有所有这些伟大的合作伙伴，人们认识它并使用它，并且他们有很多人向他们支付20美元或其他费用。也许分销比产品和模型更重要。我很想知道你对这三家迄今为止占据主导地位的参与者的看法，但通过迄今为止的分析来看，似乎他们需要不断创新这一点很重要。

我认为OpenAI有趣的部分在于，他们刚刚完成了最近一轮融资，并且围绕投资案例有一些相当公开的评论。你是对的。很多都围绕着这样一个想法：他们在消费者方面获得了逃逸速度，而ChatGPT现在是认知参照物。

并且随着时间的推移，他们将能够聚集巨大的消费者需求，并为此收取适当的费用。这与其说是针对企业API和应用程序构建的策略，不如说是另一种策略。

这非常有趣。如果你真的按照我们讨论的内容来做，当你查看他们的财务状况时，如果你剔除训练运行，如果你剔除对这种巨大的前期支出的需求，那么他们的业务实际上会很快成为一家非常有利可图的公司。

预测。所以在某种意义上，它可能会更好。现在，问题就变成了，一家不再在最前沿逐步前进的公司，它的防御能力是什么？

我认为这最终将归结为一点，谷歌也在最前沿推进，他们很可能会免费提供产品。我认为我们可能可以花一整集的时间来讨论Meta以及他们在企业端和消费者端所拥有的嵌入式期权。但让我们坚持消费者方面。这是一家拥有超过30亿消费者接触点的企业。

他们显然正在将Meta AI推出到各个层面。不难看出他们正在构建搜索功能。我开玩笑说他们应该收购Perplexity，但你最近也看到司法部出来说谷歌应该被迫授权他们的搜索索引。我能想到世界上没有比Meta更有资格以边际成本

来接管谷歌的搜索索引的了。但关键是，我认为将会有两家非常大型的互联网公司免费提供看起来基本上像ChatGPT的东西。

因此，这将是一个引人入胜的案例研究，看看这个拥有主导消费者认知度的产品能否超越免费。我的孩子们知道ChatGPT是什么。他们不知道Claude是什么。我的家人知道ChatGPT是什么。他们不知道Grok是什么。所以我认为对于OpenAI来说，问题是，你能超越免费吗？

如果你能做到，并且训练不再是一项开支，那么这家公司将很快成为一家真正盈利的公司。如果你转向Anthropic，我认为他们面临着一个有趣的困境，那就是人们认为Sonnet 3.5可能是现有的最佳模型。

他们拥有令人难以置信的技术人才。他们不断吸收越来越多的OpenAI研究人员，我认为他们将构建出伟大的模型，但他们有点被卡住了。他们没有消费者认知度。在企业方面……

我认为Llama将使最前沿的模型构建者很难在那里获得巨大的价值创造。所以他们被困在中间。优秀的技术人员，伟大的产品，但实际上并不是一个可行的战略。你会看到他们又筹集了40亿美元。

对我来说，这证明免费训练并没有很好地扩展，因为40亿美元远不足以满足他们如果扩展向量是预训练的话的需求。我不太清楚他们的未来战略路径是什么。我认为他们被困在中间。

对于XAI，我将对此表示不知情。他是一位独一无二的人才，他们将拥有一个拥有20万芯片的集群，并且他们拥有一个消费者接触点。他们正在构建一个API。但我认为，如果预训练是扩展向量，那么他们将面临与其他人相同的数学问题，只是可能由于埃隆独特的能力来筹集资金而有所缓解。

但同样，在未来四五年里，数字增长得如此之快，这甚至可能超过他。然后，如果它是测试时间计算、算法改进和推理，那么他们的差异化是什么？当你有那些已经占据消费者市场的人，以及一个在企业方面同样强大的开源实体时，他们的市场策略是什么？

因此，当你观察这三家公司时，我认为最容易看出OpenAI的未来之路是什么。不过，关于OpenAI，我要说的一件事是，诺兰·布朗（Nolan Brown），我认为他是研究领域最有效的沟通者之一，他最近参加了红杉资本的播客，并被问及AGI。他说，看，我认为当我还在OpenAI外面的时候，

我对整个AGI的事情持怀疑态度，认为这实际上对他们很重要。当我进入OpenAI内部时，我很清楚他们对AGI非常认真，那是他们的使命，其他一切都是为了AGI服务的。

我们很容易坐在外面，阐述如果我们负责的话可能会采取的策略。但我认为我们需要意识到，他们今天之所以能够达到今天的成就，部分原因在于他们肩负着使命。他们的使命是开发AGI，我们应该对除了这个之外的任何其他最终目标都非常谦逊。我个人认为AGI即将到来。

多说一些。为什么它还没有出现？这些东西比我打交道的几乎所有人都要聪明。是的，我认为如此。AGI，狭义地定义或广义地定义，取决于你的观点，是一个高度自主的系统，在经济上有价值的工作中超越了人类的表现。

在某些情况下，很容易用这种视角来论证AGI已经存在。我认为很清楚的是，如果你看看OpenAI及其高管最近几周接受采访时发布的声明，举的一个例子是端到端旅行预订，在这个例子中……

这是我们预计在2025年会看到的东西，你可以提示系统为你预订旅行，它就会去做。这是一种新的思维方式，即端到端的任务完成或端到端的工作完成。

这显然涉及推理。这涉及代理工作。这涉及使用计算机，正如Claude已经推出的那样。你将大型语言模型与生态系统本身交互的多种方式结合起来，打包成一个非常好的包，然后能够完成端到端的工作，并完全自动化它，并且做得比人类更好。并且

在我看来，从这个角度来看，我们非常非常接近它。我估计到2025年，我们将非常接近或达到AGI。我不明白，鉴于目前的进展和目前的创新，现在转向测试时间计算和推理，AGI怎么会不在眼前呢？这很有趣，因为我们已经变成了在水中煮沸的青蛙，我们很快就通过了图灵测试。

很容易。然而，没有人再坐在这里谈论，天哪，我们通过了图灵测试。它就这样来了又走了。因此，AGI的这一声明可能也类似，就像，是的，当然模型可以预订端到端的旅行。这实际上并不那么困难。而两年前，如果你说，

嘿，有一个算法，你可以告诉他们你想做什么。它端到端地预订并向你发送收据。你会说，不可能。所以可能有一些这种煮沸的青蛙，突然有一天你醒来，一个实验室说，嘿，我们有了AGI，每个人都像，酷。然而，实验室宣布AGI有一个特别的原因在更广泛的意义上是令人感兴趣的，这显然是与微软的关系。

微软去年夏天首次披露，他们拥有OpenAI的全部知识产权，直到AGI实现。因此，如果OpenAI选择宣布AGI已经实现，我认为他们与微软之间就会出现一个非常有趣的动态，这将加剧他们之间已经存在的非常有趣的动态。

现在正在发挥作用。所以这是明年肯定要关注的事情，当然对于公开市场投资者来说也是如此，也包括对更广泛生态系统的影响。因为我确实认为，如果我们对我们现在正在追求的道路是正确的，那么随着我们的前进，将会有很多关系和业务伙伴关系的重新洗牌。

Chetan，你对Modest对主要参与者的评估还有什么其他看法？既然我们没有特别讨论谷歌，我们很想听听你对谷歌的看法。他说的有什么你不同意或想进一步探讨的吗？不，我认为我们不知道的是，我们不知道所有这些房间里的底层讨论。我们可以推测并理解我们可能会做什么。但是

我认为最终每个互联网业务或技术业务最终都归结为消费者方面的分销，然后与某种网络效应和锁定效应相结合。然后你就能摆脱困境，与其他公司区分开来。然后在企业方面，它主要是一个由技术差异化和有效交付该技术驱动的业务。

具有良好的SLA，良好的服务，以及非常独特的解决方案交付方法。因此，适度评论消费者以及消费者将如何发展，我认为是完全正确的。你有meta谷歌产品

和XAI与消费者接触点。OpenAI今天拥有非凡的品牌ChatGPT，并且已经拥有大量的消费者接触点。在企业方面，挑战在于，迄今为止，这些API在很大程度上并不像开发人员期望的那样可靠。开发人员已经习惯了，因为超大规模公司的出色工作，如果你在那里为产品提供API，

该产品应该无限扩展，全天候可用。API 失败的唯一原因是某个巨大的数据中心断电或其他什么原因。API 失败的原因很少。它已经成为开发人员对企业解决方案的思维方式。在过去的两年里，AI API 的质量是一个巨大的因素。

对应用程序开发人员的挑战。因此，结果是人们找到了解决方法，并通过纯粹的创新解决了所有这些问题。但是，如果预训练和扩展不是这样做的方式，而这一切都是关于测试时间计算，那么在未来，

我们再次回到超大规模公司的传统方式。我认为这就是AWS具有极大优势的原因，因为Azure和谷歌拥有强大的云，但AWS拥有最大的云。它以一种非常非常与众不同的方式构建了弹性。即使在今天，如果你正在运行Llama模型，你希望在

在AWS上运行Llama模型，或者由于某种原因你有一些非常具体的用例，并且你需要支持本地客户，你可以这样做。对于具有复杂监管环境或合规性原因的非常大型的金融机构，你可以选择在本地运行这些模型。AWS甚至已经通过VPC和DevCloud以及所有这些东西做到了这一点。所以

如果我们假设在那里重新训练和扩展已经完成，那么AWS突然变得非常强大，他们在此的策略只是在过去几年里与开发者生态系统中的每个人成为朋友，而不是追求他们自己的LLM工作，好吧，他们正在追求，但不是像其他人那样，最终可能会成为一个

一个非常好的策略，因为你突然拥有了最好的API服务。我认为另一部分是谷歌，我们还没有讨论过，它的云在某些方面非常好。因此，他们拥有企业业务。如果你查看最新的收益，你会发现他们的企业业务实际上已经相当规模化了。显然，他们的消费者业务占据主导地位。并且有一种看法认为

他们今天受到了干扰。我认为这些力量对他们来说具有很大的破坏性，但目前还不清楚破坏是否已经发生。他们在做什么？显然，他们正在尝试，而且很明显他们正在非常努力地尝试。但我认为这是一个值得关注的有趣案例，也是我喜欢关注的一个案例，因为它是一个经典的创新困境，他们显然试图避免作为一家老牌公司被创新淘汰。

他们正在非常努力地尝试。因此，在商业史上，很少有案例表明老牌公司能够阻止创新者的攻击。如果他们能够在这个时代捍卫自己的业务，那将是一项非凡的成就。是的，谷歌非常引人注目，因为……

你有一位才华横溢的卖方分析师卡洛斯·克特纳（Carlos Kertner），他很不幸去世了。但在2015年和2016年，他花了……

很多报告都在撰写关于谷歌在人工智能方面的进展以及他们在DeepMind所做的基础工作。实际上，他非常喜欢它，他最终去谷歌工作了，但首先揭示了他们在神经网络、深度学习方面所做的基础工作。并且

很明显，他们被Transformer的蛮力扩展措手不及，推动这一技术浪潮的是字面意义上向其投入计算能力。但是，如果你阅读任何预示着这个数据墙的人的采访，他们谈到的一件事是，自我博弈可能是克服数据缺乏的一种模式。谁比DeepMind更擅长自我博弈？

如果你看看DeepMind在Transformer之前带来的部分以及他们与Transformer和计算能力扩展一起带来的东西，似乎他们拥有获胜的所有要素。

现在，我一直有的问题不是谷歌能否在人工智能领域获胜？而是胜利，无论那是什么样子，是否可能复制当前模式下胜利的程度？这才是真正的问题。正如Chetan所说，如果他们克服了困境并获胜，那将是令人惊叹的，但我认为他们拥有获胜的要素。真正的问题是，如果他们能够利用他们拥有的资产建立一个业务，

这在任何方面都与我们见过的最好的商业模式一样好，那就是互联网搜索。所以我同样很着迷于关注他们。我认为在企业方面，他们拥有令人难以置信的模型和令人难以置信的资产。

我认为他们有很多信任需要赢得。我认为随着时间的推移，他们在那个世界里来来往往。所以我认为这对他们来说是一个更难的攻击轴。但当然在消费者方面，当然在模型构建方面，他们拥有获胜的所有资产。问题只是，奖品是什么样子？特别是现在，如果看起来可能不会只有一个或两个模型来统治它们。

Chetan，我很好奇，作为一个寻求回报的投资者，你个人希望走哪条路？

我个人希望人工智能能够持续很长时间。作为一名风险投资人，你需要大的颠覆来解锁分销。如果你只看看互联网或移动领域发生了什么，以及价值是如何积累的，价值主要是在这两个浪潮中的应用层积累的。现在，我不会深入探讨这一点。

显然，我们的假设和我的假设是，这一层再次将非常容易接受分销解锁，因为人工智能应用层的创新。我认为这在很大程度上已经实现了。现在还为时尚早，但已经推出面向消费者和企业的生产型人工智能应用程序的应用程序供应商，

已经发现，这些现在只有因为人工智能而存在的解决方案正在以过去在SaaS或专业级SaaS或其他领域不可能的方式解锁分销。我将给你一个非常具体的例子。使用人工智能驱动的应用程序，我们现在正在向财富500强公司的首席信息官展示这些演示，并且

两年前，这些演示非常好。今天，这是一个非常好的演示，结合了五个客户的参考，他们正在生产中使用它并取得了巨大的成功。在这个对话中变得非常清楚的是，我们所呈现的并不是对现有SaaS解决方案的5%改进。而是我们可以消除大量的软件支出和人力资本支出

并将此转移到这个AI解决方案，并且你的10倍传统软件投资回报率定义很容易证明，人们在30分钟内就能理解。因此，你开始看到这些曾经是SaaS在人工智能应用程序中非常漫长的销售周期的东西，它变成了15分钟就能得到肯定，30分钟就能得到肯定。然后

企业的采购流程完全改变了。现在首席信息官会说类似的话，让我们尽快投入使用。我们将进行为期30天的试点。一旦成功，我们将立即签署合同并部署。这些事情就像三、四年前在SaaS中完全不可能实现的事情，因为你正在与老牌公司竞争，你正在与他们的分销优势、服务优势以及所有这些东西竞争。并且很难证明

为什么你的特定产品是独一无二的。因此，自2022年以来，我称之为自2022年11月的ChatGPT以来，这似乎是这个世界上前后之间的一个很好的界限。我们在人工智能公司进行了25项投资。对于一个拥有五位合伙人的5亿美元基金来说，这是一个非同寻常的速度。我们上次达到这种速度是……

当App Store在2009年推出时。然后我们达到的速度，那种速度再次出现在95年、96年，当时是互联网时代。在这两者之间，你会看到我们和我们的速度相当缓慢。在非颠覆性时期，我们平均每年大约进行5到7项投资。而现在我们的速度显然大大加快了。

如果你只看看这25家公司，其中4家是基础设施公司，其余的是应用公司。我们刚刚投资了我们的第一家模型公司，该公司尚未公布，但它只有两个人，两个非凡的、才华横溢的人，他们正在以很少的资金进入前沿。所以……

我们显然已经押注并预期在应用层会发生巨大的创新和分销解锁。我们已经看到了这种情况的发生。这些产品对于软件投资者来说绝对是惊人的。它们需要从第一性原理对这些东西是如何架构的进行彻底的重新思考。你需要统一的数据层，你需要新的基础设施，你需要新的UI等等。很明显，初创公司……

比老牌软件供应商具有显著优势。这并不是说老牌软件供应商停滞不前。只是企业软件中的创新者困境今天在我们眼前比在消费者领域更加积极地发挥作用。我认为在消费者领域，消费者参与者意识到了这一点，并且正在采取行动，并且正在为此做一些事情。

而我认为在企业领域，即使你意识到了这一点，即使你有这样做的愿望，解决方案的构建方式也不足以响应巨大的重新架构。现在，我们能看到这种情况发生吗？一家大型SaaS公司能否暂停销售两年，并完全重新架构其应用程序堆栈？当然可以，但我就是看不到这种情况发生。所以……

如果你只看看对人工智能软件支出正在发生的事情的任何分析，例如，在2023年和2024年之间，仅仅是纯支出就增长了8倍。它从几亿美元增长到一年多就超过了10亿美元。你可以看到这种拉力。如果你在任何一家这些人工智能应用公司中，你都能感受到这种拉力。就像

更多这样的公司是供应受限而不是需求受限。我们与这些应用公司的首席执行官进行了交谈，他们只是说类似的话，好吧，我看到需求远到我能看到的地方。我只是没有能力去服务所有对我说“是”的人。所以我将对其进行细分，并前往他们所在的地方进行销售。

我作为一名投资者的希望是，这种情况会继续这样发展，并且我们能够稳定地追求这些角度。坦率地说，模型层的稳定化对应用层来说是一个巨大的福音。主要是因为作为一名应用程序开发人员，你坐在那里看着模型层每年都在发生阶跃式飞跃。你有点不知道该构建什么，以及你应该等待构建什么。因为显然你希望与模型层完全一致。

因为模型层现在正在转向推理，这对应用程序开发人员来说是一个好地方。作为应用程序开发人员，你所知道的一件事是人类没有耐心。因此，你总是需要构建能够优化性能和质量的解决方案。你不能作为应用程序开发人员去见用户，然后说，比如，我将提供高质量的响应。这只是需要更长的时间。在30分钟内。

这不是一个有说服力的论点。现在，对于某些用例来说，这是可能的？你能让它在后台运行24小时吗？绝对可以。但是这些用例并不广泛和普遍。人们也不会愿意购买这种东西。所以……

如果，作为一名应用程序开发人员，我过去几周的所有董事会会议都是这些公司说的，在这个新的推理范式中，我们真的相信我们可以投资于我们在过去一年半里一直犹豫不决的这四件事。但现在我们将全力以赴地进行这些押注，你将从我们的系统中看到的性能提升将是巨大的。

对不起，为什么会出现这种情况？为什么推理会让他们的信心增强？把它详细说明一下。好吧，如果你是一名应用程序开发人员，并且你正在查看今天的模型，并且你正在说，我可以为我的用例看到清晰的效率，但我必须投资于这五项基础设施层的东西和这些UI的东西。但是如果六个月后出现一个新的模型，并且仅仅因为模型本身可以做到这一点而让所有这些投资都付诸东流，

那么我为什么要投资这些东西呢？我只需要等待模型做到这一点，然后押注它。但是在这个推理范式中，如果所有实验室都追求推理，并且推理是Y轴上的智能，X轴上的时间，那就是我们要去的地方，那么我可以在我自己的工具中进行的任何改进，以使推理时间因为我以算法方式提供推理的方式而被大幅压缩，并且我能够获取数据并对其进行操作以及所有这些东西，

如果推理现在是新的范式，那么我现在就应该投资它。并且在这些推理模型上应用层的最后一英里交付意味着我正在构建模型公司极不可能构建的技术和工具。随着这些推理系统不断改进，我的最后一英里和最后一英里交付系统仍然具有优势和可防御性。

除了编码和客户服务之外，你们两位是否有其他喜欢的例子，这两个似乎是两个主要的、令人兴奋和酷炫的用例，有很多公司都在追逐它的版本？你是否有其他喜欢的例子，这些例子适合财富多少多少公司的首席信息官说，我们公司现在需要这个？Jathan爱他的所有孩子，所以他将无法给你具体的例子。我可以给你20个。是的。

也许我的问题是按类别划分的。有编码，有支持。从上到下，看看企业软件最大的支出，你可以用人工智能驱动的AI优先解决方案来解决这个问题。所以——

我们有一家很棒的公司叫Alavanex，它正在追逐销售自动化。我们有一家很棒的公司叫Leia，律师们正在使用它来大幅提高工作效率。我认为法律一直是一个非常有趣的问题，因为人们认为律师的工作是按小时收费的。如果你正在自动化按小时收费，那么他们的经济状况不会改变吗？好吧，现在两年后的证据是，律师实际上通过使用人工智能变得更有利可图。原因是，很多工作

那是重复的、困难的，并且由律师事务所内部的初级人员完成的，

律师事务所无论如何都无法为此类工作收费。因此，如果你可以将文档分析的时间从三到四天缩短到24小时，那么你突然解放了所有律师去做他们可以收费的战略工作以及对客户极其有价值的工作。我们有一家公司正在自动化会计，例如财务建模。我们有一家公司正在

改变游戏开发的工作方式。我们有人正在追逐电路板设计，这曾经是一件非常手动和人力密集的事情，而计算机系统尤其擅长。我们最近投资了一家正在追逐广告网络的公司。现在这已经很久没有被初创公司触及了，但事实证明，在人工智能世界中，将拥有库存的人与想要做广告的人匹配效率更高。因此，我们投资了一家拥有新文档处理模型的公司，他们正在追逐OpenText。

上一次初创公司考虑OpenTex是什么时候？已经很久没有初创公司认为这些庞大的老牌SaaS市场是开放的了。因此，你必须追求更利基、更垂直的市场。我经常开玩笑，因为就像我看到的那样，它是支付

在东欧工作的现场工人的工资单是一家你必须在2019年认真考虑的SaaS公司。现在我们又回到了大型水平支出，说，嘿，这里有一家老牌公司价值超过100亿美元。这里的市场是每年100亿美元的支出。人工智能使这里的一个产品比

好10倍。

更快，以及用户在看到它时想要的所有功能。你需要一个新的平台才能获得这种优势。这就是它的作用。

帕特里克，你一开始就问到了关于投资回报率、资本支出等等的大讨论。当你倾听奇普和其他应用层投资者，当你倾听超大规模企业时，过去三个月最大的收获是用例正在出现。是的，每个人都知道编码。每个人都知道客户支持。但这确实开始渗透到每个人身上。

并进入更广泛的生态系统，收入正在变得真实。关于投资回报率问题的挑战一直是，好的，你把资金投入到这里，然后在推理期间摊销它。但与此同时，你又为下一个模型堆积了下一个数量级的资金。

因此，每个人都可以进行这些推断，并说，哦，我的上帝，这不仅仅是微软将在2025年花费850亿美元现金资本支出，包括租赁在内。这意味着26、27、28年会怎样？因为预训练模型变得如此庞大。

如果，再说一次，这是一个假设，我们正在趋于平稳，我们正在减少在预训练上的支出，并将这些资金转移到推理上，我们知道支出即将到来。我们知道客户的收入正在到来。因此，说这笔支出是合理的变得容易得多。

我认为重要的是，人们要记住这些公司的底层云，即普通的存储和计算，仍在以高两位数到低两位数的速度增长。因此，当你是年收入1000亿美元、增长18%的企业时，需要分配一些资金用于此。你是年收入600亿美元、增长25%的企业。这是增量资本，六九个月前每个人都非常担心。

我从第三季度得出的个人结论是，好的，我看到了。这里有用例。推理正在发生。技术正在发挥其应有的作用。推理成本正在暴跌。利用率正在飙升。你把这些放在一起，你会得到一个不错的不断增长的收入来源，一切都会好起来的。萨蒂亚·纳德拉谈到了这一点。挑战在于你为模型花钱，你把它用于推理，但随后我们又为下一个模型花钱。

如果我们可以开始说，嘿，也许我们不会再在模型上花费500亿美元，那么投资回报率计算看起来好得多。你问了一个问题，查森，为什么模型层的稳定性很重要？我认为萨姆·奥特曼对此给出了正确的答案，六个月前，他在一个播客上说，

如果你害怕我们的下一个模型发布，我们将碾压你。如果你期待我们的下一个模型发布，那么你处于有利地位。那么，如果实际情况是下一个模型将在推理时而不是预训练时出现，你可能就不那么担心他们会碾压你了。

所以我认为我们在这个路径中谈论的一切都非常有利于整个生态系统的有利经济现实，即所有注意力资本都投入到婴儿期。真正的担忧是，我们需要花费1500亿美元、2000亿美元来构建这些越来越精确的预训练模型吗？价格最能反映通货膨胀的是什么？

极度乐观或炒作。我当然见过我公平份额的私营市场公司，比如说A轮类型的公司，其价格估值极高。他们通常是令人难以置信的团队，非常令人兴奋，但他们也在这样的领域中运作：如果某些事情奏效，你可以想象许多其他非常聪明的投资者会为一些竞争对手提供资金。因此，你会看到这样的情况：伟大的团队，高价，高潜在竞争，非常令人兴奋。一切都在快速发展。

我很想知道你们现在从估值或倍数中读到的信号是什么。

在私营市场，正在发生的事情之一是计算价格的急剧下降，无论是推理、训练还是其他什么，因为它变得更容易获得。如果你今天作为一名应用程序开发人员，与两年前相比，这些模型的推理成本下降了100倍、200倍。这是……

坦率地说，令人难以置信。你从未见过如此陡峭、如此快速的成本曲线。这是基于15年的云成本曲线，而这些曲线本身就令人惊叹和难以置信。人工智能的成本曲线完全处于不同的水平。我们在2022年资助的第一波应用公司中观察成本曲线。你看看推理成本，它将是每百万个令牌15美元到20美元。而且

在最新的前沿模型上。而今天，大多数公司甚至都没有考虑

推理成本，因为这就像，好吧，我们已经分解了这项任务，然后我们正在使用这些小型模型来完成这些非常基本的任务。然后我们就像我们用最前沿的模型处理的东西一样，这些只是很少的提示，而其余的东西我们只是创建了这个智能路由系统。因此，我们的推理成本基本上为零，这项任务的毛利率为95%。你只要看看这个，就会觉得，哇，这是一种与我们过去十年使用SaaS以及我们过去十年使用软件所必须做的事情完全不同的思考方式

应用毛利率。

所以我认为这就是你开始观察并说这些新的AI应用程序的整个应用程序堆栈的地方，它始于提供推理的人。它始于工具和编排层。我们有一家非常受欢迎的投资组合公司，名为LinkChain，以及推理层，我们有Fireworks。这些类型的公司正在受到开发人员的广泛使用。然后一直到应用程序本身，

我认为仅仅是创新的速度、商业成功的速度正在推动许多兴奋。

与私人投资者一起。模型稳定性的另一个吸引人的地方是，如果坚持下去，我们现在终于可以假设所有这些公司都将是相当轻资产的。因为如果你不必在预训练上花费很多，如果你不必在推理上花费很多，因为大多数超大规模企业现在都将以这些成本向你提供真正可靠的API。

现在是从事应用开发业务的好时机，也是从事应用开发堆栈的好时机。适度，你对估值有什么看法？我认为你必须从整体上开始考虑动物精神。如果你回到ChatGPT发布前的那一周，如果你回到2022年秋季，那可能刚刚经历了最残酷的熊市。对于中等规模的科技股来说，这可以说是比金融危机还要糟糕。一些非常大型的增长型基金下跌了60%、70%。超大规模企业首次裁员。他们削减了资本支出。他们削减了运营支出。在科技界和整个公开市场，当时的氛围大相径庭。

Chatchi PT的发布催化了动物精神的重新出现，这是一个渐进的过程。但我认为你今天所处的位置是，公开市场的市盈率为24倍。再说一次，这已经超出了MAG-7的范围。我的意思是，谷歌的市盈率我认为是19倍或20倍。所以他们不是这里的罪魁祸首之一。

所以我认为，总的来说，公开市场中融入了很多乐观情绪，其中很多都与这样一个理念相关：我们正处于一个新的平台时代，并且许多新的概念都具有无限的潜力。所以存在这种全球性的悬而未决的问题。

如果我们是对的，我认为这实际上归结于理解这条新的前进道路是什么样的？如果资本支出和超大规模企业的运营支出与收入的产生更紧密地联系在一起。如果你听取AWS的意见，他们所说的一件令人着迷的事情是他们称AWS为物流业务。我认为任何外部人士都不会将

云计算看作是，哦，是的，那是一项物流业务。但他们的观点实质上是他们必须做的是，他们必须预测需求，并且他们必须在多年基础上建立供应以适应它。20多年来，他们在这方面做得非常好。过去两年发生的事情，我上次谈到了这一点，是你经历了巨大的需求激增，而供应却缺乏弹性，因为你无法在三周内建立数据中心容量。

因此，如果你回到一个更可预测的需求节奏，他们可以观察并说，好的，我们现在知道收入的来源在哪里。它来自测试时间。它来自查森和他的公司推出。

现在我们知道如何将供应与之协调。现在它又回到了物流业务。现在它不再是抓住全国所有封存的核电站并试图将其上线。

因此，与其说是这场土地争夺战，我认为你会看到更合理、更明智、更有条理的推出。它可能是，而且我实际上会猜测，如果这条路径是正确的，那么推理将比我们想象的更快地超过训练，并且规模可能比我们预期的要大得多。但我认为那里的网络设计路径将看起来非常不同

并且它将对那些构建网络、为网络提供动力、通过网络发送光信号的人产生非常大的影响。我认为所有这些都没有真正开始出现在很大一部分公开市场的概率加权分布中。

而且，我认为大多数人过于关注英伟达，因为它们是这方面的典型代表。但是，英伟达下游还有很多人可能会遭受更大的损失，因为他们的业务不如英伟达。英伟达是一家优秀的公司，正在做着很棒的事情。他们只是碰巧经历了最大的盈余激增。我认为，人工智能的建设带来了很多衍生效应，其中……

结果的分布已经发生了变化，而这并没有反映出来。我认为在测试时间和推理范式中，从应用层的角度来看，有多少提示实际上利用推理作为回应这些提示的一种方式，这真的非常重要。而且

是的，随着技术的日益普及和可用性，应用程序开发人员将比今天使用更多技术。但是，如果你只看看当前的技术以及你从应用程序层获得的惊叹，有多少提示或多少查询将有效地使用推理？

很难眯着眼睛说这将是90%的查询。这似乎不会那样发展，因为同样，你的用户不会等待。人类天生就缺乏耐心，你有一个解决方案，就像一直在旋转和思考，你的用户就走了。他们所在的行业无关紧要。他们只是走了。因此，是的，你可以有一些需要很长时间才能提供高精度但速度的任务，但速度是这些应用程序开发人员最重视的因素。因此，是的，

我们是否只会拥有一个继续来回往复并利用所有这些计算的系统？使用该系统的查询的市场份额是多少？很难想象这会成为大多数查询。因此，至少从私营市场的角度来看，

早期投资者，对除了我的世界之外的任何其他事物意味着什么，都要非常谨慎。但那里的含义仅仅是，你不需要那么多计算来

就像你训练时那样。训练只是一个持续的练习。你正在扩展，你只是真正地一直都在使用你的所有计算能力。在应用层，它是极其突发的。你将有一些任务需要立即完成很多工作。对于很多任务，你根本不需要很多。因此，这就是为什么，同样，像超大规模企业和EC2和S3这样的东西令人难以置信。而在这个新世界里，

超大规模企业的解决方案确实非常出色。我认为AWS的训练和谷歌的TPU确实非常出色。它们提供了很棒的开发者体验。我认为应用程序开发人员所熟知的部分原因是GPU非常难以使用

对于这个用例来说，从戴尔购买或从超大规模企业购买的GPU链式连接，获得最大的利用率非常困难。但是随着新的软件创新，这显然会变得更好。然后是超大规模企业本身推出的东西，它们确实非常出色。当你进行测试时间计算时，你不需要像进行训练时那样用力地使用它们。

我认为GPU的利用率是一个非常重要的点。如果你考虑一个训练练习，你试图在很长一段时间内以尽可能高的百分比利用它们。因此，你试图在一个地方放置50,000、100,000个芯片，并在九个月内以尽可能高的速度利用它们。剩下的就是100,000个芯片集群

如果你要将其重新用于推理，这可能不是最有效的构建方式，因为推理是高峰的、突发的，而不是一致的。这就是我所说的，我认为从第一性原理来看，你将重新思考推理。

你想要如何构建你的基础设施来服务一个比训练导向的世界更侧重于推理的世界。詹森谈到了英伟达的美妙之处在于，你留下了这个就地基础设施，然后可以利用它。

在一个沉没成本的世界里，你会说，当然，如果我被迫构建一个百万芯片超级集群来训练一个价值500亿美元的模型，那么当我完成后，我最好充分利用这个资产。但是从第一性原理来看，很明显，你永远不会构建一个拥有25亿瓦功率的35万芯片集群来服务查森谈论的那种请求。

因此，如果你最终使用低延迟和高效率的边缘计算更多，那么这对光学网络意味着什么？这对电网意味着什么？这对现场电力需求与从当地公用事业公司取电的能力意味着什么？我认为这些是我非常感兴趣阅读的问题。

但迄今为止，许多分析仍然集中在我们将如何点亮三里岛上，因为新的范式还为时过早而无法改变。

你认为我们仍然需要并且会看到半导体世界和层面的大量创新吗？无论是网络、光学还是芯片本身，不同类型的芯片？我想这会进一步加速它，因为很难预见一个你在训练中对抗大型绿色能源的世界。

我几百年来对这个问题的思考方式是，你经历了淘金热、土地争夺战，每个人都在尽其所能。但在技术领域，随着一些稳定性的出现，你将进入一个优化时期。你已经在推理方面做到了这一点。查森提到的就是，人们有时间优化底层算法和计算，推理下降了99%。

这与泡沫破裂后互联网传输发生的事情相同，当时人们说，不，你永远无法流式传输电影。你知道这将花费多少钱吗？传输成本每年下降25%，就像20年来一样有规律。这项业务的实际利润池在20年内是静态的。所以我认为我们经历了这种巨大的需求激增。

而且我认为，如果我们获得一点稳定性，每个人都能喘口气，那么车库里的两个人将优化所有可能的事情。从长远来看，技术的妙处在于它是通货紧缩的，因为它是一个优化问题。但是当你处于土地争夺模式时，你没有时间进行优化。

我上次给你引用过这个。数据中心行业，他们是电力中性的。整个数据中心业务的电力需求增长为零长达五年。这是因为你正处于云数据中心建设的完全成熟阶段。我不知道你什么时候才能达到这一点。我的意思是，我们知道这些家伙至少在26岁或27岁时就致力于他们的建设。

在这条道路上，什么时候每个人都有时间深吸一口气，然后说，好的，现在让我们弄清楚如何更有效地运行这些东西。这只是事情的本质。计算方面也是如此。我只是认为我们还没有达到技术人员能够应用其优化能力的程度。他们一直在实施。

我将从我的角度给你提供几个数据点。因此，我的合作伙伴埃里克是Cerebrus这家优秀半导体公司的董事会成员，他们最近宣布在LAMA 3.1、4050亿上进行推理

对于Cerebrus来说，它每秒可以生成900多个令牌，这是一个数量级的巨大提升。我认为它比GPU快70或75倍，作为一个例子。因此，当我们转向推理世界时，半导体层、网络层等等，初创公司有很多机会真正地将自己与众不同。而且

然后我要提到的第二件事是，我最近刚刚与一家大型金融服务机构的首席信息官交谈，他说在过去两年中，他们一直在重新购买许多GPU，因为他们假设他们将拥有大量的AI工作负载。谁知道他们是否需要自己进行一些培训。因此，这些系统现在正在安装到他们的数据中心中，并且现在正在上线。

我们正处于这样一个世界中，你不需要创建自己的模型。即使你创建了，你也可以微调一个开源模型。这并不那么繁重。因此，他的观点是，看，如果你有在本地运行的AI应用程序，它基本上是免费的。我有所有这些容量。我没有将其用于任何用途。推理很轻。因此，目前我拥有无限的容量来在本地运行AI应用程序，并且

它不会花费我任何边际美元，因为所有东西都在运行，我没有将其用于任何用途。所以我准备购买。因此，不仅你谈论的所有这些应用程序都非常令人兴奋，因为它们解锁了RR和所有这些东西，

但是一旦你可以在我们的东西上本地运行任何这些东西，这就会大大降低我们的成本。因此，当你拥有这样的东西时，这就像到处都是双赢的局面。这就是目前的现状。现在，这种产能过剩会持续多久？应用程序开发人员以使用所有容量并突破极限而闻名。突然之间，曾经的产能过剩变成了……

产能不足，因为突然之间我们有了所有这些面包屑式建设，我们决定在上面流式传输视频。因此，当然，AI应用程序将变得更加复杂，并吞噬所有这些容量。但这从投资的角度来看，是一个更可预测、更理智的世界，而不是在预训练上无限扩展。我很好奇要监控的一件事是

重要的是要记住，报告并非模型没有变得更好。而是模型相对于预期或应用于它们的计算量而言没有变得更好。所以我认为我们确实需要谨慎地得出结论，即实验室不会继续试图找出预训练方面的突破。我认为那里的问题是，首先，我们应该寻找什么？

但其次是，如果他们继续沿着这个方向前进，我们是否相信，而这正是我一直苦苦挣扎的问题，如果缩放定律在预训练中成立，人们是否愿意花费1000亿美元？我知道每个人都说，如果你正在为最终的奖品而战，你会的。但是，是否已经产生了足够的怀疑，即简单地蛮力预训练

是通往最终解锁的道路？或者现在是预训练、后训练和测试时间计算的某种组合？在这种情况下，同样，我认为这个世界只是数学更合理。追求这条道路似乎更合理，而不是预先成本是花费任何你能花费的金额来构建这个假设中的上帝。所以我认为，如果这是我们最终要走的道路，这是一个更好的结果。

我很想知道你认为，如果有的话，这个故事中最没有被讨论的部分是什么。你发现自己思考的事情比你从朋友和同事那里听到的要多吗？在公开投资者方面，只是

只是阅读卖方报告，我们还没有看到卖方报告或分析，说明这种新的测试时间计算范式意味着什么以及事情如何变化。所以我真的期待更多关于这种新的范式转变的卖方分析。我认为私营市场也几乎没有报道。我认为那些与这些企业家会面的人所知道的是，这些企业家今天是如何有效地获得资本的。这只是最近才发生的变化。

你看到人们出现，花费不到一百万美元就能在特定用例中与前沿模型相匹配的性能。这并不是我们在两年前甚至一年前看到的情况。所以我认为这被严重低估了。再培训是对资本主义的一大考验。如果我们沿着这条道路走下去，

我感觉更好，因为我具有微观经济学背景，可以分析将会发生什么，因为你不需要投入上帝的净现值。我只是认为这要好得多。至于我期待阅读和听到的内容，是的，我很想看到一些有见地的分析真正地努力解决这个问题。现在，我觉得这有点防御性。人们正在为缩放尚未完成的事实辩护。它只是移动了。

这很好。但是，现在让我们来处理二阶效应、三阶效应，以及这将如何真正地体现出来？我认为这对整个生态系统、整个经济都非常有利。但我认为将会有很多盈余从以前看起来像赢家的口袋转移到看起来像输家的口袋。未来六个月中，什么结果最让你感到困惑？

好吧，两个戏剧性的例子。从积极的方面来看，如果有人得出了预训练又回来了，并且在合成数据上取得了巨大的突破，突然之间又开始蓬勃发展，并且价值100亿美元和1000亿美元的集群又回到了桌面上，你就会回去，但是突然之间范式转变将是疯狂的。突然之间，我们现在将讨论一个价值1000亿美元的超级集群，它将进行预训练

然后显然，如果我的预期结果是明年我们将称之为AGI，我们将拥有AGI，并且我们将建立一个价值1000亿美元的客户，因为我们在合成数据上取得了突破，一切都能正常工作，我们可以模拟一切。这将是相当令人困惑的。我认为另一种情况是，现在很清楚，虽然我们已经用尽了文本数据，但我们并没有接近用尽视频和音频数据。

而且我认为这些模型在新形式的模式下能够做什么仍然是未知数。所以我们不知道，因为重点不在那里。但是现在你开始看到大型实验室更多地谈论音频和视频。这些模型在人机交互方面能够做到什么

我认为这将非常令人惊叹。我认为你已经看到图像生成和视频生成有了多大的飞跃。那么一年后、两年后会是什么样子呢？可能会非常令人困惑。是的，我认为对于非技术人员来说，困难的部分是，在过去一年半的时间里，问题一直是，

如果GPT-5遵循缩放定律，它会带来什么？没有人能够真正地表达出来，因为我们只知道，好的，训练损失会更低。所以你会说，好的，这个东西在下一个标记预测方面更准确

但是就这实际上意味着什么能力而言，在我们发布之前我们不知道的紧急能力是什么？所以我认为很难事先知道你在寻找什么，除了实验室出来说，

它的准确性如此之高，以至于值得继续保持这种对数线性轨迹的SPET。如果有人出来这么说，我认为无论这场谈话是什么，或者你可能相信什么，你都必须说，好的，发生了。再说一次，我认为你必须拥有非常开放的心态。如果我们在三个月前进行谈话，会有耳语，但它并没有公开。

我认为你必须不断更新你的先验概率。所以很明显，就像杰森说的那样，我会寻找那个。就我个人而言，我密切关注Llama。很明显，在某个时刻，他们决定不再开源是有风险的。

如果我是生态系统中的其他参与者，我会尽我所能确保Llama保持开放。当然有一些方法可以做到这一点。但我认为这是一件重要的事情，因为他们愿意在最前沿投入资金，并像他们那样提供这些模型，我认为这已经彻底改变了战略动态

在模型行业。所以这是另一个我需要注意的方面。在我们讨论结束之际，我有一个哲学问题，那就是关于ASI。所以如果AGI已经出现或将在明年出现，

你们俩甚至会考虑，我想这建立在你关于我们甚至对停留在扩展低谷的GPT-5有什么期望的观点之上？这意味着什么？因为至少在简单的聊天互动中，我能想象它做得更好，甚至看起来像什么的事情越来越少了。再说一次，

再说一次，我们可能只是处于应用开发、微调、改进和算法更新的早期阶段，等等。所以我很想知道，从哲学上讲，你认为除了现有模型在调整和优化以及改进方面自然会发生的变化之外，还有什么其他的试金石？ASI究竟意味着什么？它意味着它解决了以前不可能的数学或物理挑战，还是其他什么？这个想法对你们俩来说意味着什么？

这些是我的话。我不记得最初是谁说的，但是……

人类非常擅长改变对期望的界限。20世纪70年代的AI与80年代、90年代、2000年代和2024年的AI含义不同。因此，如果计算机可以做到，人类有一种非常好的方法将其描述为自动化。而计算机无法做到的事情，现在就变成了AI的新目标。而且

因此，我认为这些系统已经非常智能，并且非常擅长复制人类智能，有时甚至超过人类智能。我认为，如果你只看看像DeepMind和一些初创公司在数学、物理和生物学方面追求的一些模型开发者的道路……

很明显，这些模型的应用和输出将是人类以前根本无法做到的事情。我们今天已经在蛋白质折叠方面看到了这一点。我们开始看到它与数学证明有关的一些情况。我相信我们将会开始看到它与物理证明有关的情况。

因此，我对人类的乐观希望是，我不知道，我们将能够打开虫洞之类的东西。我们将能够以前所未有的规模研究广义相对论，或者以前所未有的方式研究黑洞或模拟黑洞。所有这些目前听起来有点荒谬，但事情的进展方式和过去的发展方式，我们不知道什么可能，什么不可能。为了回到投资者的角度，我们

当未来未知，可能性取决于你的想象力时，这通常是成为早期投资者的好时机。因为这意味着技术已经解锁。通常，当技术以语法的方式解锁时，分销也会解锁。你现在可以获得以前获取成本非常高的客户。

因此，以前，如果你想构建一个消费者应用程序，你必须考虑应用商店、搜索、广告网络等等的税收。突然之间，它变成了一个非常快速的过程。

单位经济学的练习。同样，在SaaS中，它就像生产力、毛利率和基础设施成本。你只是尝试做一个电子表格练习，早期投资开始变得更像电子表格，而不是真正的技术创新。我认为，当你发生这样的重大突破时，一切都会再次改变。如果你拥有独特的东西，并且存在口碑和病毒式传播因素，那么分销几乎是免费的。技术支出是

再次，你回到仅仅投资你的开发人员和你的研究科学家。研发和研发的投资回报率开始再次变得显著。作为早期投资者，最令人兴奋的是我们不知道未来会怎样，因此它又回到了人类的聪明才智和能够突破这些界限的人们。

当这对早期投资者来说令人兴奋时，我认为这对有些持怀疑态度的公开市场投资者来说是可怕的。价格是基于感觉而不是电子表格中的数学。关于ASI，我认为我们以前讨论过这个问题。这个概念之所以让人们花费如此多的时间，是因为它最终是如此深刻。人们在他们对我们正在构建的东西的看法中援引准宗教。任何时候……

参与其中，我认为风险就更高了。它有点不可知，而且非常复杂。所以我们都喜欢争论它。但我认为我们这里还没有涉及的一点是，一群人非常坚定地相信，在某个时间点会发生递归自我改进。

我认为这将是一条重要的解锁路径，无论假设的ASI意味着什么，那就是当机器足够聪明到能够自己学习和自我学习的时候。从不太戏剧化的角度来看，我认为是这样的，有AlphaGo，它著名的做出了一个从未有人见过的动作。我认为这是第37步。每个人都对它感到非常困惑，最终赢得了比赛。

另一个我喜欢的例子是Noam Brown，因为我喜欢扑克，他谈到了他的扑克机器人。令人困惑的是，它正在玩高风险、无限注的扑克。它不断地以比职业选手以前见过的更大的规模进行过度下注。

他认为机器人犯了一个错误。最终，它让职业选手非常不稳定。想想看。一台计算机使人类及其方法不稳定，他们在某种程度上已经将过度下注纳入了他们的游戏中。

因此，这两个例子说明，如果我们认为预训练受我们提供的数据集的限制，如果我们没有合成数据生成能力，那么这里有两个例子说明算法做了一些超出人类知识范围的事情。

这始终让我对LLM本身能够达到超级智能的想法感到困惑。从功能上讲，它们受到我们预先提供的数据量的限制。因此，如果你有这样的例子，算法能够

超越它们最初的限制，这非常有趣。我没有足够的智慧知道这将把我们引向何方，但我感觉接下来要发生的事情是，如何摆脱预先给你的限制？我认为，从我的角度来看，令人惊叹的是，有多少创新发生在美国，以及有多少创新发生在硅谷。自疫情以来，我们经历了几年艰难的时期，而且

这真的很了不起。我有一个现在住在硅谷的投资者朋友，他只是说，我不敢相信它又发生在硅谷了。

它已经成为一个灯塔，所有实验室都位于这里。许多从事这些应用、这些基础设施公司等工作的人都在这里。或者即使他们不在那里，他们也以某种方式与这里联系在一起，并且经常来这里访问。我会说，这里对创新的关注在人工智能方面确实非同寻常。美国，特别是硅谷取得的进展是非同寻常的。

我确实认为，投资者和企业家现在关注的一个层面是系统有多脆弱，我们需要多少来保护它并继续投资它。我认为现在有很多关注点，创新是需要保护的东西。我认为现在很多人都在密切关注，以确保在美国发生的所有这些创新继续造福于

每个人。我认为这是真正乐观和令人兴奋的事情。

集聚效应是真实的。如果报道正确的话，Transformer论文的产生方式是有人在走廊里滑旱冰，听到两个人在谈论某事，然后进去白板讨论。另外两个人路过，谁知道有多少是杜撰的，或者不是。但从经济学家的角度来看，看到这些人类网络效应是真实的，这令人着迷。

而且COVID并没有摧毁它们，远程办公也没有摧毁它们，并且在一起以及思想的综合、多学科的融合来构建这个改变世界的架构确实有一些有形的东西。♪

伙计们，与你们两位交谈总是如此令人兴奋。我很幸运能够私下做这件事。公开做这件事也很有趣。感谢您的时间。当然。谢谢您。如果您喜欢这一集，请查看joincolossus.com。在那里，您将找到本播客的每一集，包括完整的文字记录、节目说明和学习资源。您还可以注册我们的时事通讯Colossus Weekly，我们会在其中将剧集浓缩成重要的想法、引言等等，并分享我们每周在互联网上找到的最佳内容。

你