Ep 53: SemiAnalysis Founder Dylan Patel on New AI Regulations, Future of Chinese AI & xAI’s Scrappy Surge to Hyperscale
01:24:15 Share

Dylan Patel凭借其在Semi Analysis上的文章，已成为所有硬件和人工智能领域的首选思想家之一。今天在《无监督学习》中，我和他愉快地聊了许多不同的话题。这次谈话尤其有趣，因为我们是在人工智能扩散规则出台后立即进行的。因此，我了解了他对该规则对超级计算中心、中国、阿联酋及其他国家意味着什么的实时反应，以及鉴于这些规章制度，地缘政治的未来将会如何。我们还讨论了许多人工智能领域的关键问题。

以下是Dylan的观点。

Dylan，非常感谢你来到这里。是的，感谢邀请我。这里非常舒适惬意。我不敢相信我们在“人工智能扩散规则周”期间就邀请到了你。我觉得现在一定很疯狂吧。是的，有趣的是，原计划是星期一。他们发布了……

在星期天晚上/星期一，对吧？所以我整晚都在加班处理这件事，不得不取消，我们把时间推迟了几天。感谢你的灵活安排。你在其间还发表了一篇相当长的文章。是的，是的，很棒。我很想知道你是否能为我们的听众简要介绍一下监管方面关于人工智能扩散规则的情况，然后也许根据他们的目标，你会如何评价它？

是的。我认为最初，2022年10月的规章主要针对半导体行业。但那里的措辞一点也不含糊，对吧？那就是，我们要规范人工智能。我们相信它会迅速发展。那是2022年10月，也就是……他们当时规模扩张得很快。在ChatGPT之前，但他们规模扩张得很快，对吧？没错。而且，你知道，如果你有机会与一些人交谈，例如……

你知道，Ben Buchanan，他是白宫的特别顾问，他就像，“不，不，不，这就是我们这么做的原因。我们知道它会到来。”这就像，“哦，所以政府实际上相当称职。”这很有趣，因为，你知道，他们打击得很重。他们的目标是，美国必须在人工智能方面领先于中国，对吧？因为未来五年的进步、未来三年的进步、未来两年的进步将决定未来，你知道……

一个世纪的世界霸权。这是为了阻止中国的进步而采取的严厉措施。至于评分，2022年10月的规章出发点很好。如果你认为人工智能在未来五年将改变世界……

你知道，如果你认为这需要20年时间，那么情况就大不一样了。实际上，这些规章实际上相当糟糕，因为它们会长期限制我们的竞争力。但至少在未来五年，它们肯定会让美国保持领先地位。所以2022年10月的规章出发点很好，但有一些漏洞。所以他们在23年又进行了一轮。然后他们在12月又进行了一轮，

所有这些都逐渐修补了漏洞。仍然有一些，你知道，主要的漏洞，对吧？也就是说，中国公司可以从，你知道，外国公司那里获得GPU，对吧？所以如果你看到甲骨文一直在大肆宣传，他们一直在抱怨。好吧，看看他们最大的，他们最大的云客户之一是谁。是字节跳动，对吧？对。

或者，你知道，嘿，你可以在马来西亚建立一个数据中心。现在，突然之间，一切都好了，对吧？所以从2024年到2027年，不是马来西亚这个国家本身，而是在那里运营的公司，主要是中国公司，许多公司声称他们现在是新加坡公司，对吧？例如，中国最大的数据中心运营商GDS搬到了新加坡，并称自己现在是新加坡公司。但现在这些公司正在建设3吉瓦的数据中心产能，对吧？

为了说明这一点，在2024年初，这大约是Meta的全球足迹。所以这就像，“哇”。整个世界社交媒体的运行都依赖于马来西亚在三年内建设的东西。那么，鉴于这项规章的一个重要部分是将国家分层，以及对谁在你的数据中心内实际训练模型进行更严格的监管，所有这些马来西亚数据中心的建设将会发生什么？显然，所有这些规划都是为了建设这些东西，但现在看来，地毯似乎已经被抽走了。是的，我的意思是，这绝对是我见过的影响最深远的规章，对吧？也许在冷战或二战期间有更大的事情，我不确定。但是，像……

这影响非常深远，因为它规范了海外的云计算，对吧？它规范了外国公司。它在很大程度上限制了他们可以购买的东西。因此，马来西亚拥有大量正在建设的数据中心产能。我们将看看他们是否会继续建设，对吧？我认为大多数人仍然会继续建设。微软和甲骨文等公司在马来西亚拥有大量资产正在建设中。他们可能不会停止。但其他公司，你知道，现在会发生什么？

现在。你知道，归根结底，美国在数据中心足迹方面仍然非常有限。我们正在尽最大努力建设。有很多监管瓶颈。有很多不同的……

诸如此类的事情。但是，当你部署时，美国公司在全球部署人工智能，对吧？这就像，OpenAI是否会在日本、台湾和韩国提供GPT？或者他们只是在马来西亚的微软数据中心运行它，也许吧，对吧？这可能是吸收这种情况的一种合理方式。但这里真正重要的是，以及……

即使你非常亲美、反华，这项规章仍然存在巨大的负面影响，因为大量的买家……

无法购买马来西亚的数据中心产能并实际部署。美国公司也无法做到这一点。甲骨文就是一个很好的例子。该规则的一部分是，你在任何非美国盟友国家的数据中心产能只能占7%。这些一级国家。甲骨文计划在马来西亚拥有20%的产能。现在就像，我该如何处理我打算建设的这些数据中心？我显然是一家美国公司。好吧，我不会把它租给中国公司，但是……

我现在该怎么办？所以有点像，你知道，在美国拥有如此多产能的公司，

嗯，是唯一能够接管马来西亚这些数据中心并建设它们的公司。对。由于7%的规则。所以就像微软、Meta、亚马逊、谷歌，对吧？这四家公司拥有，你知道，你知道，70%以上的数据中心，人工智能数据中心产能在美国。嗯，所以他们可以，他们可以处理，而且他们正在快速建设。是的。他们可以处理，比如，“我将拿走，我将在马来西亚拿走500兆瓦。我将拿走1吉瓦。”这不会让我违反规定。对。嗯，

其他人则有点像完蛋了。所以你现在已经大大减少了市场上的竞争。对。你已经创造了一种垄断。所以这有点像为什么这些规章，虽然它们是，是的，如果你相信整个AI，像……

加速，你需要对抗中国。这非常重要。美国必须保持霸权。这是其中一方的观点。另一方面是，如果你想保持霸权，结果会怎样？我们在二战期间做了什么？我们就像，“亨利·福特，给你。你将变得非常非常富有，因为你将制造所有的坦克或其他东西”，对吧？卡车。他们在人工智能方面所做的也是类似的事情，就像，“给你，萨蒂亚·纳德拉。你可以在人工智能方面做到这一点”，对吧？所以有点像反垄断，像……你知道，我喜欢权力下放。你喜欢权力下放。你喜欢创新。这是否在某种程度上扼杀了创新？你知道，对于美国初创公司来说可能不是这样，但对于基础设施硬件来说，这绝对是……相当糟糕。

显然，已经出现了一些，你知道，像CoreWeave这样的参与者，以及这些人。这些规章如何……我的意思是，最终，你知道，我听说你说过它显然有利于，你知道，大型科技公司，但据推测，他们也可以在一级国家拥有业务。那么，像……你知道，小型云生态系统会发生什么？我认为CoreWeave已经迅速……

接近超级计算中心级别，对吧？然后他们的下一轮建设，大型建设仍在继续在美国进行，当然，也在欧洲。我认为他们可以在海外扩张一段时间，仍然没有问题。他们将不得不达到某些监管级别，才能监控客户的工作负载等等。当你提出……你添加的要求越多，它就像……

最擅长的人。是的，没错。但其余的云生态系统呢，对吧？不包括CoreWeave，像……受到了很大的打击，对吧？有很多云位于外国，试图建立他们主权的人工智能，这就像……你知道，很多初创公司都在湾区为马来西亚、新加坡、印度和中东等主权人工智能公司服务，无论如何。这是他们最大的客户。这就像，这些人受到了这些规章的严重影响。有很多……

你知道，云公司，你知道，我认为一级是超级计算中心，二级是Core，甚至甲骨文。然后像……低于这个级别的是，每个人都受到了非常严重的打击。所以，你知道，我认为初创公司生态系统将不得不学习，如果可能的话，我该怎么办？你知道，我的中东大客户或新加坡大客户或韩国大客户等等，也许不是韩国，因为韩国是一级允许的。但是，你知道，这些国家中的一个，主权人工智能国家，他们……

我现在受监管了吗？这实际上可能对初创公司不利。它还在基础模型方面带来了多样性，对吧？我认为关于主权人工智能的观点，在这一规章之前，政府也推动了数据中心建设领域的情况，以及为……你知道，为特定国家或地区训练核心模型的情况。

这基本上是蛮荒的西部，对吧？美国很久以前就发布了一项行政命令。它基本上就是说，如果你正在构建一个1E26浮点运算的模型，这是一个非常大的模型。这在浮点运算方面是Llama 405B的两倍，对吧？所以我推测，像……很少有人这样做，但这只是一个通知要求。就是这样。

但这在美国，对吧？所以如果你在中国这样做，或者你在其他任何地方这样做，都没问题。当然，实际上并没有达到这个规模的数据中心建设来实现这一点，但它们将在明年和后年到来，对吧？或者2025年、2026年，这些建设即将到来。因此，几乎没有对基础模型进行监管，也没有对其他国家建设基础模型进行监管。显然，OpenAI和其他公司被告知，比如，“我知道……”

阿联酋告诉你他们将为你建设一个大型集群。你不允许这样做，对吧？像……显然，幕后正在发生这样的事情，但没有像，“这是规章制度”。所以，你知道，如果你是一家中国公司，你会……你知道，做任何你想做的事情。如果你是在其他地方的公司，你做任何你想做的事情，你可以从任何地方租用GPU，你可以建设任何你……

的。嗯，这把它压制下去了，对吧？你不能像……将模型权重导出到美国以外/受信任的云计算以外，这再次是超级计算中心，对吧？嗯，基础模型，这些模型是……最大的，最大的模型，对吧？嗯，

你不能像……有一些关于防止合成数据生成的规定，所有中国公司都在进行大量的GPT 4合成数据生成。所以他们的模型可以很好，对吧？这就像为什么……是的，阿里巴巴和深势科技真的很好，但他们也从GPT 4生成大量数据并用它来……

后训练，对吧？部分地。有很多关于……你知道，访问云计算的规定。所以很多公司，很多云计算，你知道，他们没有核心，你知道，当你看到……

大型科技公司，他们已经配对，对吧？你知道，Meta自己，谷歌自己，但微软、OpenAI、亚马逊、Anthropic，埃隆的世界是XAI，特斯拉，你知道，界限很模糊，对吧？X，这些公司之间的界限非常模糊。但这些是美国超级计算中心。但在中国，阿里巴巴在人工智能方面做得很好。是的。

他们也在建设。但除此之外，有很多新的参与者，有月球计划，有深势科技，还有其他许多参与者正在涌现，但他们没有超级计算中心合作伙伴，嗯，嗯，字节跳动，当然。对。字节跳动，他们确实运行了很多自己的基础设施，但他们，其中很多，他们租用，嗯，他们做了什么？好吧，他们决定，好吧，让我不要购买深势科技，但像字节跳动，它就像，“哦，我将从任何GPU云中租用。”对。所以有一些随机的云，像……

在欧洲，亚洲各地都有随机的云，对吧？这就像他们的商业案例是，你将……

获得不错的利润，对吧？你将制造GPU并租给我，对吧？我不是，你不会在我的工作负载中进行任何可观察性。我将做任何我想做的事情。大部分只是为TikTok服务，对吧？让我们明确一点。它实际上并不违法，但潜在的风险是存在的，他们显然正在开发语言模型和生成式视频模型。而且总是有这样的担忧，他们会操纵我们青少年的思想，你知道，毁灭我们所有人。周日之后不是这样，我猜。我的意思是，他们仍然能够做后者，对吧？但他们在……

现在可以获得的集群规模以及谁以及什么以及通知要求方面受到了非常严重的限制，而且公司必须能够观察它们的工作负载，这就像糟糕的安全。所以这对字节跳动和许多中国人工智能参与者来说是一个非常非常大的打击，但对所有这些随机的云公司来说也是一个巨大的打击，他们的商业案例是，我将卖给字节跳动，对吧？或者我将卖给这家中国公司。

那么，中国的人工智能将走向何方？而且，你知道，如果你正在寻找漏洞，像……你知道，前进的道路是什么？有一个明显的漏洞，那就是，好吧，有一些严格的限制，对吧？像……每个国家在未来四年只能购买50,000个GPU。这就像……

当英伟达今年生产超过600万个时，这几乎不算什么。对。嗯，所以，所以每个国家只能购买50,000个GPU，但仍然存在漏洞，那就是如果你购买1700个或更少，则不算在5万个以内。嗯，所以很明显的事情是，你只需要启动无数个，你知道，空壳公司，然后你只需要购买，购买1600个GPU，然后你将它们输送到中国或其他地方。对。所以仍然有一些漏洞。嗯，

但总的来说，你知道，这更难做到。我认为，我认为更多的是，你知道，中国拥有大量优秀的工程师，他们将不得不进行创新，对吧？像深势科技在工程方面非常出色，对吧？所以这就像，嗯，他们正在用……

类似水平的计算能力击败公司，对吧？因为他们的工程技术更好，但他们并不完全像OpenAI、Anthropic那样。现在他们需要采取这种……同样的，像计算能力的合作持续疯狂地扩展，而且无法扩展得那么快。所以这就像，我们不仅必须拥有更好的工程技术，我们还必须拥有……更好的工程技术，并通过这种新的推动来进行测试时间计算。在计算能力严重不足的情况下，这是否可行？是的。所以，所以我认为有一些……

测试时间计算的有趣方面，对吧？它比人们想象的要计算密集得多。人们就像，“训练已经死了。”这就像，“不，构建一个能够进行测试时间计算的模型需要大量的训练。”这只是关于此的一些不那么有趣的数据。这不仅仅是预训练，而是后训练，对吧？所以你必须生成大量数据。你必须丢弃大部分数据。嗯，你必须验证数据，以确保它实际上是准确的，对吧？嗯，思维链或推理链。嗯，

然后你必须训练模型，对吧？你还有所有这些奖励模型。这是一种非常复杂的推动式训练。所以，你知道，而且它实际上非常计算密集。所以你今天可以制作推理模型，对吧？像O1和……你知道，深势科技的R1，我认为是。阿里巴巴也是一个推理模型。我不记得名字了。但是这些模型像……

你应该这样想，缩放定律是log log，对吧？你可以缩放，你可以缩放数据，你可以缩放参数，你可以缩放。这就像，好吧，这两者都趋于平稳，对吧？因为数据增长速度不够快。而且，你知道，无限增加参数并不会给你带来任何好处，对吧？或者它会给你带来递减的回报。

但我们已经多次扩展了这个台阶，对吧？这些前沿实验室正在进行的训练运行耗资数十亿美元，对吧？明年可能是数百亿美元。它扩展得非常快。你只能每隔一段时间在这个方面获得对数改进，对吧？而测试时间计算，我们正处于阶梯的底部。这就像……

像，“我可以快速爬上这个阶梯，因为，哦，现在我们正在花费数十万、数百万、数千万、数亿美元、数十亿美元”，对吧？计算能力不足并不重要，除非你达到数十亿美元以上的规模，对吧？所以有很多台阶，他们可以用有限的计算资源超越工程技术，但是……

并赶上。但也有另一方面，像，好吧，Anthropic、OpenAI、DeepMind等等，对吧？XAI，这些人，事实上还有许多初创公司，对吧？像Mira初创公司等等。他们都在快速地爬上这个阶梯，尽可能快地爬。所以看看将会发生什么很有趣。我认为，你知道，这是在训练方面，在推理方面，

你知道，这就像如果你真的像……对O1与GPT 4进行查询，这就像，“是的，查询成本为20美分，查询成本为6美元。”对。这就像，这是一个巨大的差异。现在，显然质量更好。所以这像……而这6美元仍然比支付……你知道，为这项工作支付超过6美元的人要便宜得多。嗯，但是它像……

而且它是可扩展的，对吧？而人力资源的可扩展性较差。这有点像……这是一个巨大的成本差异。而这6美元都是推理。这就像，好吧，你在中国获得的GPU有限。你在所有对中国友好甚至对中国持中立态度的国家都限于5万个，对吧？所以这就像，在推理方面很难获得这种计算能力的扩展，对吧？而且，你知道，你可以在训练上投入尽可能多的资金，但要真正改变世界，对吧？再次，如果你认为人工智能将改变世界，那么你必须……

在推理上花费大量资金，对吧？完全正确。即使利润率很低，对吧？你知道，尽管像Anthropic和OpenAI的推理毛利率为75%，但许多其他公司的推理毛利率为10%、20%。即使是10%、20%的毛利率……

你知道，为了摊销一个50亿美元模型的成本，对吧？像，好吧，你需要获得100亿美元的推理收入。这就像，好吧，那么就是80亿美元的硬件成本，你知道，而这80亿美元的硬件成本实际上是在数年内摊销的。所以在那一年，你购买了300亿美元的硬件。恭喜。对。这就像这样，而且太多了，对吧？像……这大大超过了上限。所以我认为，嗯，

你知道，测试时间计算，他们将能够提供令人印象深刻的结果。问题可能是他们能否扩展和销售它。所以这就是……问题。而且，另一方面，它也像，中国，在中国开发软件的成本像……

比在美国便宜得多，对吧？他们只是拥有更多有才华的工程师，软件工程师。所以，你知道，他们的开发实践以及所有这些事情也各不相同。但是，像那里的每家公司，你知道，有很多像平台SaaS在中国行不通，对吧？这在风险投资界是众所周知的，这对风险投资家来说非常棒，因为平台SaaS类型的东西非常棒。对。因为你可以卖给所有这些公司，因为你开发它，你开发它在一个地方，你卖给所有人。对。而在中国，这就像，好吧，你开发在一个地方，但每个人都可以自己开发。它可能不如以前好。它不会是最好的，但无论如何开发人员都很便宜。对。这似乎是我们所有人工智能编码进步的未来方向。我很想知道你的看法。是的。不，我的意思是，我认为这对这些SaaS提供商来说是一个巨大的风险。对。嗯，

显然，Klarna和其他人已经公开谈论过这个问题，但我认为过去启动这些应用程序的护城河现在肯定要弱得多。我认为像……的能力，你知道，再加上更容易地将数据从你所在的任何记录系统中迁移出来，以及过去可能阻止任何人真正升级其软件的所有痛苦的事情，现在只是……一件相对简单的事情，可以使用许多人工智能代理来完成。你把它扔掉几天，然后它就出现了。

是的，这对SaaS来说是一个真正的威胁。但是许多国家从一开始就……我认为已经意识到拥有这种……这种专业知识和模型在其本国的重要性。但如果有什么不同的话，我觉得这项规章非常清楚地表明，你知道，随时可能被切断。我认为如果你看看阿联酋，这就是发生的事情。我认为媒体对此已经做了很好的报道。有一段时间，G42是阿联酋主权人工智能的倡导者，由各种阿联酋资金资助，它位于阿联酋。他们一度面临被切断的威胁，他们的首席执行官是一位来自中国的中国人，并且可能与中国共产党有关联，等等，所有这些事情。

然后像……你知道，关于此的所有媒体报道都沉默了大约六个月。然后下一个……你知道，无论是彭博社、路透社还是华尔街日报，无论是什么，都是像，“是的，G42和微软将进行合作。”这就像，“嗯？我想知道这里发生了什么？这是……这是纯粹的有机合作，还是有一些像……好吧，

如果你只是运行你自己的所有基础设施，你知道，也许这里有一些不好的地方，但是，你知道，现在我们知道微软已经与你合作了，你知道，这是好事。就像，你知道，现在当你看到它的时候，它就像G42和美国政府实际上一直在谈话。他们就像，G42将成为一个大型云玩家。他们甚至在美国部署GPU，不仅仅是在，你知道，阿联酋，而是在欧洲和美国。所以通过这些超级规模的企业，我想你可以加强美国的影响力，就像什么，你知道，

有哪些模型存在。但最终，谁得到了它？我认为现在有一些人权条款涉及到国家的等级划分。你可以想象出政府未来使用这些东西的各种方式。是的。

是的，我的意思是，拜登——规章本身确实提到了人权。显然，新政府即将上任。如果你让我猜，我会说，大概率特朗普政府会保留这些规则，也许，就像，显然会在某种程度上进行调整。但是人权问题，他们可能会抛弃，就像，你知道，然后换成，就像——

你知道，美国经济影响力或产业，或者任何东西，任何东西，像，你知道，购买美国政府的能源和武器的优先级。对。这些是特朗普政府可能更重视的事情，而人权政策可能对拜登政府更重要。但归根结底，是的，它就像民主武器库中的一种武器。你知道，这是一个规章。所以我不知道它是否像，是的，

但我的意思是，退一步说，我觉得你以前谈到过，我认为这可能是芯片禁令的背景下，关于你试图达成的这种“金发姑娘”效应，即阻止特里纳训练他们自己的尖端模型，但不要让它变得如此贫瘠以至于所有东西都在国内自行建立。我想知道，你知道，回到，我猜是评分问题，这是否感觉像，你知道，

强硬的方法。这是推进这些政策目标的正确方法吗？我认为，10月22日以及2023年的规章，它们更像是，你知道，我们将尝试限制你。但是他们并没有完全限制中国建立自己的国内供应链以及所有这些事情。对。因为目的是你不能建立你自己的国内供应链，你无法访问它，但你现在可以访问它，就像这些最新的规章一样，它就像，

根本无法访问这些东西，对吧？就像你拥有的计算能力比美国任何实验室都要少几个数量级，对吧？我们试图对你强制执行这一点。在这种情况下，很明显会有一些泄漏。所以也许它不是一个完整的数量级。也许它少了75%的计算能力，无论如何，对吧？这仍然是一个巨大的数量。所以

现在中国只有两个选择，那就是建立你自己的供应链，或者，你知道，如果我们有效地限制了这一点，对吧？就像本·汤普森有这样的看法，他说，是的，如果，如果监管条例在阻止中国建立自己的半导体产业方面非常有效，那么，你知道，这就像，或者他们建立了自己的半导体产业，而且具有竞争力

那么对台湾采取行动的可能性就大得多，对吧？而如果他们觉得他们仍然从台湾受益，对吧？他们觉得他们仍然可以建立它并通过西方势力获得访问权限，对吧？这就像我完全不知道的地缘政治问题，顺便说一下，对吧？胡说八道，但就像有某种像，你知道，“金发姑娘”区域，是的，你不想禁止他们太厉害。你不想让他们拥有所有东西，因为那样会带来风险，对吧？但如果存在这种“金发姑娘”区域，就像，

你做不到，对吧？就像你有点像，你落后了，但并没有落后太多。还有赶上的希望。那么也许没关系。好吧，我想转向我们今天看到的集群建设，也许只是为我们的听众提供一些背景信息，你知道，所以你是跟踪所有这些的专家，我们今天拥有的集群建设规模，那些正在计划中的，也许只是谈谈我们今天在这些一级国家中构建更大集群的最大障碍。是的。所以，我的意思是，当你回顾2020年的GDP时，你知道，

2022年，抱歉，大约2万个GPU，A100，对吧？他们训练了这个模型，改变了世界，对吧？

下一步是什么，对吧？你知道，你必须看看从2到3到4，对吧？有几个数量级的计算能力增长。现在，你知道，随着GPT所谓的5，或者猎户座，或者任何即将推出的东西，你知道，正在开发中。这是一个规模的问题，嘿，我们不能一定追求更多数量级的GPU，因为这太贵了。而且有很多，呃，

在构建过程中。所以，我们，我们增加了，你知道，我们从2万个GPS增加到10万个，对吧？所以XAI已经构建了10万个，Meta已经构建了10万个，他们两个实际上都构建了超过10万个，对吧。在一个地方进行训练，OpenAI的计划也是如此，等等。Anthropic有40万个Tranium服务器，呃，GPU将在今年推出。呃，

或者Tranium芯片，而不是GPU。人们今年的数量级都在几十万。但是今天构建的和今天训练模型的都在10万的数量级。使用的GPU是H100。所以你有5倍的GPU，并且每个GPU的性能大约是3倍。所以你的计算能力是15倍。是的。

我们会看看结果如何，对吧？就像，你知道，问题是，你不会构建一个集群或运行一个模型，然后立即得到，你知道，一些伟大的东西，对吧？你必须进行大量的实验，你知道，训练需要几个月，后期训练需要几个月，安全需要几个月，对吧？不像……

一瞬间，你得到了你现在已经构建集群的模型。所以存在一定的滞后性，对吧？所以，你知道，今年我们将看到来自所谓的“上一代”集群的模型，但是下一代集群正在建设中。而这个下一代集群是什么呢？是几十万，对吧？作为参考，对吧？就像

你知道，每个GPU，对吧？一旦你包括网络、构建，所有这些东西，也许是H100本身是24000美元。但是一旦你把所有其他东西加起来，它就像40000美元，45000美元每个GPU，所有的一切。对。所以10万个的成本就像，就像，

很多，对吧？10万个GPU是50亿美元，对吧？所以埃隆的融资是60亿美元，你知道，他建立了一个10万个GPU的集群，对吧？就像，你知道，显然还有其他成本，对吧？他们必须购买数据。他们必须做，你知道，雇员，他们必须做，他们必须把工厂改造成数据中心，对吧？并且设置了他们所做的所有这些疯狂的事情，对吧？这就像，你知道，我稍后会谈到这一点，但是有很多事情需要做才能得到，你知道，

你知道，一个训练模型。现在，埃隆已经建立了集群，但这并不意味着模型会发布，你知道，如果他们在这个季度甚至有一个领先的模型，我会感到惊讶，对吧。这需要一些时间。而且，而且，所以，什么是，什么是，你知道，那是关于训练方面的。这些下一代集群，它们可以在今年建成，不是50亿美元。它们是，它们是，你知道，15倍，对吧。显然你不能无限地增加资金，但是3倍，对吧。显然，Anthropic竞赛的背景是20亿美元，你知道，在这个目前的风险投资轮次中，似乎是，

好吧，所以好处是，你知道，Anthropic、OpenAI，尤其是Anthropic，以及你知道，一些初创公司，对吧，可以进行融资，而这笔资金可能只够一到一年半的GPU租赁，对吧？那是租赁，对吧？

他们不是购买GPU的人，对吧？所以亚马逊可能是花钱的人，你知道，50亿，100亿美元，但他们可能一年租用三到四年，对吧？而且，你知道，当你看到收入时，他们从亚马逊获得的积分，加上他们筹集的资金，对吧？这足以支付这样的费用，对吧？现在，Tranium服务器不是100亿美元，因为它是亚马逊的一个更便宜的内部芯片，但是，就像，

如果你云合作伙伴真的喜欢你，你就会得到这种好处。对。在OpenAI和微软的情况下，他们能够达成协议，与Oracle达成协议，对吧。Oracle今年为他们花费了100亿美元以上来建设数据中心和GPU。对。

对于OpenAI，而不是微软。有趣的是，微软也在做一些事情，但是他们并没有，他们并没有今年花费100亿美元，对吧？他们今年花费了几十亿美元。所以存在这种好处，对吧？你不需要一定，你可能已经签署了协议，而且Oracle可能承担了信用风险，对吧？我们会，我们会对这个合同在三年后仍然存在表示乐观，我的意思是，我和你都相信是的，但是这是一种你必须考虑的可能性。不。嗯，

所以存在这种风险。而且像公司筹集的资金不足以支付整个集群的费用，但这仅仅意味着，你知道，Anthropic将在九个月后或一年后再次筹集更多资金，无论何时他们发布他们的推理模型，你知道，这是一个持续的融资过程，对吧？这就是萨姆·奥特曼的优势，他是一个顶级融资者。对。嗯，

所以这是一个方面。另一方面是，当你看到超级规模的企业时，对吧？Meta、谷歌、亚马逊、XAI，你知道，所有这些家伙都在建设他们自己的数据中心。他们是承担资本支出的人。获得电力基础设施、变电站、全部建成、使其工作、使所有芯片正确联网、处理所有故障芯片，这真的很难。因为当你谈论的是，你知道，这么多芯片时，实际上相当一部分是故障的。很多都是静默故障。让集群工作有很多困难。

所以，你知道，大型数据中心的人们已经知道这一点，对吧？超级规模的企业。XAI进来了，就像埃隆说的那样，“好吧，我们就这样做吧。”这就像，“好吧，我们找不到任何数据中心，因为所有数据中心都被占用了，对吧？对于我们需要的期限。那么我们该怎么办呢？对吧？而且……

他们所做的是像埃隆最令人惊叹的事情一样，对吧？那就是他们找到了一家随机的电器工厂——位于田纳西州孟菲斯的一家关闭的电器工厂，对吧？位于一个巨大的发电厂、一个水处理设施、一个垃圾场旁边。就像字面意思一样，就像大多数旧金山的人会说，“这是地球上最糟糕的地方”，对吧？不是真的，但是……

你知道，你与实际去数据中心的人交谈，比如XAI的人，这个地方有点糟糕，对吧？顺便说一下，孟菲斯有非常好的鸡翅，你知道，各地的食物都很好。是的。孟菲斯很棒的食物，但是鸡翅、烧烤等等。但是，

你知道，这就像，“好吧，我们买了这家电器工厂，但是我们为什么买它呢？”好吧，首先，旁边有一个千兆瓦的天然气发电厂，对吧？其次，有一条天然气管道，一条主管道，他们接入了这条管道，并在现场建立了自己的发电能力。你知道，第三，他们正在升级变电站，从电网获取更多电力，对吧？所以他们就像在做，他们建立了自己的该死的移动发电机来发电，建立特斯拉电池组，对吧？

他们现在正在计划，他们已经提交了许可证申请，要建造他们自己的该死的发电厂，对吧？现场，不仅仅是移动发电机，而是一个大型的天然气联合循环发电厂，你知道，这样他们就可以使用一百万个GPU，或者是他声称的，对吧？或者是他所说的他要做的事情，这，你知道，我们会看到的。我不会反对埃隆，对吧？有，他正在做所有这些事情，就像，

现在获得数据中心，对吧？因为没有电力。变电站还没有准备好，对吧？电力就在那里，但是变电站太小了，而且升级速度太慢了，因为美国电网的升级需要很长时间。他们至少需要六个月到一年。他们已经考虑过了，但这只是一年中的六个月。就像，“好吧，我们就在现场发电吧”，对吧？所以他们接入了隔壁的天然气管道，并设置了所有这些移动发电机，对吧？哦，这些发电机的电力相当脏，GPU训练就像，我停止训练的那一刻，电力就降为零。是的。

或者，你知道，也许如果我正在进行梯度更新，现在我的所有GPU都空闲了，就像它们正在交换权重，这就像，“哦，该死，电力降为零了。”然后就像，“哦，该死，电力达到了100兆瓦。”而且这种事情可能会破坏电网。所以，你知道，埃隆就像，“哦，我们只要扔一堆特斯拉电池组就行了。”他们正在做各种疯狂的事情。哦，我们如何，你知道，我们如何冷却这个设施？因为它没有，

准备好冷却这么多东西。哦，我们将水冷所有东西，然后我们将租用许多冷却器，水冷却器，其中许多是餐厅级别的，就像该死的集装箱一样，然后将它们放在外面，然后冷却，对吧？这就像他们在做所有这些疯狂的事情，而且比这复杂得多，对吧？而且它有效，对吧？他们处理所有问题的方式非常令人印象深刻。我想还有一个有趣的故事是，我提到的电力问题。Meta意外地开源了这段代码。它字面意思是“发电厂不爆炸”。这是一个标志。

所以当你进行梯度更新时，对吧？当你交换权重时，而不是让GPU空闲，对吧？基本上，当你通过网络发送所有权重时，他们只是让它们进行虚假的矩阵乘法。所以电力保持稳定，对吧？否则，如果这样做的话，发电厂可能会爆炸。这就像，“什么鬼？”所以，这就像正在发生的事情一样疯狂。这就像……

你知道，在这些，你知道，100亿美元的建设中，发生了很多复杂的事情，这令人着迷。如果你现在正在与政府合作，我的意思是，什么，显然能源方面就像一个巨大的政策和官僚障碍，阻止更多这样的数据中心出现。政府能做些什么来解除这些障碍？而且，你知道，每一个未来的数据中心建设都必须像埃隆那样打包在一起吗？我的意思是，要明确一点，对吧？

通常建造的、传统建造的数据中心的数量是这样的。这就像我们想要的是一条直线向上，对吧？完全正确。所以，例如，GE的燃气发电机已经售罄四年了，对吧？这就像，“哇”。维尔诺瓦，我想现在是吧？变电站设备，也是一样，对吧？它已经售罄四年了。所以现在你必须变得有创意，对吧？是的。

所以，即使它增长非常迅速。所以有些事情是被，我认为在中西部的一个地方，可能是俄亥俄州或印第安纳州。如果建造一个新的发电厂来通过电网将电力输送到客户，那么成本将超过实际发电的成本。这就像，“什么情况”，对吧？这就像，所以电网需要巨额投资，对吧？需要取消许多环境规章制度。嗯，

但在某种程度上，也需要一种氛围转变，就像ESG类型的东西，对吧？这就像，是什么，就像，这是人工智能实验室人员的态度。我不知道这是否属实，或者是否正确，但是，

也许你只是说，去他妈的。为了更快地构建AGI，我们用天然气来做。然后因为我们用天然气来做，然后AGI将创造足够的经济财富和繁荣，我们可以进行碳封存，一切都会好起来的。这是一种非常大胆的看法，但这就是一些人的想法。在某种程度上，Meta已经……

你知道，无论如何，他们解雇了整个多元化、公平与包容团队。他们取消了政治审查。已经发生了巨大的氛围转变。他们正在做的一件事是，他们正在建立2千兆瓦，对吧？我之前告诉过你，抱歉，3是他们最初的全球总容量，是24。他们仅在路易斯安那州就建立了2千兆瓦，用于

基本上全部由天然气供电。这就像，“是的，现在他们可以在两年内完成”，对吧？他们已经想出了如何获得变电站以及所有这些东西，无论如何。他们已经获得了所有供应链的东西。这就像，“是的，如果我们把ESG抛诸脑后，就可以更快地发展”，对吧？而且你是在那些环境保护措施不那么严格的州进行的，德克萨斯州和路易斯安那州等等，对吧？许多其他州，你知道，遍布全国各地，但是这就像，

你知道，这是其中的一部分，对吧？直到现在，对吧？谷歌和亚马逊仍然非常致力于他们的绿色承诺。微软处于中间位置，而Meta和XAI显然不在乎，对吧？所以这就像，或者他们不是，不是说他们不在乎，对吧？就像显然像XAI一样，特斯拉为绿色环保所做的远比他们破坏的多，对吧？所以这就像各种各样的，你知道，这很复杂，但是，

有没有办法改变这两种氛围，从而使它们发展得更快？或者有没有办法让它不必做疯狂的事情，比如电网升级，现场发电，所有这些不同的东西，比如帮助更快、更便宜地建设太阳能、风能和电池，除了使用天然气之外，对吧？有很多复杂的事情要做，对吧？

在能源方面，并且仍然可以使其变得绿色和快速，对吧？你可以安装大量的太阳能，你可以安装大量的风能，你知道，可再生能源的发电量是这样的，但是风能和太阳能实际上并没有很好地关联，所以大多数时候你都有电力，显然有时电力过剩，嗯，但是大多数时候你都有电力，然后你安装少量电池，现在几乎一直都有电力，但是仍然有一些时候太阳没有照射，风也没有吹足够长的时间，你的电池耗尽了，所以现在你有一些备用天然气

对。这就像这些方法可以使其更环保，并且仍然可以快速完成。但是是的，我认为我认为围绕这一点的电网和产业政策是需要做的最重要的事情，以加快这一进程。就像我们已经制定了国际规章制度一样，这是下一个关注领域。你会这么认为，对吧？这就像我自己更倾向于……

我们应该更努力地获胜，而不是我们应该试图让他们失败。是的。对。这就像，我认为大多数人认为这是一个更好的理想，并且像什么，

代表更多，但是你知道，我们有点像，是的。所以我们有这些10万个GPU集群，显然现在我们将在2025年的某个时候看到这些模型的输出。我假设这显然会影响大量未来的投资，这取决于我们在那里看到的东西。但是显然人们必须提前投资。所以我们已经知道我们在明年将要做什么，当你考虑，你知道，呃，只是戴上你的赌博帽，从现在起两年后，五年后，你认为我们将拥有多大的集群？两年后？是的。呃，

我想这将是，你知道，有一些事情，对吧？就像，你知道，你可以按芯片数量来说，但这不公平，对吧？A100是400瓦。H100是700瓦。Blackwell是1200瓦，对吧？你知道，每芯片的功率正在迅速提高。所以说芯片数量是不公平的。是的，我想是能量。

对。所以能量是一个很好的指标，因为它就像你每分钟能获得多少有用的工作，能量正在迅速增长。对。但是，你投入到其中的能量。对。所以，150兆瓦是这些10万个集群。对。我们看到现在正在建设的集群规模是400兆瓦、500兆瓦，对吧？就像，你知道，到2026年，我想这将是千兆瓦规模的集群。

对。或者根据……或者，你知道，2026年左右是1千兆瓦，Meta试图在2027年初到中期达到2千兆瓦。所以这就像，其他人都在全国各地做类似的事情。这就像这些建设正在迅速……迅速升级到……巨大的。

惊人的电力数量在一个地方，对吧？所以，你知道，然后，然后，显然像每芯片的美元以及芯片的功率，所有这些都是随时间变化的变量。但是是的，建设规模正在扩大，对吧？当你从2万个GPU开始，每个400瓦，你知道，那是，你知道，大约是20兆瓦到2022年到2026年、27年的2千兆瓦，这就像，“天哪”。你刚刚扩展了，你知道，

在五年内，功率增加了两个数量级。如果我们在27年底坐在这里，OpenAI筹集了多少钱？我认为，我认为这真的很难说，你知道，我真的认为这将超过1000亿美元，对吧？这就像，是的，就像，呃，很明显他们一直在试图说服所有这些主权国家进行投资，而且他们一直在被动地获得它们，但是，就像，

我认为，你知道，你会看到O3发布。你可能会看到另一个推理模型发布。你可能会看到GP5发布。这就像，他们怎么能不以更高的估值筹集更多资金呢？收入飙升，对吧？这就像，我认为，我认为这就是将会发生的事情。我认为类似的事情，显然OpenAI将领先，但是其他人也将获得，你知道，类似的轨迹发生，比如Anthropic、XAI。嗯，

我认为将要投入的资金量将会非常疯狂。在模型方面，我们显然已经看到了测试时间计算的大规模扩展。它似乎与易于验证的数据、编码、数学非常有效。我认为有一个很大的问题是，还有哪些其他任务会落入这些测试时间计算模型中。你对此怎么看？我真的很喜欢……在开场时，我发布了五级论述。我认为很多人感到困惑。到底是什么……就像推理，然后是代理。因为每个人都……他们启动是因为像……

聊天机器人代理，对吧？我认为这就像，我认为这很有道理，因为测试时间计算，就像你一样，你就像在验证你的输出，并确保它们是准确的。对。所以我认为，我认为像，这些，这些像测试时间计算方法，对。合成数据生成，然后丢弃很多，验证它并使用它。对。这就是其他模式可以介入的地方。对。所以像计算机使用，

是基于所有这些合成数据生成管道和测试时间计算工作的。代理都取决于模型的可靠性是否足够高，以至于你实际上……

你知道，获得答案的可靠性并将多个代理链接在一起。对。这就像这些不同的范例我认为会堆叠在一起。对。就像，你不能在没有测试时间计算的情况下进行计算机使用。你不能在没有测试时间计算的情况下使用代理。当你结合测试时间，你知道，计算机使用代理，它就像，哦，哇。你知道，它就像，

现在它就像在电脑上自主工作，甚至不需要，你知道，手动编写它访问的所有 API 等等，对吧？我认为，我认为它可以完成的任务一旦你掌握了推理的核心，就像没有解决，但处于一个非常强大的点。

以及执行所有这些操作的管道。对。嗯，所以我认为这可能是现在什么样的用例，就像，我认为这就像任何，你知道，SaaS 业务模式，当然，编码很棒，但它就像，软件工程呢？对。因为编码与软件工程非常不同。嗯，你知道，它就像客户服务，像很棒的聊天机器人那样做，但并不完美。对。就像，哦，搜索文档，对吧？RAG 还行。但是，实际上你需要……

RAG 真的很糟糕，因为无法验证你是否正确地提取了正确的内容。你的检索实际上有效。嗯，人们可能会说，哦，我们的检索非常准确，但它仍然不够准确，无法用于代理。嗯，所以就像，你知道，当你将这些东西组合在一起时，我认为像任何，而且，它实际上是任何信息任务。我看不出它为什么现在不起作用。显然，在 25 年、26 年完成的工作与在 2030 年完成的工作非常不同。嗯，我，

我不知道我是否最适合说具体的用例，对吧？我认为我只能看到墙上的字迹很清楚。开源方面怎么样？我的意思是，显然开源模型在赶上 GPT-4 级别的模型方面相对较快。

我认为一个很大的问题是，即使在法规本身中，这些测试时间计算模型也是如此，对吧？我的意思是，我认为他们表达的方式是，你知道，开源模型，所有公平游戏。而且还有更多，你知道，开源模型的能力取决于当时的水平。然后基本上它几乎假设在未来几年闭源模型和开源模型之间会存在巨大的差距。你也是这么看待的吗？我认为是这样。我同意，对吧？我认为 Meta 会发布 Llama 4，它会比 GPD 4 更好，对吧？你知道，显然，你可以说开源模型已经弥合了差距，但它就像，有人有语音模式吗？有人像……

相当水平的推理成本，就像 Anthropic 和 OpenAI 那样吗？不，没有，因为他们的模型非常高效，对吧？O4O 在活动参数方面比 Llama 405B 小得多，对吧？小得多。所以它就像，仍然有开源模型落后，也许不是在能力上完全落后，但在某些方面。我认为实际发生的情况是推理模型……

不一定完全开源。即使像，你知道，像你看到的 DeepSeek 模型，你看到的 OpenEyes 模型，对吧？只要 Meta 认为有意义，它就会发布更好的模型，但它们只会发布聊天和完成模型，还是，你知道，内部有他们自己的代码模型，该模型是在他们自己的代码数据库上训练的。除了 Llama 中的所有内容之外，它就像，好吧，那没有发布。而且那个更强大，对吧？至少在编码方面。对。它就像，所以有像这样的事情，像，

我认为这意味着像，好吧，Meta 不会仅仅开源他们所做的一切。对。对。我认为这并不一定意味着你正在构建推理系统。对。或者代理系统。对。它可能意味着这是基础权重。恭喜。我们没有进行任何推理训练，或者像这是指令模型，或者我们甚至进行了一些推理。对。但它就像我们，我们，

我向你保证，如果 Meta 拥有世界上最好的模型，他们不会开源它。就像那样，我会，我会打赌，你知道，感觉就像，嘿，有一个推理模型落后六到九个月。就像，你知道，什么时候，呃，会有像 O3 的开源等效物，六到九个月？是的。我的意思是，这是一个很好的问题。我不，我不太确定。嗯，我不这么认为。是的。嗯，我认为 O3，尤其取决于你投入的计算量。就像如果你查看了 ARC 挑战，就像，

对我来说不太可能。是的。但与此同时，谷歌已经拥有一个推理模型。据称 Anthropic 内部有一个非常好的模型，甚至比 O3 更好。但是，你知道，当他们最终发布它时，我们会看到的。就像实际发生的事情将是

感觉整个问题是 Meta 愿意花费多少资本支出才能跟上这些人的步伐。我认为他们会在计算方面跟上。科学也很难，对吧？这不仅仅是……好吧，在某种程度上，我的意思是，你计算的数字，如果 OpenAI 到 27 年底筹集了 1000 亿美元，那么这笔钱用于免费开源模型就太多了。是的，我的意思是，但需要明确的是，Meta 的大部分 GPU 采购都是用于 Instagram Reels 的推荐系统。是的，这显然是一个很大的好处。对吧？它就像……

你可以说扎克伯格可以这样说，哦，是的，我在某个流媒体上购买了这么多 GPU。但是当你深入研究时，它就像，好吧，超过一半的 GPU 用于推荐系统，冷静点。他们不像，你知道，你不会在 LLM 和我们的 Transformer 上花费 300 亿美元，你是在所有产品上这样做。对。嗯，我认为，我认为，是的，我只是认为 Meta 不会开源他们所做的一切。对。嗯，我认为 Llama 4 将会开源，但是一旦他们拥有某种能力水平的东西，我看不出为什么

他们会开源它，因为他们从他们的吸引大量人才中获益，他们可以让整个社区告诉他们他们在模型方面做错了什么，对吧？就像你看到的 Llama 2 Llama 3，人们会说，哦，是的，你做错了你的强化学习，这些方法，对吧？你正在以这些方式切除模型的大脑，人们会说，而 Meta 正在从中学习，对吧？你就像，你知道，我认为，他们正在吸引所有这些人才，你知道

如果他们拥有最好的模型，他们就不会这样做。或者如果他们落后六到九个月，也许他们在能力上落后六到九个月，但推理成本要高得多。或者推理成本相同，但他们的能力更差，对吧？它就像，如果你查看任何具体的基准测试，它就像，哦，5 个百分点，很好。但它就像那些在 70 年代和 80 年代的基准测试无关紧要。这是关于，哦，你在这个基准测试中是 10%，而不是 50%，对吧？就像当你查看 SweBench 和类似的东西时，它就像，哦，你——哦，过滤器变得非常大。

是的，增量非常大，对吧？或者像 ARC，对吧？它就像，哦，是的，只有两个模型在得分上达到了任何合理的程度，对吧？它就像，我认为这些事情很重要。它就像，你能完成一项任务还是不能，而不是像，哦，是的，它在这项任务上提高了 5%。当你考虑更广泛的、你知道的所有你正在思考的大问题时，我想知道是否有一组两到三个问题，就像，

大多数，如果你能快进两到三年并得到答案，你知道，我假设其中一个将是这些模型在十万个 GPU 集群上的性能。但是，还有什么，你感觉像是，如果你有时间机器向前走两到三年，你会最想知道答案的大问题是什么？

我认为很多都是关于他们在模型层面的工作方式。对。因为在模型开发方面有很多悬而未决的问题，这如何改变硬件开发，这如何改变网络开发，这如何改变数据中心建设。你需要所有数据中心都彼此靠近吗？你需要它们吗？它们可以地理上分散吗？它们之间需要什么级别的带宽？什么模型，你知道，研究成果出来了，对吧？就像一年前你向我解释推理和测试时间计算以及它是如何工作的，

对我来说，我认为这将是巨大的，对吧？但是，我不知道那甚至是一个需要问的问题，对吧？就像，好吧，我知道合成数据是一回事，但我认为它并没有那么重要，对吧？这是一件大事，但不像，那更多的是用于蒸馏东西，对吧？但事实并非如此，对吧？还有很多其他用例。所以它就像，我不知道模型方面的哪个问题是最重要的，对吧？就像是什么真正让代理可靠有效地工作，对吧？具体是什么技巧

让计算机使用模型，因为 Anthropic 的计算机使用模型今天很糟糕。对。但是，我的意思是，它至少是一些东西，对吧？其他人没有东西。嗯，但是现在你有了东西，很清楚地可以看到你如何攀登并说，哦，这很好。那么，人们发现了哪些技巧，这又如何影响呢？对。就像什么是平均值，就像当你进行推理时，现在的平均序列长度是多少？对。就像推理是什么，或者像测试时间计算在搜索方面是什么样的，对吧？这些问题就像，我不知道答案是什么。嗯，

而且我不知道，我想我肯定不够聪明，无法知道两年后的问题是什么。就像除了像，秘密是什么？最大的发展是什么？对吧？它就像，啊，有了这个发展，我想，呃，你知道，更多计算被用于创建合成数据和差异，就像，你知道，这显然对数据中心硬件方面有巨大的影响。感觉我们可能能够实现更分布式。例如，对吧？就像当你进行合成数据生成时，你

你正在验证你生成的哪些推理链是好的。你丢弃了很多，然后你对它们进行训练，你用所有这些奖励模型对它们进行评分，然后你对它们进行训练。其中有多少是在线还是离线？你能完全将合成数据生成与所有奖励模型的后期训练强化学习分开吗？不，你不能，因为你需要不断更新生成推理数据的模型。但是，你需要多长时间更新一次？你需要每——

30 秒更新一次，对吧？如果你查看 Llama 的训练，我认为梯度每 15 秒更新一次，对吧？它花费了几秒钟，然后你训练 10 秒或 15 秒或其他时间，对吧？它就像，哦，好吧，你在网络和计算上花费了这么多时间。就像我可以考虑你现在需要如何设计你的网络。但是这个比率是多少？这意味着什么

推理，当你生成数据时，你花费多少时间生成数据，然后进行后期训练，然后在你更新模型并将其发送回数据生成节点再次进行处理和评分其输出之前。这些东西对我来说是未知的，可能除了 OpenAI、Anthropic 和 SSI 之外，对任何人来说都是未知的。未来是什么，那里有什么重要的事情？你能……

就像，你会如何设计一个集群来适应这种情况？或者你会如何设计你的网络？或者你可以不共址，对吧？也许只是这两个数据中心之间非常非常好的光纤布局就足够了。或者也许它们确实需要共址，具有超高带宽，对吧？就像，这些都是我，不知道的问题，对吧？范例存在，但是，有很多细节。

完全正确。不，我的意思是，我认为这显然有影响。我觉得你一定经常被问到这个问题。我认为你在其他播客上公开谈论过。你知道，我相信人们会说，好吧，英伟达，就像，你知道，描绘了他们输掉比赛的最可能的画面，或者，你知道，这里有哪些实际的，你知道，长期的护城河。我知道你已经谈论过，显然，硬件、软件、网络方面的事情。我相信你已经看到很多硬件初创公司和人们正在追逐它的不同部分。其中哪些最让你感兴趣？

我认为有几类。有老牌的 AI 硬件初创公司，Cerebrus、Grox、Menova、TenseTorrent，所谓的“老牌”。他们已经存在一段时间了。然后是新一代的。有 Etched 和 Positron，以及

Maddox，还有许多其他的。有一些非常高调的初创公司，我认为仍然处于隐身状态，所以我不会说任何话。但是有很多 AI 硬件初创公司，他们的方法大相径庭。他们的思维方式非常不同。他们关注的重点非常不同。每家硬件公司都有一个所谓的“噱头”，对吧？因为……

你不会在所有方面都比英伟达做得更好，并且以相同的方式做事来击败英伟达。所以你必须做一些非常不同的事情。与此同时，英伟达每一代都在进行，你知道，对架构进行足够大的改变。所以它不一定是相同的，但是，你知道，他们正在对他们的基础设施进行足够大的改变。所以，你知道，问题是是否像

你知道，什么是人们正在做的所谓的“噱头”？他们是如何解决它们的？或者这些是否给他们带来了，这是否足够区分它们？与此同时，你还有像所有模型都在英伟达硬件上开发的大问题，

意识到英伟达硬件的缺点和好处将会发生什么，以及下一代产品将会做什么。因此，所有模型的研究理念，就像，嘿，这个研究理念会奏效，但它就像，如果它在 GPU 上运行效率非常低，我不会追求它，因为我实际上并不关心我做了多少次运算。我关心的是它花费了多少时间，对吧？如果像，即使这在理论上是少 10 倍的运算，但它花费了 10 倍的时间，因为它只是一个在 GPU 上运行效果不佳的算法。突然之间它就像……

突然之间它就像，这没有必要追求。是的。所以整个研究领域是，是的。所以像，像英伟达的主导地位影响了研究的方向。对。所以像，你必须有所不同，但你不能太不同，因为那样的话你就像，你知道，像，好吧，那么模型就不会按照我想要的方式发展了。现在我完蛋了。对吧？像，

你能有一个参数极少，但需要更多带宽的模型，并且可能完全在芯片上运行，但是，你将如何训练该模型？对。它就像，好吧，我将用英伟达 GPU 训练它，这没有意义，因为我可以做得更好。我将如何部署它？好吧，我宁愿部署，让它能够部署在我已经购买的所有 GPU 上。对。所以它就像，你知道，你也有鸡和蛋的问题。

我认为有些人明确地针对推理和训练，这将很有趣，因为……

嗯，当你与像，你知道，英伟达交谈时，你与各种超大规模企业的芯片团队交谈，就像 TPU 或 Trainium，你知道，等等。对。像这些各种，像其中一个实验室有一个 AI 芯片团队，像所有这些公司，所有这些人相信训练芯片就是推理芯片，这非常有趣。嗯，我认为这是因为他们，他们看到了灵活性，他们看到了工作负载的变化。它就像，所以像推理芯片，像它物质上意味着什么？因为有一些正在开发中。对。嗯，

当你推出你的芯片时，也许你预测了与 Hopper 相比 5 倍或 10 倍的成本差异。他们已经捕获了它。但是现在像 Blackwell 和英伟达正在宣传成本提高 10 到 15 倍。它就像，好吧，你知道，他们在操纵数字营销。实际上，我认为他们在 GTC 上说的是 30 倍，但是，你知道，操纵数字，10 倍，15 倍甚至可能是合理的或不合理的。嗯，取决于工作负载标准聊天推理。可能不是那样，但是对于像，呃，

对于中小型模型，但是对于非常非常大的模型或推理模型，我认为它实际上将是 10 倍，15 倍。所以它就像，哦，哇，好吧，所以你已经大幅缩小了差距，对吧？所以这是一个很大的……

这是一个很大的问题，也是像，所以，所以有趣的是，是的，许多公司正在采取非常酷的方法。对。就像我提到的那三家新兴公司，Maddox、Positron 和 Etched 正在采取非常酷的方法。对。并且可能会奏效，呃，或者模型可能会以对它们不利的方式发展。对。嗯，

所以这是一个大问题，对吧？我认为你称 Trainium 为芯片的“亚马逊基础款”。所以你显然是硬件专家。但是，我很好奇的一件事是，Anthropic 使用它们在多大程度上是一种牺牲，而不是，嘿，这并不重要。

嗯，它是亚马逊基础款 TPU，因为它的网络拓扑结构看起来与 TPU 完全一样，而且他们有很多不同的设计选择，就像，这只是 TPU 的东西。对。嗯，显然他们正在做很多他们自己的独立工作。有很多独特的东西，嗯，他们已经实现了，比如随机舍入以及所有其他东西。但是，它就像，你知道，这些是独特的东西，但是，嗯，它是亚马逊基础款 TPU，对吧。呃，来自谷歌，对吧？谷歌 TPU。嗯，所以像

因为它更差，但它更便宜。现在，Anthropic 今天几乎不使用 Trainium，对吧？他们在推理中几乎不使用 Trainium。他们主要使用 Hopper。谷歌的 Hopper，亚马逊的 Hopper。他们当然在谷歌使用了一些 TPU。但是现在今年，很明显他们已经把所有的鸡蛋都放在了 Trainium 的篮子里。

其中有多少是被迫的，对吧？就像，你知道，我该如何做，我是否需要这样做才能让亚马逊投资我并让我成为他们的合作伙伴？部分地。是的，绝对地。绝对地。对。但是我是否出于自己的意愿这样做，因为它实际上是有意义的？我认为部分地。是的。因为像亚马逊基础款 TPU 在某些指标上，它给你提供了最好的，呃，

每美元的性能，对吧？这些指标是每美元的内存带宽和内存容量。它实际上比市场上的任何其他芯片都好，包括 TPU 或 GPU，对吧？因为它是亚马逊选择的一些供应链选择，对吧？是的。以及围绕它的东西，对吧？所以它就像，什么……

你知道，我认为，我认为这并不像 Anthropic 被迫那样简单。我认为，我认为他们必须权衡利弊，对吧？他们就像，我们可以与亚马逊非常紧密地合作。我们可以从他们那里筹集更多资金并做到这一点。我们将筹集较少的资金，并尝试从他们那里获得 GPU。对。它就像他们必须与某人合作才能进行资本支出，当然。对。因为整个租赁与资本支出，就像集群。嗯，所以他们肯定必须处理这个问题。然后他们必须拥有亚马逊的分销渠道。对。他们需要这些东西。嗯，

但是，我相信如果他们真的想的话，他们可以与亚马逊达成更小的协议并获得 GPU。现在，这更好还是更好，就像筹集更多资金，使用 Trainium，全力以赴，你知道，尝试强调你的未来模型架构在 Trainium 提供给你的优势与 GPU 相比？因为有一些，对吧？大多数情况下，不，它们更差，对吧？直接更差，但确实存在一些优势。所以这就是那种问题……

你知道，这是一个很好的问题。我认为主要是因为它就像手忙脚乱，有点像，是的，我们可以通过工程手段解决这个问题。对于 OpenAI 来说，构建自己的芯片是否有意义？我认为有意义，对吧？我的意思是，如果你认为，

你知道，他们的增长是线性的，就像，你知道，它将从像，你知道，你知道，你认为 OpenAI 今年的收入是多少？如果它少于 100 亿美元，而第二年少于 150 亿美元，则不应该制造芯片。对。但是，如果你认为他们今年的收入将超过 100 亿美元，达到 100 亿美元，我的意思是运行速度。因为

我们是，我们是，我们是风险投资公司，对吧？我们不，我们不考虑事情，没有运行速度更重要。我认为它只是更重要，对吧？无论哪个更高，我们都会接受。是的，完全正确。我的意思是，它更能说明业务的当前状态。对。所以像，你知道，如果他们像远远超过 100 亿美元的运行速度，而第二年呢？像超过 200 亿美元，你知道，成本开始迅速增加，而且制造自己的芯片非常有意义。对。所以像，

仅仅因为他们有芯片团队并不意味着他们没有与英伟达非常紧密地合作并与他们一起研究新的架构。OpenAI 内部有一堵墙。从事芯片工作的人不能与英伟达一起研究他们的下一代架构。英伟达对这种竞争并不陌生。它所有主要的客户。完全正确。Meta 正在这样做。谷歌正在这样做。亚马逊正在这样做。他们习惯了。他们的态度非常像，

祝你好运。我们将击败你。对。就像我们只是更好。对。到目前为止，这已经奏效了。对。嗯，

我认为他们对 OpenAI 的态度也是一样的。而 OpenAI 的态度总是像，好吧，你知道多少……这与超大规模企业一样，对吧？就像，好吧，如果我们在上面每年花费几亿美元，数十亿美元，这将给我们一个看涨期权。此外，我们总是可以将其用作谈判筹码，对吧？就像，如果我在 26 年、27 年花费数十亿美元用于我自己的芯片，对吧？

但是，你知道，另一种选择是，你知道，而且，而且，我并没有在很大规模上部署它们。我大多仍在购买英伟达的芯片，但如果我能获得英伟达芯片 10% 的折扣，那就能收回成本。是的。就像，是否，

Tranium 能帮助亚马逊在 300 亿美元的 GPU 采购中获得 10% 或 5% 的折扣吗？就像，好吧，太好了。这很值得，对吧？它甚至都没有……就像，你什么都不做它也值，对吧？显然，这是一场斗鸡游戏。就像，Jensen 知道你赚了多少钱以及所有这些事情。但是的，我认为这是最大的……

我认为，从我的角度来看，即使它不成功，这样做也绝对有意义。如果它成功了，那将是巨大的。是的。还有一大批公司也涌现出来，比如，你知道，Fireworks 和 Together 等公司，你知道，它们显然只是，你知道，专注于今天的推理优化和运行大量模型的地方。长期来看，这个市场会发生什么？

我认为企业 AI 在某些方面确实有相当不错的潜力。

因为，再次强调，企业拥有所有独特的数据和独特的用例。企业喜欢认为他们的数据很好，但大多数时候它都很脏很垃圾，需要明确一点。但现在有了合成数据管道、推理，所有这些东西，人们实际上可以弄清楚如何生成大量特定于业务的数据，并验证它是否良好。然后他们实际上可以改进模型，并且可以……

在更小的规模上为企业进行推理。我认为这非常有效，对吧？这非常好。现在，显然像 Fireworks 和 Together，我认为大约有 20 个推理 API 提供商只是在获取开源模型并提供服务。

你显然提到了最好的两家公司，对吧？两家公司构建了自己的推理引擎，非常高效，比 VLLM 或 Tensor RT-LLM 效率高得多，所有这些东西，都有良好的市场营销策略，所有这些东西。这些公司很好。我认为它们会很好，因为它们将继续成为 A，Meta 将开源模型，B，中国将继续开源模型，C，企业将能够与人们合作制作

更好的，你知道，现在的推理类型模型，比如 Together 帮助人们训练模型，对吧？Databricks 也一样，就像所有这些公司一样，帮助训练模型，还有许多其他类似的服务，或者人们可以与初创公司合作以帮助他们制作推理模型。我觉得整个，是的，整个 Mosaic 的宣传就像，你知道，训练你自己的模型。这有一段时间过时了，因为通用模型比 Bloomberg GPT 更好地完成了所有事情，速度也快得多。但是现在有了需要某种程度的推理链

验证这一点，你实际上可能会回到那个世界。是的，是的。我认为，就像，Mosaic 确实失去了它的某种程度，而 Databricks 也有一段时间失去了立足点。看看他们能否让强化学习和推理发挥作用将会非常有趣，因为我认为，就像，你知道，如果，就像，我相信 Databricks 的 Ali 也知道这一点，就像，你知道，这是……

让为你的客户进行训练再次有意义的事情。也许不是预训练，对吧？因为那是 Mosaic 正在做的。Mosaic 正在进行非常非常好的预训练。你知道，他们拥有世界上最好的模型两次，两次不同的实例，短期内开源模型，但他们两次拥有世界上最好的模型，一次是 MPT，一次是 DBRX。但是，你知道，就像，

他们已经有点落后了，因为就像，好吧，我无法真正与 Meta 竞争并花费它那样的资本支出，对吧？或者，你知道，像阿里巴巴一样，对吧？所以，但是现在，再次强调，就像我获取开源预训练模型，我为推理、合成数据和客户数据生成所有这些管道，再次强调，你知道，这很糟糕，但是，你知道，现在我可以以某种方式验证它，找出方法，并将其应用于每个人的业务用例。我认为这是……

这可能是，而且这些人需要服务模型，对吧？所以这不仅仅是 Databricks、Mosaic ML 会这样做，而是每个人都会这样做。将会有初创公司将其作为一项服务来做，例如 Adaptive ML，他们已经将这项服务提供了一年了，这真的很酷。这些人可以与企业合作。他们可以提供白手套服务。他们可以提供咨询服务，无论是什么，帮助他们构建像

你知道，针对这些东西的独特用例的独特定制模型。对。嗯，然后，然后这些模型需要部署，对吧。或者公司想自己做。对。总会有，而且总会有安全方面的问题。所以我觉得，我觉得 Together 和 Fireworks 将成为这些模型推理的首选合作伙伴。对。即使它不一定是他们的 GPU，就像，让我，你知道，在亚马逊上使用你的软件创建一个虚拟专用云，呃，

运行模型，对吧？因为你已经构建了所有这些可变批处理以及所有这些东西，而且效率要高得多，对吧？比公共软件。我要问一个关于 CoreWeave 的非常基本的问题，只是为了我自己的了解。那就是，是什么让他们如此成功？我的意思是，从外部来看，有时感觉 Jensen 做出了一个决定，要在许多参与者之间分配 GPU。他们在其中得到了回报。我认为这与，而你是这方面的专家，有关这些小型云在多大程度上能够超越仅仅是访问 GPU，这在最初感觉是重要的事情之一。所以我觉得，我觉得一部分是，嗯，

我认为，我认为有三个因素，对吧？一个是分配问题，对吧？Jensen 不是傻瓜。他的客户都在试图制造芯片。他们还将大部分芯片租给其他人。你想要更多竞争，对吧？所以让我激发竞争。让我对大约四家不同的云进行少量投资。我认为我已经投资了四家不同的云。嗯，而且这些投资并不大。它们相当小。嗯，

但这给了其他人信心，就像，“哦，是的，他们会获得分配。”然后这些 GPU 被分配在那里，GPU 在全球范围内非常紧张，他们能够以高价出租它们，赚钱并启动云引擎。所以 CoreWeave 现在拥有超过 20 万个 GPU，对吧？很多 GPU，对吧？他们的收入达数十亿美元。这不再是平凡的业务了。

所以，而且你知道，他们的价值大约是 200 亿美元或类似的数字。就像在上一轮融资中，无论如何。对。他们今年可能会上市，可能价值更高。对。比这更多。就像，这现在是一家真正的公司了。对。嗯，

他们如何实现差异化，对吧？就像一个是，是的，他们仍然继续获得最新的产品。他们仍然会获得。他们仍然会，你知道，也许谷歌每获得 10 个，微软获得 10 个，CoreWeave 最初可能获得 3 个。现在，在某些时候，生产能力不是 13。生产能力是 100。而且，你知道，我只是假装只有两个人。现在，你知道，微软获得 90 个，CoreWeave 只获得 100 个。

你知道，3 个，对吧？所以现在是，你知道，93 个，对吧？无论如何，对吧？就像，你知道，就像，但是像在新的 GPU 使用寿命的开始阶段。你知道，它是最有价值的，因为那时你可以以比以后更高的价格出租它。随着越来越多的竞争者进入市场，并且有越来越多的竞争者，它会缩小。嗯，这是一个。二是建设速度，对吧？就像，

微软的数据中心组织和 RAC 以及所有这些东西，就像服务器组织一样，亚马逊也是如此，它们是定制的。有数万人。他们一直习惯于修改服务器，对其进行定制以节省每一分钱。在 GPU 计算时代，就像，

好吧，如果我只是按照 Jensen 的说法去做呢，对吧？就像我构建，你知道，我可能会做一些调整。我可能会少放一点内存。我可能会改变存储方式。我可能会稍微改变一下网络。但总的来说，如果我只是采用参考设计并稍微修改一下呢？

嗯，我现在多付了一点钱，对吧，不是你知道的，但是然后我有了上市时间，对吧，就像 GPU 一旦由台积电生产出来，它就被封装好了，可以送到服务器制造商那里，参考设计已经准备好发货给我了，而像亚马逊，尤其是亚马逊，他们的 Blackwell 推出时间比许多其他参与者要晚得多，因为他们必须进行所有这些定制，是的，对，嗯，然后就像最后就像某种程度上……

我认为另一个方面是数据中心容量，对吧？我们谈到了这些 ESG 方面的事情。CoreWeave 提供，他们一直非常积极地进行 GPU 租赁，以当时看来是疯狂的条件获得信贷，例如两位数的贷款，就像什么来部署 GPU？这是一个正确的决定，对吧？现在他们已经站稳脚跟了，所以他们的贷款又变成了个位数，对吧？就像，你知道，较高的个位数，但就像，

获得数据中心非常困难。而且他们一直非常非常有创意。最初，他们只是获得任何东西和所有东西。所有这些容量都枯竭了，超大规模公司醒悟过来，他们开始尝试获得所有东西和所有东西。但是，CoreWeave 开始转向加密公司，对吧？就像，

你知道，他们联系了几家不同的加密公司，提出收购其中一家，提出，你知道，最终就像达成了一项协议，他们正在改造所有这些数据中心。就像，是的，把所有这些加密垃圾扔掉。我要把你的东西改造成数据中心，对吧？其中一个加密数据中心在七座建筑物的中间有一个 200 兆瓦的天然气发电厂，对吧？而这些建筑物中的每一座都是数据中心。所以他们同时，而且这是一个天然气发电厂。就像 Meta，他们正在做的事情是，好吧，燃气发电厂在……

20、30 英里之外。而且我，我，我与一家太阳能公司达成了协议。该公司正在安装，你知道，大量的太阳能电池板，就像，你知道，在类似的距离之外，但我并不一定在消耗这些电子。这不干净。对。嗯，

在 CoreWeave 的情况下，就像，不，不，不，我不在乎，对吧？就像电力就在这里，就在现场。我正在将这些加密数据中心改造成真正的数 据中心。有一个名为 PUE 的指标，即电力使用效率，它基本上是指你从电网/发电中获取多少电力与芯片消耗多少电力之间的关系，对吧？或者像服务器一样，对吧？所以像超大规模公司试图设计的比率是 1.1。

对。只有 10% 的电力损失在传输和冷却中。对。但是像这个加密数据中心，一旦他们将其转换，因为它就像一个非常，非常愚蠢的设计，因为加密人员不知道如何正确地构建数据中心。对。嗯，即使它正在被改造，它仍然会是 1.4。所以就像你从 1.1 到 1.4。就像，哦，如果它消耗 200 兆瓦，嗯，

20 兆瓦的电力被浪费在冷却和电力传输和转换上，现在是 50，对吧？60、70，对吧？就像，好吧，这是很多低效率，但就像，去他的吧。我们现在需要 GPU。这是值得的。我想，是的，在融资方面和电力转换方面的低效率。然后他们非常高效地做某些事情。就像他们是一个管理良好的小型组织。是的。对吧？他们的软件……

他们的 GPU 租赁云软件实际上比亚马逊和谷歌的都好。是的。这实际上很有趣。我们将有一篇文章讲述是什么让它变得更好。他们进行托管服务的方式，他们管理网络的方式，他们进行存储的方式。这里有很多事情只是像客观上比 CoreWeave 好。就像，什么？什么？

你们是如何构建一个更好的堆栈的？但就像，就像，好吧，你拥有这种遗产，你知道，创新者的困境，你不会构建一个全新的、专门为此目的而构建的东西。你像变形一样，并且对随机客户有所有这些奇怪的要求，例如随机国防公司。你还需要确保你的 GPU 可以租给他们，或者像，你知道，就像，

CoreWeave 就像，好吧，这就像，他们从头开始解决问题，他们有一个全新的团队，一张白纸，非常优秀的工程师。他们正在构建需要为这项业务专门构建的东西。对。他们没有像 2000 人的团队来处理存储架构，这些团队过去主要针对这些孩子，这个用例和加速器是不同的，对吧？就像你需要人工智能，并不完全相同。相似，对吧？就像，你知道，

但他们试图将这个庞大的代码库变形到那里，而不是像从头开始构建新东西。对。就像，对于世界上每一个初创公司来说都是如此。是的。我认为我认为大公司存在创新者的困境。是的。是什么样的，我的意思是，你显然也必须看到这种大规模硬件建设中一些有趣的投资机会。有一些显而易见的东西。有数据中心、液冷，任何你看到的二阶或三阶效应，你就像，这是一种巧妙的方式来应对大规模数据中心建设。

是的，我认为，我的意思是，就像一些事情一样，昨天我和一个在亚美尼亚建设数据中心的人进行了长达一小时的讨论，因为那里有一个核电站。就像，太好了。这太棒了。他说他正在做风险投资，他在纽约有一个风险投资基金，但他有点像，

去他的吧。我几乎要从事这项工作了。就像，哦，这太棒了。对吧？就像，你知道，所以有这样的愚蠢的事情。不愚蠢。就像它可能有效。对。尽管法规有点搞砸了他。我谈到了这一点。但是，我认为像许多围绕网络和光学的有趣的游戏，对吧？网络和光学领域正在发生很多事情，这就像一个很大的瓶颈。特别是随着我们继续扩大 GPU 的密度以及……

需要在 GPU 之间通信的数据量，因为模型变得越来越大，并且 B 上下文长度越来越长，因为推理。嗯，你知道，这有点像，以及搜索，所有这些都需要更多互连的 GPU。嗯，我会说围绕变压器有很多有趣的东西，对吧？我告诉你，它们已经售罄四年了，但是像有很多有趣的初创公司正在研究固态变压器和部分固态变压器以及各种硬件，这很性感，对吧？就像有……

有一些有趣的事情。有一些关于碳封存的酷公司，因为是的，Meta 和微软，尤其是 Meta 和 xAI 已经说过，去他的环境吧。不是去他的环境，而是我们将尽可能快地构建人工智能。在某些时候，他们会说，是的，让我们再次变得环保吧。与数据中心游戏相结合的碳封存方面实际上非常有趣。各种各样的

有趣的东西围绕着，你知道，存储，公司在那里做什么，呃，因为视频模型将需要很多有趣的工作，对吧，就像，你知道，为正在发生的众多创新而量身定制的解决方案，嗯，以及针对所有这些事情，我认为如果你查看堆栈的每一层，今天都会发生更多创新，嗯，不仅在每个堆栈中，而且还像桥接堆栈的多个层，嗯

来实现巨大的改进。其中一些发生在大公司中，其中一些发生在初创公司中。我认为其中一些初创公司将被更大的公司收购，一些公司实际上会找到产品市场契合点。我认为其中一些公司将许可技术。无论是什么，我认为有很多有趣的硬件技术。然后我认为真正有趣的领域是

软件基础设施也变得非常多样化，因为并非每个人都能构建自己的堆栈。我认为人们非常了解硬件，

了解如何使事情快速运行。也了解模型中正在发生的事情，以及带来，你知道，你带来你的数据和所有你的能力，我给你带来一些东西，让你构建和服务你的实际用例。对。所以这个软件基础设施不是，你知道，并不总是性感的。它总是像，你知道，SaaS 更性感，或者像，你知道，像，

我的意思是，我认为软件基础设施在某种程度上是 SaaS，但实际上并非如此。我认为这些是正在发生大量创新的业务类型。基础设施层一直很难投资，因为模型变化如此之快，以至于你为这一代模型构建的任何脚手架或东西，你都会想，这与你相关吗？

在 6 个月、12 个月内。这就是为什么一些公司像，你知道，押注那些更远的东西。对。就像，就像我提到的自适应一样，对吧？就像他们一样，他们正在进行预处理，就像一些搬到阿联酋的法国人一样，他们在阿联酋构建了 Falcon 模型。对。然后他们像搬回法国，现在他们在纽约。对。但是，当他们为阿联酋构建 Falcon 模型时，他们正在进行预训练。他们做了 1800 亿参数的模型到 Chinchilla 最佳。这很有趣。对。它发布时并不是一个好模型。它就像，你知道，无论如何。对。就像 Llama 也出来了。对。它就像，

它非常好，但我就像，是的。他们就像立即预训练并不重要。对。就像，我们将研究合成数据和推理。就像，什么？好吧，当然。然后有一段时间，我就像，你们在做什么？就像，我不知道。然后突然间就像，哦，等等，等等，这是对的。就像，所以你必须像，你看到了什么。是的。就像，就像有很多公司一样，

正在做一些今天可能无关紧要的事情，你只需要像，今天似乎不是焦点，不是流行的东西，但将来可能是，而且将会是。——100%。关于，你怎么看待这些人工智能硬件工作？就像那些使用的人，你知道，人工智能用于芯片设计或，你知道，电路板布局或其他一些事情？

我认为 Y Combinator 突然决定在最近的几批中同时投资 12 家不同的用于芯片设计的人工智能公司，这非常有趣。其中一些很酷。我实际上甚至亲自投资了其中一家。需要明确一点，我不是讨厌这个想法。只是这件事发生得非常有趣。但是……

你知道，人工智能芯片设计非常昂贵，对吧？非常困难。在过去的二十年中，从事芯片设计工作的工程师数量并没有显著增长，对吧？在美国。所以这是每个 AI 应用宣传的开始。就像无论你插入你的职业是什么，它都在增长停滞。对。但是，但是输出却得到了显著改善，对吧？那是因为 EDA 软件，对吧？电子设计自动化。

而且 EDA 软件，尽管你可能讨厌它，尽管你可能说它像旧的垃圾软件一样，但它实际上非常棒，因为它就像芯片设计师每年获得的生产力提升非常大，对吧？这是在人工智能之前。现在，Cadence、Synopsys 和西门子，Mentor Graphics，对，都在投资人工智能芯片设计，但也有一些公司在做这件事，对吧？英伟达已经撰写了多篇关于其内部工具的论文。而且他们也隐藏了很多东西。他们没有说过很多。谷歌也是如此，对吧？

这绝对会非常巨大。现在，人工智能会立即设计芯片吗？不会。但它会成为一个非常热门职业的倍增器吗？就像，而且是的，就像，而且就像另一件事是，今天，很多工作负载都必须使用像，像 CPU，然后 GPU 是通用的并行计算平台。现在，显然他们正在为某些类型的人工智能模型进行越来越多的增强，但是像 GPU 不擅长运行 CNN。是的。对。

对吧？就像，而这是英伟达的一个有意识的设计决定，对吧？就像他们很好。他们很好，但他们并不擅长运行 CNN。他们不是变压器。对。而且，我相信这就像一个有意识的设计决定。嗯，你知道，你如何从像 CPU，它是通用的 GPU，到像并行处理的通用 GPU，到像，下一步是什么？而且英伟达正在扩展其 GPU 架构。他们有不同的架构，例如汽车架构与游戏架构与……是的。是的。

你知道，纯数据中心人工智能。所以他们不像只是原地踏步，但就像，我们如何才能使架构更广泛地针对用例？而今天，为了让你设计一个芯片来满足一个目标市场，这个目标市场需要达到数十亿美元。如果你能降低成本。对。就像谷歌制作了一个 YouTube 芯片，对吧？因为这对他们来说是一个数十亿美元的、数十亿美元的目标市场，仅限于内部。这就是 ASIC 有意义的原因。但是当芯片设计成本可以降低，而且就像人工智能用于芯片设计会做到这一点，对吧？就像我认为它不会像

你知道，它不会从零到一。它将成为一个倍增器。我认为这是我非常非常兴奋的领域之一，无论是平面规划还是 RTL 生成或许多其他事情，例如验证。验证就像芯片设计的支出的一半。就像很有趣，就像超过一半的成本是确保你设计的东西实际上有效。我就像，好吧，有趣。就像有很多像这样的东西，我认为，

可以做到。而且是的，就像，我对这个领域非常兴奋。我觉得这是一次引人入胜且范围广泛的对话。我们总是喜欢以一组标准的快速问答结束。所以也许首先，今天人工智能领域中有什么被过度炒作的东西和什么被低估的东西？过度炒作的废话。嗯，

被低估的各种其他形式的语义搜索和检索。最近出现了一些有趣的论文。今年模型的进展会在 25 年比 24 年更多、更少还是相同？更多。你对所有这些人工智能进步对未来的影响有什么最奇怪的预测？我认为，你知道，很多人担心会存在巨大的不平等。我实际上是相反的，我认为像

通常被讨厌的蓝领工作将会做得很好，直到机器人出现，我认为这很快就会到来，但是你知道，所以为此，但是像，但是像，但是像，我认为像世界上最贫穷的人的生活质量也会大幅提高，对吧？这不会像富人与穷人、超级精英与非精英之间的对抗，我认为这不会是未来

是的。我的意思是，我想你最好希望这些推理模型中的推理成本下降。是的。我喜欢这个。什么是开阔眼界的事情？每美元的智能，就像最大化每美元的智能。就像，好吧，现在它真的很贵，对吧？是的。而且我希望模型变得更贵，对吧？像来自 GPT-505 或什么的查询，对吧？像 GPT-5 的推理版本将是像

几十美元，甚至几百美元，对吧？但它很好。它产生的工作成果将会令人难以置信。当新的模型出现时，你有没有一个常用的查询来测试它？很有趣。我实际上问了他们关于半导体制造的问题，因为我很了解训练集。我读过很多论文，然后看看它是否真的理解了。很多时候，模型都会出错

而今天，即使在今天，Claude 仍然是唯一一个模型，你可以创建足够的模型，获得光刻的图案堆叠，有点准确。这仅仅是因为没有人发表关于它的论文。所以它必须理解论文并推断人们实际上在做什么，我认为这非常有趣。

这是一种很酷的方法。我们讨论了人工智能创业世界中许多不同的部分，但人工智能创业世界中我们还没有讨论过的任何空间，你认为特别有趣或令人兴奋吗？我认为分布式训练方面有很多很酷的事情正在发生，对吧？就像用 noose 和，呃，嗯，你知道，虽然我不是，你知道，像，你知道，仍然需要更多的东西来证明他们所做的是好和真实的，但非常令人兴奋。然后是 prime intellect，也是一样。嗯，

是的，他们也喜欢，你知道，像，正在做非常酷的事情。我认为分布式训练和推理将会非常酷。我认为我认为很多这些多智能体推理创业公司在一段时间前就开始了，但实际上一直专注于推理，就像 synth labs 和 adaptive 以及像这样的人，而不是像，你知道，代理和转向推理，因为现在每个人都在做推理创业公司。对。我认为这是一个非常酷的领域。是的。

我真的很喜欢那些在创业公司里的人，他们像，一直以来都只专注于同一件事。而且，他们就像，而且他们是正确的。这就像，你不知道他们什么时候会是对的。对。这有点像，你知道，我非常喜欢芯片，你知道，我有一个不错的生意，但是，它直到人工智能出现才开始流行，你知道，在我的公司里只有几个人在工作，而不是 20 个人，对吧。所以有点像，非常专注于内部并且擅长它。但突然之间，时间到了，你是对的。对。就像，这就像一个，

这些是我最喜欢的创业公司。不一定是那些来自该领域之外的人，只是想彻底改变它。好吧，我们总是喜欢把最后一句话留给你。我无法想象收听这个播客的人和没有订阅 SemiAnalysis 的人之间有多少重叠。所以我假设有些人至少对您有所了解，但是……

呃，我很想，你知道，人们可以在哪里了解更多关于你、你正在做的工作以及你想做的任何宣传，呃，地板是，呃，是你的。是的。我想说，如果你想看到严肃的一面，请访问网站，查看时事通讯或查看机构产品，这是主要业务，例如数据销售和咨询。嗯，

我们从……前行业专家那里拥有行业专家，他们曾在 ASML、LAM Research 和英特尔工作，一直到微软和英伟达的前员工，以及中间的一切。然后我们还有……然后我想说，如果你想看到轻松的一面，我会……

在推特上开玩笑，嘿，人工智能法规在星期一出台，支持民主的阿森纳。哦，看，以色列-巴勒斯坦停火两天后。这是一个绝对的笑话，但这就是我在推特上发布的内容。我认为这是一个范围，那是 Dylan522p。我认为这就是我为自己做的宣传。太棒了。迪伦，非常感谢你来到这里。这太棒了。是的，谢谢。谢谢。谢谢。

所以