EP 506: How Distributed Computing is Unlocking Affordable AI at Scale
22:26 Share

这是 Everyday AI Show，一个日常播客，我们简化 AI 并将其力量带到您的指尖。每天收听，获取提升您的职业、业务和日常生活的实用建议。当 ChatGPT 首次问世时，没有人谈论计算，对吧？但在过去几年中，随着生成式 AI 和大型语言模型变得越来越普遍，

GPU 和计算的概念已经变得几乎像，你知道的，晚餐时的谈话，至少如果你，你知道的，和我一样一群书呆子围坐在餐桌旁，对吧？但我认为在过去几个月里更是如此，你知道的，正如我们所看到的开源模型真正缩小了与专有封闭模型的差距，并且

我认为这个计算的概念更加重要，因为现在突然之间，你有很多，你知道的，全世界可能有数百万家公司，中型公司，也许两年前他们并不关心或，你知道的，并没有真正关注拥有自己的计算。现在，突然之间，这可能是一个重要的优先事项，因为新的可能性

非常强大的大型语言模型，甚至更小的开源模型，所有这些功能都赋予了这么多人。所以这就是我们今天要讨论的事情之一。还有分布式计算如何解锁规模经济的 AI。

好吧，我对这次谈话感到兴奋。希望你们也是。大家好！我的名字是 Jordan Wilson，这是 Everyday AI。所以这是您的每日直播播客和免费每日通讯，帮助我们所有人不仅跟上 AI 世界中发生的事情，而且如何利用它来取得进步，发展我们的公司和职业。

如果这正是您正在做的事情，那么您就在正确的地方。它从这里开始。在这里，我们向行业专家学习。我们赶上潮流。但是您利用这一切的方式是访问我们的网站。所以请访问 youreverydayai.com。在那里，您可以注册我们的免费每日通讯。我们将回顾今天谈话的主要要点，并让您了解所有其他对您来说至关重要的 AI 新闻，以便成为公司中最了解 AI 的人。好的。所以

闲聊足够了，伙计们，我对今天的谈话感到兴奋，如果您来这里是为了听到 AI 新闻，从技术上讲，我们有一个预先录制的节目正在直播，所以我们将把 AI 新闻放在通讯中，所以请务必查看一下，好的，我很高兴聊聊计算以及它如何改变并使 AI 规模经济化，所以请帮我欢迎来到节目……

Tom Curry，Distribute AI 的首席执行官兼联合创始人。Tom，非常感谢您加入 Everyday AI Show。感谢您的邀请。我很感激。是的，太棒了。在我们开始这次谈话之前，嘿，对于你们这些计算狂热者来说，这正合你们的胃口。但对于其他人来说，Tom，告诉我们，Distribute AI 做什么？

是的，我们是一个分布式 AI 应用层。这实际上意味着我们基本上四处收集闲置计算资源。可能是您的电脑。可能是世界各地任何人的电脑。我们基本上利用它为消费者、企业等中型企业创造更经济实惠的选择。我们的目标实际上是创建一个更开放和易于访问的 AI 生态系统。我们希望更多的人能够贡献，能够利用我们提倡的资源。这是一个非常酷的产品。

酷。所以，你知道的，举个例子。所以，你知道的，即使在我的假设中，我刚才谈到，假设有一家中型企业，对吧？也许他们并没有参与大型数据游戏。也许他们没有自己的服务器，你知道的，他们正在努力解决这个问题。那么你们解决的是什么问题呢？

是的，这是一个双向解决方案。这是一个很好的例子，对吧？你去一家公司，他们有，比如说，一堆电脑放在办公室里。晚上，他们可以非常快速地连接到我们的网络。我们有一个非常快速的单击程序来安装。他们可以在晚上运行它并向网络提供计算资源。然后，当他们第二天醒来并想要利用我们运行的一些 AI 模型时，他们可以快速访问我们的 API 并基本上访问我们在网络上运行的所有这些模型。所以是双向的，对吧？你可以在一方面提供，你也可以在另一方面使用它。

非常酷。好吧，让我们，让我们赶上一点，呃，你知道的，今天的情况，因为就像我说的那样，对吧。我认为，你知道的，计算和 GPU 并没有成为，你知道的，大多数人心中最重要的东西，呃，你知道的，尤其是在，你知道的，GPT 技术在 2020 年问世时，

更不用说在 2022 年底 ChatGPT 发布时了。那么为什么计算现在成为如此重要的术语，我的意思是，我们正在谈论国家安全。我们正在谈论价值 1000 亿美元的基础设施项目。为什么计算现在在美国经济中如此重要？

是的，完全正确。所以，我的意思是，五年前，如果你回顾一下，对吧，游戏是 GPU 最大的用例。如今，它都是 AI，对吧？这就是为什么对它的需求如此之大的原因。这些模型在某些情况下越来越大。它们也越来越小。思维链使用大量不同的标记。因此，尽管模型较小，但它们仍然使用大量资源。现实情况是，就目前的硅技术而言，

我们团队的一名成员实际上也参与了一些芯片的工作。我们基本上正在达到芯片所能达到的峰值容量，对吧？我们肯定正在扩展我们拥有的芯片的当前技术。因此，尽管模型不断改进、变大、变大，计算需求也在增加，但现实情况是，技术无法跟上。我们大约还需要 10 年时间，或多或少，才能拥有新的，基本上是新的芯片技术。

当然。而且，你知道的，当我们谈论今天的当前需求时，对吧？你知道的，你总是在网上看到所有这些笑话。你知道的，人们说，你知道的，我们会为计算工作，对吧？大型科技公司，你知道的，OpenAI，对吧？就像每当他们推出新功能时，你知道的，很多时候他们都说，嘿，我们的 GPU 正在融化。我们将不得不暂停新用户的注册。你知道的，为什么这甚至不是最大的挑战

科技公司无法满足这种需求。是的，我的意思是，这是一个疯狂的系统，Anthropic 也面临同样的问题，对吧？云令牌仍然受到一定程度的限制。我们正在走向这样一个点，你基本上是在运行，你正在使我们世界的每一个资源都紧张起来，以运行这些不同的模型。归根结底，你知道的，OpenAI，我认为他们主要使用 NVIDIA 用于他们的数据中心。但是再一次，在

NVIDIA 对这些芯片的需求遍及全球。因此，他们不能只将所有资源都分配给 OpenAI。因此，OpenAI 有一定的服务器阈值，他们从中租赁和使用。但现实情况是，需求量太大。你说的数百万甚至数百万个请求。例如，像图像生成这样的请求，这些不是一秒钟的请求。

你说的可能是 10 秒、20 秒才能返回这些。视频模型甚至更糟。你说的可能是几分钟，即使在 H100 到 H200 上也是如此。所以现实情况是，就像我说的那样，我们的计算能力，我们的电网不可能满足需求。而且我们没有足够的最新一代芯片。所以，你知道的，一件事情，你刚才提到了，我认为与此同时，我们看到模型变得更容易访问

呈指数级地更小且更强大，对吧？例如，OpenAI 的 GPT-4.0 Mini，但你还有像 GPT-4.5 这样的巨型模型，对吧？据报道，它比 GPT-4 大 5 到 10 倍，我认为 GPT-4 是一个大约 2 万亿参数的模型。所以让我们来了解一下整个概念

模型既变得技术上更小、更高效，但与此同时，模型也变得更大。然后这如何影响整个行业？因为它似乎很难跟上。

是的，一方面，它让我想起了过去那些手机，对吧？我们会逐渐让它们变小，然后最终我们会添加一个新功能让它们变大，然后再次变小。现实情况是，一年前，较大的模型，我们基本上只是将数百万个不同的数据点输入到这些模型中，这

使模型变得更大，而且它们相对较好。但现实情况是，没有人想运行一个 70 亿，你知道的，是 700 亿，7000 亿参数的模型，对吧？所以我们让它们变小了。它们仍然，现在它们正在研究我们实际运行这些模型的复杂性。因此，思维链基本上使您可以提供更好的提示，对吧？它基本上将人类提示转换为系统可以更好地读取的内容，然后为您提供更好的输出。它也可能会运行大量标记以提供更好的输出。

因此，思维链是一种非常酷的方式，可以基本上减少模型大小。但现实情况是，尽管我们正在缩小模型大小以便将其放在更小的芯片上，但现实情况是，你仍然在使用数百万个标记，这实际上并没有帮助我们的计算。它的工作方式有点倒退。是的，这很有趣，对吧？所以是的，即使现在我们也有这些……

Claude 3.7 Sonnet、Gemini 2.5 Pro 中更新的混合模型。你使用它们，它们看起来相对较快。如果你不知道任何更好的方法，你可能会说，好吧，这似乎很有效。但是如果你查看思维链，或者如果你点击“显示思考”，你会发现，我的天哪，它只是吐出 10000 个单词来告诉我伊利诺伊州的首都是什么

伊利诺伊州的首都是什么。对。所以，你知道的，随着模型变小，你知道的，我一直对这个感兴趣。你知道的，我们可能会看到一个未来，你知道的，更多，你知道的，混合模型或推理模型，它们最终会变得效率低下吗？或者这是否总是会成为某种东西，你知道的，就像一方面模型变小，但它们变得更聪明，所以无论如何它们都必须多思考。

是的，这是一个好问题。我认为它们会达到高度高效的程度。我的意思是，实际上，即使是 DeepSeek 取得的进步也令人难以置信，对吧？即使是它们相对较小的 70 亿参数模型，你也可以在大多数消费级芯片上运行它，它非常好。提示很棒。

它显然拥有相当不错的知识库。一旦你真正将其与冲浪互联网并实际获得更多答案和使用更多数据的能力结合起来，我认为这就是我们将要达到的目标。我不会称之为 AGI，但我们非常接近它，在那里，你基本上将实时数据与更强的推理能力结合起来。所以我认为我们会到达那里。我认为我们取得的进步，尽管自从第一批模型问世以来似乎已经很久了，但进步是疯狂的，而且非常迅速。是的，我相信。

是的。而且，你知道的，说到 DeepSeq，我知道在过去，你知道的，过去几个月里，谈论 DeepSeq 已经成为一种时尚。但我认为你必须提到谷歌，对吧，以及他们的 Gemma 3 模型，我相信这是一个 270 亿参数的模型，它在 ELO 分数方面大大超过了 DeepSeq V3，我认为 DeepSeq V3 是 600

多个十亿参数，至少在 ELO 分数方面是这样。而且它甚至不接近，对吧？那么这对于未来意味着什么呢，对吧？我知道我刚才提到了两个开放模型，但是你知道的，它们正在变得越来越好，即使是开放的，对吧？每个人都说，哦，DeepSeek 正在改变行业。我说，伙计，看看谷歌的 Gemma 3。它是一个

大小只有 5%，但在人类偏好方面却强大得多，对吧？那么这对于边缘计算的未来意味着什么呢？边缘计算如何影响计算需求或 GPU 需求？是的，我们创办了这家公司。现实情况是，尽管我们想说服自己开源模型很好，但我们基于暴力。当时开源模型相对较差。OpenAI 当时非常强大。

这就像你根本无法相信任何人会赶上 OpenAI。如今，我们私有源和开源模型之间的差距可能只有 1 到 2 个月，这非常有趣。当你将其与数据隐私等概念联系起来时，我认为有一个强有力的论点，即边缘计算将接管许多较小的日常任务，然后保留一些更

私有模型等以及用于更深入研究等事物的较大模型，但许多你每天都会做的 AI 实际上可以改进的事情，我认为你可以在边缘计算上纯粹运行，并且基本上拥有你的房子和你的几台电脑等，也许你的笔记本电脑或 iPad 基本上变成了这个小型数据中心，它允许你运行你当时想运行的任何模型，我们只是相距甚远，现实情况是你今天就可以做到这一点，对吧，我们可能能够做到这一点

唯一的问题是如何教人们使用和设置它，对吧？人们需要时间来学习如何安装自己的模型并开始运行东西。所以它更像是它的用户体验，而不是其他任何东西。是的。你知道的，而且……

我一直认为，随着这些模型变得更小、更强大，这些东西将来会在边缘运行吗？我甚至看到了 NVIDIA GTX，以前称为 Digits，

你知道的，我计算了一下。我说，五年前这将花费 70000 美元。无论如何，它甚至没有能力做到这一点，对吧？就像，五年后，我们会有普通的智能手机吗？它能够运行最先进的大型语言模型吗？如果是这样，那么这将如何改变整个云计算的讨论？

这将非常有趣。我认为你是完全正确的。我认为五年甚至可能有点长。我认为我们将要归结为，就像我说的那样，隐私。如果人们真的担心他们的隐私，那么我认为人们会推动边缘计算的运行，你将能够运行你自己的模型，该模型只访问你手机、设备或任何其他设备上的你自己的数据，对吧？

如果人们不太关心这一点，那么可能需要更长的时间，因为人们不会构建它。但我真的认为有一些团队正在从这个角度进行构建，你将拥有关于你自己、你的生活、你的妻子以及其他任何东西的小型数据库。基本上，你将能够运行所有这些东西，而无需接触任何中心化模型，原因很明显，出于隐私原因等。

我们已经向大型科技公司提供了如此多的数据，对吧？我认为我们已经很好地提供了更多信息，并分享了更多关于我们生活的私密细节。如果我们能够做到这一点，那将是一件好事。是的。而且，你知道的，即使在我们开始关注这场竞争时，你知道的，如果你在两年前观察它，你知道的，我不知道是否有人，即使是最坚定的开源信徒也会相信我们现在所处的状态，但是

你知道的，在我们从 Meta 的下一个 Lama 模型中看到的东西之间，我已经谈到了，你知道的，我们已经谈到了 DeepSeek 和 Gemma。而且，你知道的，OpenAI 最近也表示他们将发布一个开放模型。据称，据称。是的，是的，是的。我们将拭目以待。我们不相信这些。

是的，我还记得 GPT-2 开放的惨败，对吧？但无论如何，我的意思是，当且仅当开放模型比封闭和专有模型更强大时会发生什么？所以首先，从 GPU 和计算的角度来看会发生什么？但这又如何改变商业领导者的思维方式呢？

是的，在那时，一旦事情变得商品化，对吧，并且模型基本上都处于同一水平，或多或少之间存在一些差异，变化。现实情况是，计算成为能够以最低成本向人们提供这些模型的最后一个分母，对吧？所以在这一点上，它基本上变成了谁能够获得最便宜的计算能力并以最好的模型选择提供给人们的竞争。用户体验和用户界面都包含在内，对吧？营销等等。

假设确实发生了这种情况，那么问题就变成了所有这些私人服务会发生什么，对吧？

我个人对此的看法是，可能存在这样一个世界，即 OpenAI 和 Anthropic 最终会烧掉如此多的钱，他们每天都在亏钱，以至于他们无法达到他们想要达到的目标。他们基本上必须改变商业模式或用完钱，对吧？我认为这可能是一个有点有争议的观点。但现实情况是，我们现在运行的模型

非常接近于他们拥有的模型。这就像，在什么点上边际收益不起作用，对吧？当 H100 变得便宜得多时，我们将能够非常快速和轻松地运行一些最大的模型，并且访问将变得如此之好，以至于可能无关紧要。

问题是我个人确实，我一直相信私有源。我相信它有很多很好的用例。现实情况是，无论你爱 Sam Altman 还是恨 Sam Altman，他都推动了很多事情向前发展。他对整个环境都非常有成效。所以你不想让他们破产。他们可能只需要找到一种不同的方式来吸引消费者或企业，而不是仅仅是通用模型，这就是他们所做的，对吧？

我认为以一种很好的方式，他们谈到了 Siri 等等。他们可能会找到将它们与现实世界联系起来的方法。是的。所以说到经济实惠的 AI，你刚才也提到了，你知道的，像 OpenAI 和 Anthropic 这样的公司，对吧？他们烧钱的情况是有据可查的。你知道的，但是，在某种程度上，如果大型语言模型由于开源模型而变得商品化，你知道的，

这是否仅仅是应用层成为这些公司真正差异化的东西，对吧？因为除了，你知道的，OpenAI 每月 200 美元的专业订阅。这就像，好吧，他们也说他们在这方面亏钱。除了这一点，

如果这些许多人依赖的大型公司在 400 亿美元的资金用完后 5 年、10 年后无法继续存在，他们将如何继续存在？我们多年来一直在谈论 Uber 的这个问题。公平地说，这些公司可以在不盈利的情况下存在很长时间。

但现实情况是，我认为现实情况是，中心化类型的提供商（如 OpenAI）提供的一件事是，他们能够处理大量非常敏感的数据，主要是像健康数据之类的数据。所以我相信有很多非常好的商业用例，他们可以提供给非常大的企业消费者，或者不是消费者，而是企业。除了健康数据等非常私密的数据之外，我不知道这些是什么。

你知道的，政府合同等等。这些模型对于此非常有用。但这将是艰难的。我的意思是，说实话，我觉得我们几乎已经到了。就像我说的那样，我认为我们距离人们说“为什么不让我取消 OpenAI 并使用 Long 呢？”已经不远了。就像，让我取消并使用 Jump 吧。你知道的，现在有很多这样的模型。现在有很多好模型。

嗯，但这可能是更多的集成。就像我说的那样，可能是更多的 UI UX。嗯，这可能是这样一个事实，即我们每天都使用 iPhone 和 Android，也许他们只是对使用它们拥有真正的垄断地位，你知道吗？所以我们将拭目以待。是的，这很有趣。所以，嗯，我们已经，我们已经，我们已经涵盖了，

在今天的谈话中有很多内容，Tom，关于分布式计算的概念以及它如何改变计算格局以及整个 AI 格局，开放源代码 AI 和封闭式 AI 之间的竞争。但在我们结束今天的节目时，你对商业领导者在做出决策时有什么最重要的或最好的建议呢？

关于他们如何大规模使用 AI。

是的，这是一个很好的问题。我认为最好的建议，也是我们从个人业务中学到的最重要的一点是，形势变化如此之快。你最后能做的事情就是把自己锁定在一个特定的提供商或模型上。不要分配太多资源，不要在一个特定的设置上孤注一掷，因为下周就会出现一些东西，并在之前完全打破一切，对吧？所以要确保你开放，确保你对你正在使用什么以及如何使用它保持灵活。

并准备好迎接有人出来完全打破常规并改变一切方向。这是一个如此快节奏的环境。很难跟上。而且，你知道的，我认为我们只是在触及 AI 将实际融入其中的表面的阶段。

好的。令人兴奋的谈话，我认为很多人会发现它很有价值。所以，Tom，非常感谢您抽出时间来到 Everyday AI Show。我们感谢您。非常感谢您的邀请。我们非常感谢。好的。而且，嘿，提醒一下，伙计们，如果你错过了其中的某些内容，你知道的，我们抛出了很多大词，并且在 GPU 方面变得有点技术性，别担心，我们将在……

在我们的免费每日通讯中回顾所有内容。所以，如果你想了解更多关于我们刚才谈论的内容，请务必访问 youreverydayai.com，注册免费每日通讯。感谢您的收听。我们希望明天和每天都能看到您，了解更多 Everyday AI 内容。谢谢大家。谢谢。

今天的 Everyday AI 节目到此结束。感谢您的收听。如果您喜欢这一集，请订阅并给我们评分。这有助于我们继续前进。要获得更多 AI 魔法，请访问 youreverydayai.com 并注册我们的每日通讯，这样您就不会落后。去打破一些障碍，我们下次再见。