(Preview) What AI Could Mean for Aggregation Theory, o3 and Moore’s Law, More Questions Than Answers as Tech Enters 2025
Sharp Tech with Ben Thompson
Deep Dive
Why is the era of aggregation theory considered to be behind us according to Doug O'Loughlin?
Doug O'Loughlin argues that the era of aggregation theory is behind us due to the rise of AI, which reintroduces marginal costs to software businesses. This shift challenges the zero marginal cost model that underpinned hyperscalers' business models, making technology more expensive and compute-intensive.
What is the significance of OpenAI's o3 model in the context of AI architecture?
OpenAI's o3 model represents a shift in AI architecture, where the model spends more compute time to deliver better answers. This approach contrasts with earlier models that relied solely on scaling up the model size and data. The o3 model demonstrates that inference-time scaling can significantly improve performance, marking a new direction in AI development.
How does the concept of inference-time scaling relate to Moore's Law?
Inference-time scaling in AI is analogous to Moore's Law in semiconductors, where progress is achieved by focusing on different vectors of improvement over time. Just as Moore's Law evolved through advancements in lithography, metallurgy, and transistor design, AI scaling is now shifting from model size to optimizing compute usage during inference, enabling better performance without solely relying on larger models.
What challenges do hyperscalers face with the rise of AI and compute-intensive technologies?
Hyperscalers face challenges as AI reintroduces marginal costs to their previously zero marginal cost business models. The increased compute requirements for AI workloads make technology more expensive, forcing hyperscalers to adapt their infrastructure and business strategies to remain competitive in a more compute-intensive future.
Why does Ben Thompson find the shift away from aggregation theory exciting?
Ben Thompson finds the shift away from aggregation theory exciting because it re-energizes the tech landscape. He views the dominance of aggregation theory as having become stagnant, with antitrust issues being the primary focus. The rise of AI and other disruptive technologies offers new growth drivers and opportunities for innovation, moving beyond the limitations of the aggregation era.
What broader societal analogy does Ben Thompson draw regarding the shift in AI and technology?
Ben Thompson draws an analogy between the shift in AI and technology and the post-World War II media consensus. Just as society moved from a narrow, centralized set of facts to a more fragmented and diverse media landscape, AI is driving a similar transformation in technology. This shift challenges existing paradigms and requires new ways of thinking about trade-offs and decision-making.
- Doug O'Loughlin declared the end of the aggregation theory era due to compute costs in AI.
- Hyperscalers' business models rely on zero marginal costs, which are challenged by rising AI compute costs.
- OpenAI's o3 model is discussed, questioning if it's a new architecture or a sophisticated workaround.
Shownotes Transcript
您好，欢迎收听Sharp Tech的免费预览。♪
Jeremy将首先发言。他说：“嘿，Ben，你的朋友Doug O'Loughlin似乎通过声明‘由于测试时间计算和软件业务边际成本的出现，聚合理论时代已经结束’来祝你新年快乐。但真的是这样吗？Chalet描述01和03模型的方式，听起来更像是出色的产品设计，而不是突破性的模型。
思维链和深度学习引导的程序搜索是全新架构的种子吗？还是它们是巧妙的技巧，迫使一个不“推理”的模型自我纠正，直到它提供好的结果？在我看来，这就像一堆独立的LLM穿着风衣，由一个单独的模型操纵。
为了让可能没有读过Doug O'Loughlin在Fabricated Knowledge上文章的大多数观众了解情况，我将阅读他关于2025年AI和半导体展望的部分想法。他写道：“……聚合理论时代已经结束，AI再次使技术变得昂贵。”
这种消费增加导致成本增加的关系是反互联网时代的思维。这将是今年需要解决的重大问题。超大规模企业的商业模式主要基于边际成本为零。因此，只要你建立基础设施并为互联网规模的产品吸引用户，你就能赚钱。
这个时代即将结束，未来将更加奇怪，也更加依赖计算。回顾2010年代，我们可能会认为它们是技术漫长发展历程中一个天真的时期。我们对这一时期的基本假设之一正在瓦解。因此，Jeremy在他的邮件中继续对01发表更多看法，然后说……
无论如何，我的职业生涯定义理论并没有被一位密友 unceremoniously 抛弃，所以我并不生气。因为坦白说，整个聚合理论的角度已经变得相当无聊了。这就是为什么……
我一直对AI和加密货币都非常感兴趣。这在某种程度上也是一种技术，它在一定程度上违背了聚合者的现实。聚合者都是关于，正如前面提到的，零边际成本内容，内容的无限复制，所有这些原则等等，而与之对抗的东西在某种程度上是引人注目的，并且在这个世界中可能具有价值……
正是因为这个原因。我的意思是，退一步说，没有什么会消失。一切都在建立在其他一切之上，对吧。当你谈论新的范式时，这始终是一个挑战……
我们人类倾向于对很多事情进行零和思维。就像，哦，这个时代结束了。新时代来了。而实际上，新时代是在旧时代之上叠加的。现在，从分析师和专家角度来看，这通常是一种有用的思考方式，因为叠加在上面的东西……
是一种增长动力。它就在那里，对吧？一个常用的例子是，我们仍在使用大型机，它们仍在支撑银行、后台和ERP系统等等。即使在那里，也发生了许多有趣的变化和中断，没有人真正关注，因为所有有趣的事情都发生在高端。所以我认为，我重述的方式是……
将聚合理论重新定义为技术增长的主要驱动力，进而成为美国乃至世界的增长驱动力，这是否即将结束？是的，我的意思是，是的，我认为至少按照这种构建方式，这是一个合理的表达方式，但是对于……
从我的角度来看，自私地说，这是一个让我感到兴奋和重新充满活力原因。就像，就像，大概在大流行中期左右，
我想那应该是在2020年到2022年之间，ChatGPT问世并真正让每个人都大开眼界的时候，唯一可以写关于聚合理论的事情就是反垄断。这太糟糕了。我想说的是，你到达了一个点，那就是……
诉讼是该领域中唯一可能的变量。考虑到过去15年来大多数聚合者的护城河有多深，实际会发生多少变化呢？好吧，让我先解决这篇文章中的一些其他观点。
或者在这个问题中。所以我不想仅仅撇开0103的架构。但我也想撇开架构，因为我认为将其斥为一堆技巧，或者这只是一个新的算法变化，而不是一个统治所有模型的模型。
这不是侮辱。这就是进步发生的方式。而且我认为，说到Doug，他和Dylan（或者可能是Dylan）之前有一篇文章是关于扩展的，文章指出，哦，原因是，如果你有推理时间扩展，我在今年早些时候写过关于01出现时的文章。
围绕这一点出现了一种理论论点，那就是，不，这是作弊。我们被告知扩展是在模型上的。你只需要制作更大的模型，它们就会变得更好。你不能说扩展在其他地方。我真正喜欢的是Dylan将它与摩尔定律进行了类比，摩尔定律的进展方式是摩尔定律本身是线性的，但改进的轴线不断变化。
对于许多听众来说，所有关于半导体制造的知识和意识都是关于光刻技术的。
EUV，EUV，ASML。这是过去10到15年摩尔定律改进以及使芯片更小、更高效的主要途径。在此之前，光刻技术并不是那么重要。在20世纪80年代和90年代，当日本人真正接管时，它是一个非常重要的事情。我们转向浸没式光刻技术，这是一个重要事件。但还有其他方面也很重要。
例如，用于制造不同材料的冶金技术或晶体管设计。当我们转向3D晶体管时，它被称为FinFET转换，以前是平面晶体管，更像2D。然后突然你开始堆叠。如果你想想看，这些芯片过去都是这些平坦的门。然后它们基本上变成了摩天大楼，它们除了左右移动外，还上下移动。如果你能想象一下，这是一个多么不可思议的转变，对吧？是的。
但是如果你放大并观察从60年代至今的处理器变化，它看起来像一条相当连续的曲线，已经有点平坦了。它确实继续变得有点平坦。但这就像一个持续平稳的改进。但这种改进是通过在不同时间关注不同事物来实现的。因此，取决于年代的不同向量。没错。你在一个时代撞墙了，所以你开始……
我们还能改进什么？我们谈论的是一个包含数千个步骤的过程。所有这些步骤都可以转换和更改，你可以做一些新的事情。我认为这通常适用。在这种情况下，扩展问题，01问世时之所以成为一个重要事件的原因。老实说，我认为03非常令人印象深刻，结果也很惊人。我个人并没有那么震惊……
但那是因为我被01震惊了。因为01展示的是，是的，之前所有LM模型都是这样，所有的扩展都在前面。你使用越来越多的数据制作越来越大的模型，并应用越来越多的过程。你得到的模型越来越聪明。
突然有了01，就像，好吧，等等，这与GPT-4的广义基础模型大致相同。不同之处在于，当你要求它给出答案时，它会花费更多时间，而且至关重要的是，它花费的时间越多，即它使用的计算资源越多，
答案越好。这就是Doug在这里谈论的内容。这里最重要的事情，也是我一直在思考的主题。你知道，我的年度开篇论文是什么？我不想透露太多。但我认为这里有一个违反直觉的现实，那就是我们正在从一个……某种程度上几乎有一个更广泛的媒体类比……
你知道，你谈论的是二战后的共识，每个人都看电视，有晚间新闻，每个人都接受同一套事实。有辩论，有左右之分，有民主党人和共和党人等等，但实际上这一切都在一个相当狭窄的范围内运作。这适用于我们在贸易、全球化以及相关问题上讨论的内容。并且……
正在发生的事情之一，这在COVID期间出现过，我认为COVID期间犯的一个关键错误是尊重专家。
问题是专家在其特定领域是专家，但政治决策从定义上来说包含多个领域。这是关于权衡取舍。这是限制传播与孩子需要上学、企业需要继续经营、医院人满为患之间的权衡。只是为了选择，我认为我只是在两边都选了两个。
这支持一个方向或另一个方向。在政治阶层中，有一种责任的放弃，因为他们依赖专家。但是依赖专家本身就是一个政治选择，因为你放弃了权衡取舍的责任。因为专家没有优先级堆栈，对吧？
本身。他们有，或者至少他们很可能严重依赖他们的专业领域来确定他们的优先级。完全正确。完全正确。所以猜猜怎么了？公共卫生官员认为我们应该为公共卫生做尽可能多的事情。他们没有考虑经济问题。他们没有考虑孩子的教育成果。他们没有考虑……
人们对所有疫苗而不是仅仅对这种疫苗的反感会有什么影响？对。如果你去找律师说，我应该发表这个吗？我可能会被起诉。律师每次都会说，不要发表。
这是我在微软学到的一个教训，因为我在2010年或2011年、2012年左右在微软工作时，我们仍在受制于同意令，或者其中一些刚刚从司法部的规定中取消。当然，你会谈到某些词语你不能使用，尤其是在电子邮件中。但是我的经理告诉我的一件重要的事情是，他说，人们犯的一个大错误……
但在这里尤其如此，他们过度依赖，我认为是LSA或法律服务或其他什么。但是他们，他们，他们太听律师的话了。他说律师的工作是让你了解风险……
你的工作是做出决定，就像，有时你会做律师不想让你做的事情，因为你权衡了风险。你理解了这个问题，但你考虑了更大的局面。他们没有义务考虑更大的局面。所以律师的例子是一个很好的例子。你会看到很多人瘫痪，很多公司都被束缚住了。我认为我们在某种程度上已经目睹了这一点，你知道吗，你同意吗？所以这发生在谷歌身上，可能是……
律师事务。可能是政治狂热方面。是的。是的。作为一个经理，你的工作是做决定，是权衡取舍，作为一个政治家。你的工作是做决定，是权衡取舍。然后你将为此负责，作为一个经理。如果成功了，你就会升职。如果没有，你就会被解雇。如果你是政治家，理想情况下你会连任。如果你没有，你就会被解雇。这应该是这样运作的。但是，
但在很大程度上，我认为社会普遍摆脱了这种状况。我认为科技领域也是如此。我认为Doug在这里也提到了这一点。决策、架构决策、你所做的事情在某种意义上很容易，因为理论上来说是一个重大决策，例如我应该在这个上面花多少钱，根本就不是一个决策。你尽可能多地花钱。
好了，这就是免费预览的结尾。如果你想听到更多我和Ben的节目，在节目说明中有一些订阅链接，你也可以访问sharptech.fm。这两种方法都可以让你访问个性化订阅源，其中包含我们每周制作的所有节目，以及来自Stratechery和Stratechery Plus捆绑包的更多精彩内容。查看一下，如果你有反馈，请发送电子邮件至[email protected]。