Is AI Slowing Down?
17:01 Share

人工智能发展是否遇到了瓶颈？今天的节目探讨了OpenAI的Orion模型（预计将超越GPT-4）显示出的增益不如预期的报道。研究人员现在正将重点转向推理扩展，增强实时推理能力，而不是仅仅依赖传统的预训练。 由以下机构提供： Vanta - 简化合规性 - ⁠⁠⁠⁠⁠vanta.com/nlw⁠⁠⁠⁠⁠AI每日简报帮助您了解人工智能领域最重要的新闻和讨论。

订阅时事通讯：https://aidailybrief.beehiiv.com/ 加入我们的Discord：https://bit.ly/aibreakdown </context> <raw_text>0 今天，在AI每日简报中，我们将讨论AI是否真的可能正在放缓。在此之前，头条新闻是Salesforce招聘了1000名销售人员来销售AI销售人员。AI每日简报是一个每日播客和视频，内容涵盖AI领域最重要的新闻和讨论。要加入讨论，请关注我们节目说明中的Discord链接。

欢迎回到AI每日简报头条新闻版，所有您需要的每日AI新闻，大约五分钟即可看完。今天我们将快速浏览一系列新闻。因为主要节目比平时长一些。

我们从Salesforce的新闻开始。Salesforce比任何其他公司都更强调代理的故事。您可能听说过首席执行官马克·贝尼奥夫绝对、肯定地大喊大叫，说AI的助理时代是一个巨大的失败，因为当然，它实际上一直都是关于代理的。

今天的新闻是Salesforce正在招聘1000人来推广其新的AI代理平台Einstein GPT。Salesforce表示，招聘激增旨在充分利用其新产品的惊人势头，Einstein GPT于两周前推出，我们已经从客户那里听到了令人难以置信的反馈。一个重要的背景信息是，Salesforce在过去两年里一直在裁减销售团队。因此，围绕这条新产品线显然有很多兴奋之情。

当然，每个人在Twitter上都在开玩笑，内容都与托马斯·斯莫勒写的类似：“Salesforce招聘了1000名销售人员来销售他们的AI销售人员”。仅仅写出来就听起来像个笑话。但即便如此，我认为这是一个非常积极的信号，表明需求量很大，这确实是他们前进的方向。

与此同时，在埃隆·马斯克的世界里，X正在测试X AI的免费版本Grover。到目前为止，X的AI功能仅对付费客户可用。然而，周末似乎Grover在特定市场对免费用户可用。

TechCrunch证实，新西兰所有地区都可以访问Grover，澳大利亚似乎也可以访问。现在使用受到限制，每两小时30个文本查询，每天3个图像分析问题。但仍然有很多兴奋之情。

一位网友写道：“如果Grover免费，我将删除ChatGPT”。据《华尔街日报》报道，谷歌新闻主管杰夫·卡什已辞职。此次辞职正值新闻出版商重新考虑与大型科技公司和AI的关系之际。

出版商们看到流量和收入下降，许多人将此归咎于AI，因为它提供的是内容摘要，而不是驱动点击。随着谷歌在全球范围内推出其AI概述，这个问题变得更加激烈。卡什最初是两年前从《华盛顿邮报》引进的，目的是弥合这两个行业之间的差距，因此许多人想知道他的离职是否预示着这种关系将进一步恶化。

再说一次，在经历了一年的亏损和反垄断诉讼后，谷歌显然正在进行结构性变革。因此，很难确切知道发生了什么。谷歌的另一个有趣的新闻是，其DeepMind部门意外发布了AlphaFold 3。

该蛋白质折叠AI的源代码和模型现在可供学术用途使用，这可能会进一步加速科学进步和药物开发。这一令人惊讶的公告是在该系统创造者德米斯·哈萨比斯和约翰·朱珀因其突破性模型获得诺贝尔化学奖几周后发布的。AlphaFold 3似乎是生物科学的又一个范式转变。

版本2可以根据氨基酸序列准确预测蛋白质结构。新版本还可以模拟蛋白质、DNA、RNA和小分子之间复杂的相互作用。

这应该会大大扩展其在药物发现和疾病治疗方面的用途。传统研究这些相互作用的方法通常需要数月的实验室工作，而且无法保证成功。这标志着计算生物学的一个重要转变。

AI方法现在优于我们最好的物理空间模型，用于理解分子如何相互作用。从本质上讲，AlphaFold已经从一种专门的工具转变为研究分子生物学的一种更通用的工具。在市场领域，美国

公司计划在数据中心上花费300亿美元，因为AI推动了建设热潮。自2022年ChatGPT首次发布以来，这一数字已增长了一倍多。

数据中心投资现在超过了所有其他主要基础设施类别，包括医院、学校、酒店和交通运输。直到去年年底，它还是比这些类别中的每一个都小的一个类别。投资管理公司KKR认为这种趋势代价高昂。

他们预计，未来三到四年内，全球每年将达到250亿美元，尽管请继续关注我们的主要故事，因为这方面可能有一些影响。然而，这就是今天的头条新闻。接下来是主要节目，今天的播客由Plum赞助，想要使用AI来自动化您的待办事项列表吗？只需在Plum AI工作区中描述您的待办事项。

无需编码或API，只需输入“分析我的Zoom会议并将您的见解发送到Notion”，然后看着它在您眼前实现，无论您是运营主管、代码编写者、3.5个程序员还是其他任何角色，都不要让技术阻碍您。查看Plum，网址为plum.bee，抢先体验未来工作负载自动化。

今天的节目由Vanta赞助。无论您是启动还是扩展您的公司安全程序，展示一流的安全实践和建立信任比以往任何时候都更重要。Vanta为ISO 27001、SOC 2、GDPR和领先的AI框架（如ISO 42001和NIST AI风险管理框架）自动化合规性，为您节省时间和金钱，同时帮助您建立客户信任，此外，您可以通过自动化问卷调查并使用面向客户的信任中心来展示您的安全态势，从而简化安全审查。

超过8000家全球公司（如LangChain、LlamaIndex和Factorial AI）使用Vanta来展示AI信任，实时改进安全，了解更多信息，请访问vanta.com/nlw，即vanta.com/nlw。今天的节目由Superintelligence赞助。每个业务工作流程和功能都正在使用人工智能进行重塑和重新构想。然而，从AI的潜力到实际捕获价值之间存在巨大的挑战。

而Superintelligence致力于弥合这一差距。Superintelligence加速AI的采用和参与，帮助团队实际使用AI来提高生产力和推动业务价值。交互式AI用例注册表使您的公司能够全面了解人们现在如何使用人工智能，并将其与功能相结合，以教程学习路径和用例库的形式构建内容。

Superintelligence帮助您公司内部的人员展示他们如何从AI中获得价值，同时为人们提供资源，将这些灵感付诸行动。接下来的三个团队（每个团队拥有100个或更多席位）将获得免费的嵌入式咨询服务。这是一个流程，我们的Superintelligence团队将与您一起确定对您最重要的具体用例，并帮助确保实际支持这些用例的采用，以创造真正的价值。

访问superintelligence.ai了解更多关于这个AI赋能网络的信息。现在回到节目。欢迎回到AI每日简报。

今天，我们将进行一场非常引人入胜的对话，它对AI的方方面面都有影响，从安全性到业务、技术前沿、适用性到日常生活，以及所有这些都包含在这个关于AI发展速度是否正在放缓的对话中。顺便说一句，这不是一个新的对话，这是一个长期以来一直争论不休的话题。顺便说一句，这里有截然不同的观点。有些人认为，你只需要增加更多的计算能力和更多的数据，就能获得更高性能的模型。

也有人认为，使用我们当前的架构，没有通往AGI的路径。这场辩论就是为什么像杨立昆这样的人可以一本正经地说，他认为AI比猫还笨。当然，这种观点的影响是巨大的。

就反方观点而言，这意味着对他来说，所有这些存在性风险类型的担忧都非常、非常夸大其词。现在，没有人争论的是，即使在目前的状态下，AI也是极其有价值的。我经常说的一件事是，即使AI在这一刻停止发展，世界也仍然需要数年时间才能适应和适应仅仅由我们目前的技术提供的新的流程。

然而，如果事实上AI改进的速度显著下降，那仍然是相当重要的。让我们从讨论这场对话，或者至少是这场对话的这次迭代的来源开始吧。The Information报道称，OpenAI显然正在寻求制定新的策略来应对AI改进速度的放缓。5月份，OpenAI首席执行官山姆·阿尔特曼曾告诉员工，他预计他们最新的前沿模型（他们在内部称之为Orion，而不是GPT-5）将比去年的旗舰模型好得多。当时，OpenAI只完成了Orion训练过程的20%，而且它显然已经与GPT-4水平相当。然而，现在几个月过去了，情况开始看起来有点不同了。

根据The Information的消息来源，测试过Orion模型的员工发现，虽然其性能确实超过了当前的模型，但其提升远不如例如从GPT-3到GPT-4的提升那么显著。甚至在某些用例中，该模型可能并不总是比之前的最先进技术更好。一位员工表示，虽然Orion在语言任务方面表现更好，但在编码方面并不一定优于之前的模型，鉴于编码作为一个用例的重要性，这可能是一个严重的问题。

现在，这导致了对规模化思考的不同方法。为了应对最近由GPT改进速度放缓而对基于训练的缩放定律提出的挑战，该行业似乎正在将其努力转移到改进模型的初始训练后，这可能意味着一种不同类型的缩放定律。OpenAI的另一种方法显然是创建了一个基础团队，以弄清楚该公司如何改进其模型，鉴于越来越稀缺的新型训练数据。

这些策略据报道包括使用其他AI模型生成的合成数据来训练Orion，以及在训练后过程中更多地改进推理过程。一个巨大的挑战是，目前最先进的模型实际上已经接受了几乎所有互联网数据的训练。然而，这里更有趣的转变是，将规模化仅仅视为预训练的问题，而不是考虑训练后的影响。

这让我们回到了我们在这里经常讨论的一个话题，即，哦，一个当然，OpenAI更先进的推理模型，是AI进化树上的一个分支。山姆·阿尔特曼在宣布它时明确表示，这个推理模型代表了与GPT-4不同的路径。当时，人们认为OpenAI将并行处理这些路径。

但越来越多的迹象表明，他们正在转向推理路径。顺便说一句，不仅仅是OpenAI在处理这个问题。几周前，The Verge的Alex Heath报道说，他听说最新的Gemini模型并没有达到谷歌所希望的性能提升，尽管他仍然预计会有一些有趣的新功能。

我在AI圈子里听到的讨论是，这种趋势正在发生在开发领先大型模型的公司中。前OpenAI首席科学家伊利亚·苏茨克维尔谈到了这个问题，他说2010年代是规模化的时代。现在我们又回到了奇迹和发现的时代。

再一次，每个人都在寻找下一个目标。现在，规模化正确的事物比以往任何时候都更重要。这再次让我们回到了上个月杨立昆在《华尔街日报》文章中指出的内容。

《华尔街日报》写道，杨立昆认为，当今AI系统的问题在于它们的设计规模。无论科技巨头在世界各地的数据中心投入多少GPU，当今的AI方法都不会让我们达到人工通用智能。人们还对合成数据是否会产生自身的新问题提出了质疑，尽管这一点也不清楚。

但总的来说，OpenAI似乎仍然计划加倍押注其推理途径。上个月，在OpenAI的一次演讲中，OpenAI研究员尼克·布朗表示，在扑克游戏中，仅仅思考一件事情20秒就能获得与将模型规模扩大1000倍并训练10万倍相同的提升。虽然这确实为改进开辟了一条新途径，但也意味着需要更多的计算能力来服务答案，他说这种转变将使我们从一个庞大的预训练集群的世界转向推理云，即用于推理的分布式云服务。

英伟达首席执行官黄仁勋也提到了这条途径，他上个月表示，我们现在发现了一个第二缩放定律，这就是推理时间的缩放定律。那么讨论在哪里呢？首先，其他人已经证实，这在幕后已经酝酿了一段时间。

我从一家前沿实验室（不是OpenAI）那里听到了一些消息。他们达到了意想不到的巨大递减收益的世界，试图通过更长时间的训练和使用比公开发布的更多的数据来强行获得更好的结果。对于那些已经说过这些话一段时间的人来说，他们利用这一刻来强化他们的观点。帕特里克·明戈教授写道：“缩放定律是S曲线，而不是指数曲线？”

伊恩·戴维斯教授进一步解释了这一点。他说，关于AI，也许最重要的战略问题是改进速度是否开始下降。我们是否看到了S曲线中的成熟？The Information的报告给了我们一些数据，但我认为我们真的不知道。

这与许多从事基础模型工作的内部人士的观点相矛盾，特别是由于受影响的系统性能将取决于补充，这将延长其有用性，也许需要多年时间才能让个人和组织找到正确的用例并配置其工作场所以利用它们。其他人，包括The Information的杰西卡·莱森，想知道这对数据中心业务有什么影响。她写道：

如果这种情况持续下去，训练元素的增益速度放缓将产生巨大的影响。我今天早上在考虑这个问题时想到的一个想法是，随着时间的推移，领先的代理产品的重要性会有所下降。那么，中国是否会因此更快地赶上美国？

其他人指出，当然，总需要一些新的东西。

一位网友在Twitter上写道：“预训练架构已经达到了极限。需要更多的架构创新来突破改进的连续障碍。认为当前的AI方法是最终解决方案是不明智的。”

也许最显著的信息是，我们需要以稍微不同的方式思考训练中的扩展。澳大利亚的entel在推特上说，AI遇到了障碍，让我休息一下。仿佛扩散转换器的突破没有发生过，仿佛单一推理本身就是突破性的。

唯一达到平台期的是再训练。这是一个里程碑，而不是天花板。训练从来就不是神经网络优化的圣杯。

人工智能将不可避免地转向能够主动学习的模型，即使当前的模型能够仅通过增加算力来扩展到AGI，但这也不是问题。OpenAI的成果表明，进一步的创新是可能的，我们还没有达到推理计算的极限。

即使模型不能通过增加算力神奇地扩展到AGI，事情也在进步。正如Shelley Palmer教授所说，有很多关于AI模型的终结或开始失效的讨论。这些都只是标题党，真正的点击诱饵。

如果你深入挖掘，你会发现关于如何有效地扩展基础模型有几种不同的观点。如果目标是AGI，那么仅仅增加用于预训练的算力可能不是最佳途径。相反，研究人员正在探索一种名为推理扩展的替代方法来实现智能推理。

当AI模型生成输出和答案时，可以通过让模型在确定响应之前“思考”多种可能性来优化这个过程。这种方法能够在实时使用过程中进行复杂的推理，而无需增加模型大小。OpenAI最近发布的模型就是一个很好的例子。

通过增强推理，模型可以处理需要分层决策的任务，例如编码和问题解决，其方式类似于人类在测试时的思维过程。计算机技术使这成为可能。让模型能够将更多处理能力用于具有挑战性的查询是必要的。

转向专注于推理的分布式云服务，而不是大型集中式训练集群，可能会创造一个更具竞争力的芯片市场。虽然英伟达是预训练硬件的首选芯片制造商，但还有许多其他芯片制造商，如AMD、英特尔和Graphcore，它们制造适合这种新方法的硬件。

推理扩展的关键要点很简单：大型语言模型并没有失败，它们正在进化。除了耸人听闻的标题之外，这就是产品开发的运作方式。Dan Shipper也指出，所有这些的框架都非常成问题，而且并没有真正反映他与实验室内部人员的谈话。

他写道，这个标题传达的信息与大型实验室内部人员的实际感受和说法相矛盾。从技术上讲，它是正确的，但对于普通读者来说，AI进展缓慢的结论与我听到的恰恰相反。事实上，最终，这方面的讨论如此之多，以至于信息最终得到了一些澄清。Stéphane Palcoux写道，自从我们本周末发表关于扩展定律的文章后，看到了很多讨论。

需要明确的是，我们并不是说世界末日即将来临，只是研究人员必须找到改进AI模型的新方法，即测试时间的计算，这导致了另一篇文章：《再见GPT，你好推理》。哦，这基本上说明了这不是关于停止，而是关于一个替代方向和一条比以前更有前景的新道路。

尽管如此，这是一个非常有趣的讨论，我们将继续密切关注。不过，现在，这就是故事。一如既往地感谢您的收听，直到下次再见，和平。