Ilya Sutskever Calls Peak Data and the End of Pretraining
15:35 Share

在最近的一次会议上，SSI创始人（前OpenAI领导者）伊利亚·苏茨克维尔声称我们已经达到了数据的巅峰，预训练作为一种扩展方法的时代已经结束。NLW探讨了这一声明的影响。此外，NotebookLM发布了企业版。

Vanta - 简化合规 - ⁠⁠⁠⁠⁠⁠⁠https://vanta.com/nlw AI Daily Brief帮助您了解AI领域最重要的新闻和讨论。 在您收听的任何地方订阅AI Daily Brief播客版本：https://pod.link/1680633614 订阅时事通讯：https://aidailybrief.beehiiv.com/ 加入我们的Discord：https://bit.ly/aibreakdown

</context> <raw_text>0 今天的AI Daily Brief中，来自AI领域巨头之一的重要声明。在此之前，头条新闻中，Notebook LM获得了新功能和企业版本。AI Daily Brief是一个关于AI领域最重要新闻和讨论的每日播客和视频。要参与讨论，请通过我们的节目说明中的Discord链接加入。欢迎回到AI Daily Brief头条版，所有您需要的每日AI新闻大约在五分钟内。

今年最受欢迎的新产品之一，谷歌的Notebook LM，获得了一系列新功能。尽管我不知道他们为什么选择在周五下午发布这个消息。伙计们，你们得把这个消息大声喊出来，而不是在周五。无论如何，这次更新包括一堆新功能以及一个企业版本。

可能最大的一个新功能是它具有互动模式。这正如它听起来的那样。它允许用户在音频访谈中与AI主持人互动。在生成音频概述后，用户可以请求在演示过程中加入对话，类似于Xspaces的工作方式。谷歌在他们的博客中写道：“……这就像有一个个人导师或向导，专心倾听，然后直接回应，从您的来源中提取知识。”

该功能仍处于实验阶段，谷歌指出，AI生成的主持人可能会不准确地回应或在回答之前尴尬地停顿。但这进一步加强了我一直在提出的观点，即这可能是人们未来开始学习新事物的方式。这并不是说它可以替代深入、全面的学习和自己阅读大型复杂报告。但能够通过倾听关于特定主题的对话开始，并现在参与其中，对于任何形式的新知识获取来说都是一个更好的起点。

这跟之前的更新相呼应，用户能够引导主持人并编辑内容。对于像我这样的内容创作者来说，这一点非常重要，因为在音频概述的初始实例中，我并没有真正参与到最终结果中。得益于Gemini增强的语音对语音能力，这一新功能为Notebook LM带来了根本不同的体验。

除了这个新功能，Notebook LM还将进行全面重新设计，改善用户体验。笔记本现在分为三个面板：来源、聊天和一个包含输出文档（如学习指南和音频概述）的工作室面板。谷歌表示：“从一开始，我们就希望Notebook LM成为一个工具，让您能够轻松地从提问转向阅读来源，再到捕捉自己的想法。今天，我们推出了一个新设计，使在单一统一界面中在这些不同活动之间切换变得比以往任何时候都容易。”

最后，这个消息对许多听众来说将非常令人兴奋，谷歌还推出了针对企业的应用程序高级版本。它引入了以工作为中心的安全性和隐私，同时允许生成五倍于普通版本的音频概述。高级版本中的笔记本可以在整个团队中共享。该订阅现已面向企业、学校和大学开放。考虑到我们在Super对Notebook LM在企业中的讨论，我觉得这绝对是一个成功的举措。

反响非常积极，Notebook LM的其他一切也都是如此。AI for Success账户在X上表示，有人能告诉谷歌冷静一下吗？他们又发布了Notebook LM的另一个重大更新。Christian7写道，这实际上是疯狂的。对Notebook LM团队在中断和参与用户体验方面的巨大赞扬。做到这一点非常困难。在过去几个月里，我一直在努力处理语音产品的相关问题。

甚至连以太·马列克教授（他绝对不是一个潮流追随者）也写道，谷歌在为严肃工作制作非聊天机器人界面方面有独特的才能。当我演示它们时，Notebook LM和Deep Research都能立即被理解，并满足真实的组织需求。它们代表了一小部分AI能力，但对每个人来说都很容易理解。所以一个写研究报告，另一个总结你的文档并将其转化为播客？明白了。

克里希纳写道，我不认为谷歌在UI创新方面领先是我预料中的事情，但我完全同意这一点。当Anthropic发布Artifacts时，感觉像是一个新界面，但那仍然非常像聊天机器人。Notebook LM和Deep Research是全新的。谷歌实验室设计师杰森·斯皮尔曼写道，谢谢，我认为我们只是看到了许多新UI创新的开始。我在之前的帖子中提到过，我们正处于一个过渡期。聊天机器人只是人类开始探索AI的最易消化的形式，但人们现在准备尝试新的格式。

有一家公司你必须认为正在密切关注谷歌的动向，那就是竞争对手Perplexity。我诚实地认为这是自谷歌搜索占据主导地位以来第一个真正潜在颠覆谷歌搜索的公司。该公司预计将实现快速增长和丰厚利润，因为他们寻求更多资金以在AI搜索中竞争。据报道，该公司正在寻求以90亿美元的估值筹集5亿美元，这一过程始于十月。

根据《信息》查看的投资推介材料，该公司预计明年的年化收入将翻倍，达到1.27亿美元。该公司进一步预计，到2026年底，随着其订阅模式的提升，收入将增长五倍。当首次报道筹款轮时，这一高估值似乎是显而易见的。该公司正在快速扩张并不断推出新产品。他们在11月的选举报道是行业的焦点，独树一帜，成为唯一一家支持其产品在这一争议事件中提供可靠答案的AI公司。

然而，自那时以来，我们看到推理模型、AI搜索和谷歌的深度研究功能迅速进步，这表明Menlo巨头不会轻易放弃。这可能会给Perplexity施加压力，因为他们在未来几年内推动将免费用户转化为付费客户。Perplexity仍然是该领域最具活力和令人兴奋的公司之一，但他们所竞争的庞然大物现在比不久前要活跃得多。

在这个季节的氛围中，XAI发布了其旗舰模型Grok 2的新升级。新模型声称速度提高了三倍，并提供了更好的准确性、指令跟随和多语言能力。再次在周五晚上发布，XAI还在X平台上推出了新的Grok按钮。

用户可以点击该按钮生成有关帖子或热门讨论的额外上下文。Grok API还为开发者降低了价格，输入令牌的价格现在为每百万2美元，输出为每百万10美元。该公司还宣布，他们的尖端Aurora图像模型将在未来几周内添加到API中。Grok 2.0的访问对所有X用户免费，订阅者将获得更高的使用限制。

最后，紧随OpenAI发布Sora之后，Pika Labs推出了其视频模型的第二代。Pika 2.0专注于大幅改善用户对生成视频剪辑的控制和自定义。用户现在可以上传要在剪辑中使用的元素的图像，例如角色、道具和场景。一个有趣的例子展示了梵高的自画像与戴珍珠耳环的少女共舞。角色和美学在场景之间表现出非常好的连贯性。您还可以调整个别元素，例如角色姿势和物体交互。

如果模型在第一次尝试时没有正确生成剪辑，现在可以进行精细调整，用户可以交换场景元素并调整提示。Pika 2.0的访问仍然定价极具竞争力，旨在使内容创作者和小型广告活动能够负担得起。您甚至可以在他们的标语中看到这一点，不仅仅是为专业人士，而是为普通人。

这就是今天AI Daily Brief头条版的全部内容。接下来是主要节目。今天的节目由Vanta提供支持。无论您是刚开始还是正在扩展公司的安全计划，展示一流的安全实践和建立信任比以往任何时候都重要。

Vanta自动化ISO 27001、SOC 2、GDPR以及ISO 42001和NIST AI风险管理框架等领先AI框架的合规性，为您节省时间和金钱，同时帮助您建立客户信任。此外，您可以通过自动化问卷和通过客户信任中心展示您的安全态势来简化安全审查，所有这些都由Vanta AI提供支持。

全球超过8000家公司，如Langchain、Leela AI和Factory AI，使用Vanta来展示AI信任并实时证明安全性。了解更多信息，请访问vanta.com/nlw。那是vanta.com/nlw。今天的节目一如既往地由Superintelligent提供支持。

您是否曾想过一个完全专注于AI如何与您的公司相关的AI每日简报？您的公司在AI采用方面是否遇到困难，无论是因为您在寻找能够驱动价值的用例时遇到瓶颈，还是因为正在发生的AI转型被孤立在各个团队、部门和员工中，无法改变整个公司？Superintelligent开发了一种新的定制内部播客产品，通过分享来自您公司内部和外部的最佳AI用例来激励您的团队。

把它想象成一个仅针对您公司AI用例的AI Daily Brief。如果您想了解更多，请访问bsuper.ai/partner并填写信息请求表。

我对这个产品非常兴奋，所以我会亲自尽快回复您。再次强调，网址是bsuper.ai/partner。欢迎回到AI Daily Brief。过去一个月左右，我们一直关注的一个非常有趣的讨论是关于我们是否在基于当前AI模型训练方法的LLM性能上达到了一个平台期的想法。

前OpenAI联合创始人、现今安全超智能公司的创始人伊利亚·苏茨克维尔在周五于温哥华的NeurIPS会议上罕见地发表了一些颇具震撼性的关于AI未来的预测。伊利亚在会上声称，预训练的时代无疑将结束。

在深入探讨伊利亚所说的内容之前，让我们回顾一下这些评论的背景。目前所有的基础模型都依赖于扩大预训练来取得进展。基本上，他们向问题投入更多的数据和计算资源，以实现模型能力的下一个范式转变。然而，几个月前，Frontier Labs内部的消息来源开始表达对预训练已达到扩展壁垒的担忧。训练运行开始显示出在训练集群中增加更多计算和数据的边际效益递减。

而最初只是《信息》的报道，开始得到大CEO的认可。上个月在微软Ignite大会上，首席执行官萨提亚·纳德拉表示，我们正在看到一种新的扩展法则的出现。他当然是指扩展时间测试计算，这是支撑OpenAI O1模型的技术。谷歌首席执行官桑达尔·皮查伊在纽约时报Dealbook峰会上表示，我认为当我展望2025年时，进展将变得更加困难。低垂的果实已经摘完，山坡变得陡峭。

至于OpenAI，他们认为推理模型和测试时间计算的新机会意味着，正如山姆·阿尔特曼所说，没有墙。但显然，即使他们也已经改变了策略，基本上不再仅仅是扩展计算能力和增加额外数据，而是采用允许模型“思考更长时间”的新方法作为可行的替代扩展策略。

伊利亚本人也参与了这场辩论，并将其提升到了一个新水平，因为他一直是“只需投入更多计算数据”的长期支持者。伊利亚告诉路透社，2010年代是扩展的时代。现在我们再次回到了奇迹和发现的时代。每个人都在寻找下一个东西。扩展正确的事物现在比以往任何时候都更重要。

那么，什么是正确的事物呢？好吧，让我们回到上周在NeurIPS会议上的这些评论。伊利亚似乎认为预训练时代的结束是出于更根本的原因。他认为行业已经达到了扩展的实际极限，表示：“虽然计算在增长，但我们已经达到了数据的巅峰，不会再有更多。我们必须处理我们拥有的数据。只有一个互联网。”相反，伊利亚提出了一条非常不同的路径，以实现下一代AI模型。

他提到了代理、合成数据和推理时间计算作为已经在进行的实验。关于代理，伊利亚认为当前所谓的代理极其有限，并不一定会在现有方法下进一步发展。虽然这一当前的代理群体是一个令人印象深刻的第一阶段，但它们仍然容易混淆，并需要人类监督才能正确执行任务。

伊利亚说：“现在，这些系统在任何有意义的意义上都不是代理。它们才刚刚开始。”他表示，未来模型将能够进行更多推理。他再次表示，我们正处于早期阶段，声称当前模型仅仅复制人类直觉，而不是提出自己的新逻辑。伊利亚以下棋的AI为例，指出领先的模型对人类国际象棋大师来说是完全不可预测的。他说，系统推理越多，就越不可预测。

从更广泛的角度来看，伊利亚给出了一个来自自然的例子，这对他来说暗示着AI复杂性可能出现根本性的突破。他指出，大多数哺乳动物在体重和脑容量之间表现出相同的可预测关系。非人类灵长类动物略高于这一曲线，但以相同的方式扩展。人科动物，如人类及其祖先，表现出体重和脑容量之间完全不同的关系。随着人类的进化，脑容量以一种基于与其他物种比较无法预测的方式急剧增加。

伊利亚声称，这意味着生物学在某种不同的扩展上找到了先例。

最终，伊利亚相信通往超智能的道路将赋予AI与预训练时代截然不同的能力。他表示，他期待看到根本上具有代理能力的超智能模型，这意味着它们将能够以与人类相同的方式执行任务。他还认为，它们将必然是不可预测的，表示：“……我们将不得不处理极其不可预测的AI系统。它们将从有限的数据中理解事物。它们不会感到困惑。所有这些都是非常大的限制。”

重要的是，这些都是关于AI将如何演变的非常概括的预测。伊利亚说：“我并不是在说如何，也不是在说何时。我在说这将会发生。当所有这些事情结合在一起时，我们将拥有与今天存在的系统截然不同的质量和特性。”这就是一个重要的观点：无论接下来发生什么，它可能看起来与我们今天拥有的非常不同。

其中一个最重要的观点是我们已经达到了数据的巅峰。当前的模型已经在整个互联网的基础上进行了训练。虽然很多人急于说也许还有未开发的数据来源，但企业家易卜拉欣·艾哈迈德写道：“……我有一点不同意的是，我们已经开发了所有数据。还有大量完全未开发的私人数据。”

迈克·记忆写道，

但伊利亚的观点有些不同。在我看来，他似乎在说，虽然私人和合成数据理论上可以扩大数据集的规模，但它们不太可能包含任何新概念或新想法。换句话说，一旦您记住了人类思想的整个目录，还有什么可以学习的呢？Yovgo这样总结道。学习完成部分观察不足以获得智能。他说，我认为这对许多人来说是显而易见的，但也许值得注意的是，一个真正的规模信仰者说了这一点。

其他一些评论则是对未说之事的沮丧。谷歌DeepMind的迪米特里·埃尔汉说，内特·桑德斯更进一步地表示，

我会说，即使这是真的，这也不一定只是一个筹款的事情，或者至少相关性的方向并不明确。换句话说，伊利亚推动这一叙述是因为它对筹款有帮助，还是他相信的事情，他只是借此机会？我们甚至没有任何确认的报告表明他实际上在筹款。这一切都只是猜测。