Elon Musk and other experts believe that AI models have exhausted the cumulative sum of human knowledge available for training. While new private data exists, it is often duplicative of existing datasets, offering little additional value. This has led to discussions about alternative approaches, such as synthetic data generation, to continue improving AI models.
Synthetic data is artificially generated data used to supplement real-world datasets for AI training. Companies like Google, Anthropic, and Meta are already using synthetic data, with Gartner estimating that 60% of AI and analytics data in 2024 was synthetically generated. Microsoft's Phi series of small models, trained on a mix of synthetic and real-world data, has shown exceptional performance, suggesting synthetic data can compress models effectively.
Using synthetic data risks model degradation, known as model collapse, where the quality of the AI diminishes over time. Elon Musk highlighted the challenge of identifying hallucinations—incorrect or fabricated outputs—in synthetic data, especially as models generate increasingly complex information beyond human labeling capabilities.
Standout innovations at CES 2025 included NVIDIA's Project Digits, a compact AI supercomputer priced at $3,000, and Cosmos, NVIDIA's open-source world models for robotics and self-driving car simulations. Other notable products were a Roomba with a robotic arm, AI-powered health mirrors, and German Bionic's robo-exoskeleton, which provides lift assistance and endurance boosts.
Critics like Kyle Wiggers of TechCrunch labeled many CES 2025 products as 'AI slop,' arguing that they were low-budget, gimmicky, or simply rebranded existing products with AI features. Examples included an AI-powered air fryer that scans recipe books and an AI-enabled birdbath that takes photos of birds. These products were seen as lacking meaningful innovation or utility.
Google is consolidating its AI teams, including the Google AI Studio team, under DeepMind to streamline research and development. This move aims to accelerate the transition from research to product development, improve feedback loops, and enhance the deployment of new models like Gemini. It reflects Google's prioritization of AI as a core focus for the company.
NVIDIA's Project Digits is a compact AI supercomputer designed to make advanced AI research accessible to students and enthusiasts. Priced at $3,000, it can run large models locally and, when networked, handle the largest open-source models. Its affordability and power could democratize AI development, enabling more experimentation and innovation in academic and startup settings.
Synthetic data is seen as a potential solution to the scarcity of high-quality training data. It allows for the generation of diverse datasets tailored to specific needs, reducing reliance on real-world data. However, its long-term impact remains uncertain, with concerns about model collapse and the potential for hidden biases or errors in synthetic datasets.
AI-powered consumer products at CES 2025 included smart fridges that create shopping lists, TVs that summarize news or generate recipes, and a $400 wood pellet grill with an AI assistant. Health devices like Withings' smart mirror provided health screenings, while robotic vacuums with arms demonstrated advancements in consumer robotics.
NVIDIA's Cosmos models enable the simulation of billions of driving miles, significantly reducing the need for real-world data collection. This could level the playing field for legacy carmakers lagging behind Tesla and Waymo in self-driving technology, accelerating advancements in autonomous vehicle development.
2025 年的 CES 展出了各种 AI 产品,从智能冰箱和健康镜子到带机械臂的机器人吸尘器。批评者将其中许多产品称为“AI 噱头”,但 NVIDIA 的 Project Digits 和 Cosmos 模型等杰出创新暗示了其变革潜力。以下是今年亮点和不足之处。 由以下机构提供: Vanta - 简化合规性 - https://vanta.com/nlw Superintelligent 的代理准备情况审核 - 前往 https://besuper.ai/ 申请贵公司的代理准备情况评分。 AI 每日简报帮助您了解 AI 中最重要的新闻和讨论。 订阅 AI 每日简报的播客版本,无论您在哪里收听:https://pod.link/1680633614 订阅时事通讯:https://aidailybrief.beehiiv.com/ 加入我们的 Discord:https://bit.ly/aibreakdown
</context> <raw_text>0 今天的 AI 每日简报,将讨论 CES 上 AI 的好、坏和荒谬之处。在此之前,在新闻头条中,埃隆表示我们已经用尽了所有 AI 训练数据。AI 每日简报是一个关于 AI 中最重要的新闻和讨论的每日播客和视频。要加入讨论,请关注我们节目说明中的 Discord 链接。
欢迎回到 AI 每日简报新闻版,大约五分钟内即可了解您所需的所有每日 AI 新闻。我们今天首先继续讨论去年年底开始认真进行的讨论。埃隆·马斯克也表达了自己的看法,他说他认为 AI 模型已经用完了训练数据。当然,越来越多的 AI 专家认为,我们已经达到了预训练数据规模的饱和点。也许最值得注意的是,上个月,前 OpenAI 领导者 Ilya Sutskever 说,我们已经达到了数据峰值,不会再有了。
总的来说,这并不是说我们已经从字面上用完了模型可以吸收的数据。而是新的海量私有数据可能与当前训练集中已包含的数据重复,
因此它不会为模型增加任何东西。在周三的直播对话中,埃隆·马斯克首次就此事发表了看法,他说:“我们现在基本上已经用尽了人类知识和 AI 训练的累积总和。这基本上发生在去年。”现在,解决方法尚不清楚。一些专家认为,该行业需要追求新的规模模型来改进 AI。我们一直在讨论推理模式或时间测试计算。另一些人认为,根据领先的 LLM 的输出生成精选的合成数据具有意义。
马斯克认为合成数据可能是前进的道路,他指出:“……唯一的方法是用合成数据来补充。AI 将撰写论文或提出论文,然后将自我评分并经历这个自我学习的过程。”
OpenAI 在推出 O3 推理模型时暗示他们已经在尝试这个过程。他们的科学家打趣说他们可以指导模型改进自身,Sam Altman 回答说也许他们不应该这样做。也有迹象表明合成数据已经被大量使用。Gartner 估计,2024 年用于 AI 和分析项目的 60% 的数据是合成生成的。谷歌、Anthropic 和 Meta 都已确认他们正在使用合成数据作为其训练的一部分。微软通过其 Phi 或 Phi 系列小型模型提供了一个特别有趣的例子。
这些模型使用经过精心策划和标记的合成数据和真实世界数据的混合进行训练,以创建最小可行数据集。它们目前的基准测试结果与其规模相比超出了图表范围,这可能表明在合成数据上进行训练是一种压缩模型的方法。一些实验室还使用合成数据作为一种节省成本的技术。AI 初创公司 Writer 声称其 Palmyra X004 模型完全使用合成数据进行训练,成本约为 70 万美元。
甚至有人建议,实验室可能会开始保留其最先进的模型,以防止竞争对手将其用作合成数据的来源。马斯克确实警告说,使用合成数据存在风险。他指出,幻觉很难消除,尤其是在模型开始接受人类数据标注者难以理解的信息训练时。马斯克说,引用:“……具有挑战性,因为你怎么知道它是产生幻觉的答案还是真实的答案?”他还讨论了模型崩溃,即使用过多的合成数据会使模型质量下降的前提。
马斯克证实,引用:“当你开始向模型提供合成内容时,你就会开始获得递减的回报。”这些信息片段可能暗示了 XAI 在训练 Grok 第三代时遇到的一些问题。该模型可能是世界上第一个在 100,000 个 GPU 集群上训练的模型,并计划于去年年底发布。
人们对这场对话的看法各不相同。投资者 Saad Hashimi 写道,这具有疯狂的上帝结果,我个人感觉我的 P 厄运增加了。系好安全带,这将是一段颠簸的旅程。Evan Owen 写道,合成数据是数据的塑料。它不是自然生命周期的一部分,我们还不知道如果我们只是不断将其循环到训练集中会发生什么长期影响。它很可能在权重中创建隐藏的结构,并以意想不到的方式表现出来。尽管如此,最终,它可能就是我们所拥有的一切。
Grok,也就是 G-R-O-Q Grok,销售主管 Sunny Madra 写道,合成数据还是失败?这将是一个值得关注的有趣话题。现在,让我们跳到谷歌,该公司已将其更多 AI 团队整合到 DeepMind,为关键一年做准备。
周四,谷歌 AI Studio 产品负责人 Logan Kilpatrick 表示,他的团队将转到 DeepMind,DeepMind 当然是谷歌的 AI 研究部门。他发布了:“此举将使我们能够加倍投入我们已经深入的合作,并加快研究到开发人员的流程。我们团队的使命保持不变。构建世界上最好的 AI 开发人员平台,该平台将谷歌的最新模型、工具和技术带给外部开发人员,以便你们可以构建未来。”谷歌 AI Studio 主要负责 Gemini API 和公司 AI 技术的产品化。
10 月,谷歌将 Gemini 应用背后的团队转移到 DeepMind,并表示:“……让团队更紧密地合作将改善反馈循环,使我们的新模型能够在 Gemini 应用中快速部署,使我们的训练后工作更有效地进行,并建立在我们伟大的产品势头上。”在本周的举动中,Gemini 开发人员 Janna Dogen 评论道:“……我们的工作将是以以前不可能的方式公开 DeepMind 的工作。虽然这是我生命中最大的挑战之一,但它可能会成为最值得回报的事情。”
当被问及即将发生的事情的细节时,她评论道,更好的 API、更多开源、更多工具,等等。
我认为,这与我们从谷歌听到的一致,即整个公司真正将 AI 作为其最重要的优先事项。除了这个公告之外,我们还推出了一个名为“每日收听”的功能。它根据用户的个性化发现新闻源为用户生成一个五分钟的播客。本质上,它是 Notebook LM 基于用户兴趣生成的播客的单键版本。我希望在明年看到谷歌尝试将流行的 AI 功能带给更广泛的受众的许多类似功能。
最后,今天是一系列小的公告。Frontier Labs 在新年伊始就取得了快速进展,本周发布了一系列功能更新和公告。微软发布了他们的 5.4 模型,完全开源,可在 Hugging Face 上下载权重。这个小型语言模型只有 140 亿个参数,但在测试高级推理和特定领域能力的基准测试中,其性能优于 OpenAI 的 GPT-4.0 mini。尤其令人感兴趣的是,该模型作为编码助手具有竞争力的性能,其软件包足够小,可以在消费级硬件上本地运行。
与此同时,OpenAI 推出了一种更轻松的方式来定制 ChatGPT 输出的语气。用户现在可以选择“健谈”、“鼓励”甚至“Z 世代”等选项。您之前可以通过提供额外的提示来对任何 LLM 执行此操作,但 ChatGPT 现在允许您使用系统提示来烘焙语气。Anthropic 上个月推出了类似的功能,我实际上认为这些 UX 更改对于 AI 使用的规范化程度将非常重要。
最后,XAI 开始为其 Grok 聊天机器人测试独立的 iOS 应用。到目前为止,Grok 一直作为 X 的一项功能嵌入其中。但正如我们在 OpenAI 的 ChatGPT 的高级语音模式和视觉功能中看到的那样,拥有独立的应用程序允许作为助手使用更强大的用例。Grok 的常见问题解答页面也预告了“不受约束模式”的推出,该模式最初由埃隆在 4 月份宣布。
该页面表示,该模型旨在令人反感、不当和冒犯,就像仍在学习技艺的业余单口喜剧演员一样。我相信这将完全没有争议,但就目前而言,这就是今天的 AI 每日简报新闻版的全部内容。接下来是主要剧集。今天的剧集由 Vanta 提供。信任不仅仅是赢得的,更是被要求的。
无论您是正在进行首次审核的初创公司创始人,还是经验丰富的安全专业人员正在扩展您的 GRC 计划,证明您对安全的承诺从未像现在这样重要或复杂。这就是 Vanta 的用武之地。企业使用 Vanta 通过自动化超过 35 个框架(如 SOC 2 和 ISO 27001)的合规性需求来建立信任。集中的安全工作流程可以将问卷调查完成速度提高 5 倍,并主动管理供应商风险。
Vanta 可以通过将您与审计师和专家联系起来以进行审计并快速建立您的安全计划来帮助您启动或扩展您的安全计划。此外,由于平台中使用了自动化和 AI,Vanta 可以为您节省时间,让您可以专注于发展您的公司。加入 Atlassian、Quora 和 Factory 等 9,000 多家全球公司,他们使用 Vanta 实时管理风险并证明安全性。
在有限的时间内,此受众可以在 vanta.com/NLW 获得 Vanta 1,000 美元的折扣。即 V-A-N-T-A dot com/NLW,可享受 1,000 美元的折扣。
如果 2025 年关于 AI 的一件事是明确的,那就是代理即将到来。按行业划分的垂直代理、水平代理平台、按功能划分的代理。如果您正在运营大型企业,您明年将尝试使用代理。鉴于这有多么新颖,我们所有人都会回到试点模式。
这就是 Superintelligent 在今年年初提供新产品的原因。这是一个代理准备情况和机会审核。在短短几周内,我们将与您的团队深入探讨哪些类型的代理适合您进行测试,您需要哪些类型的基础设施支持才能做好准备,并最终获得一套可操作的建议,让您准备好弄清楚代理如何改变您的业务。
如果您对代理准备情况和机会审核感兴趣,请直接与我联系,[email protected]。在主题行中输入“代理”一词,以便我知道您在谈论什么。让我们让您成为 AI 市场最具活力部分的领导者。
欢迎回到 AI 每日简报。在拉斯维加斯为期一周的 AI 小工具、公告和进步之后,消费电子展即将结束。现在,正如我本周早些时候提到的那样,CES 有点奇怪。它向公众开放,因此有超过 10 万人进场。它也面向消费者,因此专注于展示技术如何改变日常产品,甚至在展会现场进行直接销售。
不过,它绝对庞大,今年有超过 4300 家参展商。每年的问题是,CES 是否只是对我们几年后不会关心的任何炒作之物的回顾,或者是否有一些真正具有创新性的新消费产品。我们今天要做的首先是快速浏览所有展出物品的代表性样本。但随后我们将讨论一下它们的总和。
至少一位评论员发表了一些相当严厉的言辞,所以我们将看看所有这些。现在,最明显的主题,也是我们在这里讨论的原因,是 AI 被添加到您可以想象到的每种电器中。从可以自己制作购物清单的 AI 冰箱到可以总结新闻或根据烹饪节目创建食谱的电视,AI 助手是电器的热门新功能。有趣的是,一些高端 AI 功能开始进入入门级产品。
烧烤技术初创公司 Brisket 推出了一款售价 400 美元的木屑颗粒烧烤炉,配有无线连接和 AI 助手。Brisket 表示,他们的助手可以,“引用”,监控、控制和自动为您烹饪。对于包裹肉类或用清水喷洒肉类等操作,仍然需要手动输入,但显然 AI 足够智能,如果错过警报以避免烧烤变质,可以自动调整烹饪。价格点在范围的底部具有竞争力,这表明 AI 正在迅速成为每个智能设备的基本功能。
另一个重要主题是 AI 辅助被添加到医疗设备中。展会现场挤满了获得 AI 升级的可穿戴设备,但一些公司正在迭代这个想法。Withings 推出了一款带有内置健康筛查功能的原型智能镜子,可以使用 360 度扫描用户来测试体重、心脏和肺部健康状况。完成后,AI 语音将向您解释结果。Mashable 的 Christian DeLuper 对其进行了测试,它在展会现场正确诊断了他患有的健康问题。
我们稍后会回到展会中真正令人兴奋的内容,但这表明我们开始转向医疗设备不仅会监控我们的数据,还会分析数据以提供早期预警的阶段。
展会的一大亮点是一款带有机械臂的新款 Roomba。其理念是,自动吸尘器还可以拾起您的脏袜子或任何其他重量超过 300 克的物品。这款产品更像是机器学习而不是 AI,但它展示了机器智能的增长如何推动消费级机器人的进步。更重要的是,该设备不是原型。它是一款功能齐全的机器,将于 2 月开始发货,价格为 1600 美元。
有大量 AI 驱动的智能眼镜、带有内置翻译辅助功能的耳机以及其他几年前还属于科幻小说领域,但现在已成为功能齐全的产品的东西。
当然,如果没有一系列非常奇怪的产品,CES 就不完整了。一家名为 Spicer 的公司推出了一款 AI 驱动的调味品分配器,可以根据食谱和了解您的个人口味特征自动为您的饭菜调味。一家在社交媒体上积极做广告的公司 BirdFi 展示了一款 AI 驱动的鸟浴盆。在这种情况下,AI 只需识别鸟儿何时到来降温并拍摄一张即兴照片。
一家名为 Omni 的初创公司展示了他们的新款 AI 可穿戴设备,与 Rabbit 和 Friend 等产品竞争。您可以将其佩戴为吊坠,但他们实际上鼓励人们将其贴在太阳穴上以获得科幻外观。Omni 声称该设备可以使用脑机接口来理解您何时在与它交谈。
我们还将跳过会议中更不光彩的一面,但可以肯定地说,AI 也将用于许多 NSFW 内容。因此,虽然 AI 在会议上无处不在,但正如您所看到的,一些人认为许多(如果不是大多数)参展商只是在现有产品上贴上了 AI 标签。最值得注意的是,TechCrunch 的 Kyle Wiggers 宣称 CES 充满了现实生活中的 AI 噱头。
他写道:
下一个受到批评的产品是一款 AI 驱动的空气炸锅,它可以通过扫描食谱书的一页来确定正确的设置。Wiggers 总结了他所看到的内容,写道:
他认为,展出的许多产品并没有代表 AI 驱动的消费技术所能实现的目标,而是代表了旨在快速将产品推向展会现场的极低研发预算所能实现的目标。我认为这不是错误的批评或不好的批评,但我认为这里还有更多内容。当我们查看产品时,主动有害的东西、仅仅无用的东西以及有用到足以证明成本或新设备有用的东西之间存在差异。
其中一些东西坚定地属于第三类,即无用或过于复杂以至于无用。我相信有些东西可能确实有害,但很多东西都属于有用但未必值得转换成本的东西。
对我来说,一个更有趣的问题是所有这些东西嵌入未来的可能性有多大。换句话说,即使在今天,这些用例是否显得有些平庸,是因为它们只是应该成为或很可能成为未来设备核心功能集的一部分?
对于当前的用户体验范例,许多这些感觉像是不会被使用或寻找问题的解决方案的功能。便利性的理论增加不值得改变行为的认知负担。但是,我认为当我们的主要 UX 只是大声说出我们想要发生的事情时,情况就会开始改变。换句话说,当我们不必学习新功能时。很多事情可能更有意义。
还存在代际差异。20 年后,我们必须逐一在应用程序上选择杂货才能订购给我们,甚至更疯狂的是,实际上去商店的想法可能会变得很疯狂。当然,你的冰箱会为你订购东西。你所要做的就是在每周开始时对你的感受和想吃的食物进行一些偏好和对话。记住,我们根本不知道所有这些事情将如何发展也很重要。
在物联网热潮期间,没有人真正知道获胜的产品会是什么样子。没有人真正知道获胜的产品会是智能家居集成灯泡、车库门、恒温器和监控摄像头之类的东西。仅举一个例子,Ring 在 2013 年的鲨鱼坦克节目中寻求 700 万美元的 700 万美元投资,而 Kevin O'Leary 试图将其作为贷款。五年后的 2018 年,他们以 10 亿美元的价格卖给了亚马逊。关键是,有很多迹象表明,在这个阶段,向墙上扔意大利面条是正确的做法。
更重要的是,我认为重要的是不要让 CES 上愚蠢和荒谬的东西掩盖了真正重要的事情。除了 AI 驱动的调味品分配器之外,还有许多产品让我们看到了 AI 在未来几年将如何改变世界。该列表的首位必须是 NVIDIA 的 AI 超级计算机 Project Digits。如果您想了解更多信息,我们已在周三的节目中对此进行了报道,但其理念是,这款微型超级计算机确实脱颖而出,因为它可以在短期内改变行业。这台计算机大约有一本精装书那么大。而且
售价 3000 美元,它足够便宜,可以满足计算机科学学生和 AI 爱好者的预算。首席执行官黄仁勋在主题演讲中表示,目标是在“引用”每位数据科学家、AI 研究人员和学生的桌子上放置一台 AI 超级计算机。NVIDIA 声称这台计算机可以在本地运行 200B 模型,而两台联网的计算机可以轻松处理当前可用的最大开源模型。因此,这款产品将推动初创公司和学术界进行大量修补、测试和产品开发的寒武纪大爆发。
这已经是一个证明了产品市场契合度的用例。目前,构建本地推理机的最经济有效的方法是将四台 Mac mini 捆绑在一起。一台 Project Digits 机器具有似乎比该设置快三倍的规格,并且成本不到一半。
另一个不太引人注目的方面是消费级机器人技术发展速度有多快。带有机械臂的 Roomba 广受关注,主要是因为很容易看出它可以立即投入使用。但在整个展厅中,机器人原型表明科幻世界正在迅速逼近。德国 Bionic 推出了一款机器人外骨骼,能够提供 80 磅的举升辅助和 20% 的步行耐力提升。除了让你看起来像个机器人之外,这些设备对于行李搬运工和护士等需要整天行走和举重的工作人员来说可能是一个改变游戏规则的东西。
价格尚未公布,因此这似乎是尚未准备好普及的东西。事实上,它似乎是在 AI 机器人技术最近蓬勃发展之前很久开发的。该公司声称该设备使用 AI 来适应用户的需求。但是,他们还提到它是在数千小时的现实世界使用中训练出来的。而这只是展会上展示的机器人技术的冰山一角。几年之内,在你的房子里安装六七个机器人嗡嗡作响的想法可能会成为一件完全正常的事情。
NVIDIA 的另一个重大公告是其首个开源世界模型系列 Cosmos。除了使机器人能够使用模拟进行训练外,这些模型还有可能在自动驾驶汽车领域取得突破。到目前为止,训练自动驾驶算法的唯一方法是记录和分析数百万小时的现实世界驾驶数据。这就是为什么特斯拉和 Waymo 比几乎没有起步的传统汽车制造商拥有如此巨大的领先优势。黄仁勋表示,围绕 Cosmos 构建的汽车模拟平台承诺“引用”将数千次驾驶变成数十亿英里。