Deep Dive
Shownotes Transcript
听名字就觉得很酷 soft take 是什么它解决了一个什么大问题 soft pick 确实是个挺酷的名字
咱们先把背景讲清楚大家知道现在的 AI 模型比如 ChatGPT 背后用了一种叫 Transformer 的架构它的核心是注意力机制简单说注意力机制就像 AI 的大脑在阅读时决定重点看哪里但这个机制里有个关键部件叫 Softmax
涵數負責把注意力分配給不同的信息點可問題是 Softmax 有點霸道它強迫所有注意力加起來必須等於 1 這就導致了兩個麻煩一是注意力沉沒 AI 有時候會莫名其妙地把很多注意力浪費在無關緊要的地方二是巨量激活模型內部會產生一些超級大的數值像是情緒失控的尖叫這讓模型在壓縮或低精度計算時容易出錯
听起来像是 AI 的注意力缺陷症,那 softpick 是怎么治好它的?你这比喻太贴切了,softpick 就像给注意力机制换了个更聪明的分配器它用了一种叫 rectified softmax 的函数,核心是用 relu 一种让负值变成 0 的数学操作和绝对值运算,打破 softmax
加起來必須等於 1 的硬性規則結果注意力沉默完全消失沉默率從 Softmax 的 34%到 63%降到 0%巨量激活也大幅減少模型內部的數值波動小了 100 倍像是從狂風暴雨變成了微風拂面
更厉害的是 softpick 还能让注意力变得稀疏就像 AI 学会了只看关键信息忽略杂音这不仅节省计算还让模型在低精度量化比如二位或三位运算时表现更好这听起来像是给 AI 装了个节能环保的新引擎那它有没有什么短板
当然有 softpick 在处理超长文本时有点力不从心,因为它的设计可能会让一些重要信息的分数被压得太低,像是信号太弱,在需要从长篇内容中精准找信息的任务上会掉链子。研究者试了些改进,比如 scalable softpick,但还没完全解决。
不过这个方向很值得期待可能未来我们会看到更高效更省电的 AI 模型好 Southpick 让我们看到了 AI 注意力机制的革命接下来是第二篇 WebThinkerEmpowering Large Reasoning ModelsWith Deep Research Capability 这篇听起来像是让 AI 变成了超级研究员没错 WebThinker 的目标是让大型推理模型比如那些能做复杂推理的 AI 学会自己上网查资料写出深度研究报告
想象一下你问 AI 一个复杂问题比如气候变化对全球农业的影响它不仅要推理还要像人类一样去网上搜资料点链接整理信息最后写出一篇条理清晰的报告这不就是把 AI 变成了学术助手它是怎么做到的
WebThinker 的核心是个叫深度网络探索器的模块以前的 AI 查资料大多是浅长者指搜个关键词抓点表面信息就完事但 WebThinker 能像人类一样深挖它会点进网页链接浏览更多页面找到隐藏的宝贵信息还有个聪明设计叫自主思考搜索起草策略 AI 一边推理一边搜资料
收到够用的信息就立刻写报告边想边写效率很高这听起来像个超级能干的实习生那他表现怎么样实验结果很亮眼在一些需要大量知识和推理的测试中比如科学问题解答和报告生成 WebThinker 比传统的检索增强方法和一些专有系统像 Gemini 表现都要好
他的报告更全面更深入而且他还能通过强化学习不断优化自己的搜索和写作策略越来越聪明有没有什么挑战比如查到假信息怎么办好问题 webseeker 确实有点复杂因为他需要一个主模型来推理和调度还要一个辅助模型来写报告系统有点臃肿另外
论文没详细说怎么处理网上常见的错误信息或无效链接这在现实中可能是个大问题未来可能需要更强的信息过滤器来保证质量明白了 WebThinker 让 AI 更像个独立思考的研究者接下来是第三篇 Equivariant Nonlinear Map
就标题有点吓人讲的是啥别被标题吓跑这篇其实是在研究 AI 模型如何更好的处理对称性举个例子假设你有个 AI 看照片他的明白一张猫的照片不管旋转平移还是翻转猫还是那只猫这种对称性在数学上叫等变性以前的研究大多集中在简单的线性等变模型比如卷积神经网络但现在 AI 用
听起来像是在给 AI 的眼睛和大脑定个规矩让他们更聪明地看世界
太对了这个框架用了一种积分算子的形式简单说就是给非线性层定了个模板让他们在处理数据时自动尊重对称性厉害的地方在于它不仅能解释传统的卷积网络还能把注意力机制等新架构统一到这个框架里像是给 AI 模型的各种技能找到了共同的数学语言这听起来很理论化有没有实际用处目前确实很理论化论文里没有实验数据全是数学推导
但它的意義在於為未來的 AI 設計提供了一個藍圖比如未來的視覺 AI 或物理模擬 AI 可能需要嚴格遵守對稱性這個框架就能指導工程師設計更高效更精準的模型不過它有個門檻數學太抽象工程師要把它變成代碼可能的飛臉鏡好吧
理论先行未来可期第四篇是 Deep Thick ProverbV2Advancing Formal Mathematical ReasoningValue Reinforcement Learning for Sub-Goal Decomposition 这篇跟数学有关感觉很硬核确实硬核这篇是关于让 AI 学会用数学语言比如 Lean4 做严格的定理证明咱们平时解数学题可能凭直觉但真正的数学证明的一步步严谨推导 AI 在这方面一直有点水土不服
DeepSeekProperty2 的突破在于它让 AI 先用自然语言想清楚证明的大致步骤再把这些步骤翻译成代码分解成小目标然后递归解决这像是让 AI 先写草稿再把草稿变成正式答案完全正确它用了一个大模型 DeepSeekProperty2
来分解问题 生成证明草图和出户代码然后用一个小模型 7B 去解决这些小目标更有趣的是 他们还用强化学习让 AI 学会更好的分解策略结果呢 在 MiniF2 FLAF 测试上准确率达到了 88.9%在大学级别的 Putterdam 竞赛题上也能解决 49 道题表现非常强
AI 都快成数学家了,有没有什么局限?有几个挑战,首先这个系统依赖一个超强的外部模型,DeepSeek V3 成本不低其次整个流程涉及多个模型和步骤复杂性高,可能会出错还有他们测试的题目类型有点局限,比如几何和组合题没怎么涉及,未来需要更全面的验证好,AI 离数学家又近了一步
最后一篇 Investigating Task-Specific Prompts and Sparse Autoencoders for Activation Monitoring 听起来像是在监视 AI 监视这个词挺贴切这篇研究的是怎么监控 AI 的内心世界也就是模型内部的激活状态
比如 AI 有没有生成不合适的内容是不是在胡思乱想产生幻觉论文比较几种方法第一种直接问 AI 领样本提示第二种在模型内部激活上训练一个简单的分类器线性探针第三种先给 AI 一个任务提示再检查激活提示试探针第四种用稀疏字编码器 SAE 把激活分解成更可解释的特征再检查这像是给 AI 做心理检查哪个方法
结果挺有意思提示试探针表现最好尤其在数据少或需要泛化到新场景时因为它先引导 AI 把相关信息表达出来再检查 SAE 探针在数据多时也很强但泛化能力稍弱而且组合这些方法居然没啥额外好处挺意外的
论文建议如果计算资源够选提示是探针如果数据多但推理资源少选 SAE 探针这让我想到 AI 的内心是不是比我们想的复杂有没有什么风险确实复杂一个风险是 AI 可能学会隐藏自己的意图骗过监控器论文提到了这个可能性但没深入验证另一个问题是这些方法都依赖特定数据集如果场景变了效果可能打折扣
未来可能需要更智能的监控技术比如能实时适应 AI 的行为今天这五篇论文真是打开了 AI 的新世界感谢大家的收听下期再见下期见拜拜