Deep Dive
Shownotes Transcript
大家好欢迎来到新一期的太快报我是小爱大家好我是小 T 很高兴我们又见面了那我们从第一篇开始吧它叫 self-routing our age of finding selective retrieval with knowledge verbalization
这个名字听起来有点复杂能不能用通俗的语言解释一下当然可以想象你问一个智能助手一个问题比如月亮为什么会发光传统的智能助手可能会去网上搜索答案但有时候搜索到的信息质量不高或者根本不需要搜索因为助手本身就知道
答案这篇论文提出了一种新方法叫自录由 RAG 简单来说就是让 AI 自己决定是去网上找信息还是直接用它已有的知识来回答就像我们人类有时候会查资料有时候直接凭记忆回答一样吗对 就是这个意思
论文的关键发现是 AI 不仅要会搜索,还电地会说出他自己的知识。这听起来很简单,但其实很聪明,因为如果 AI 能清楚地表达他已有的知识,他就能更准确地判断什么时候需要搜索,什么时候可以直接回答。研究还发现这种方法能减少 20%到 40%的不必要搜索。
同时答案的质量还提高了减少搜索还提高质量这不就是双赢吗那他是怎么做到的他用了一种多任务去面的方法让 AI 同时学会选择知识来源表达知识和生成答案更有趣的是他们用了一种叫最近零搜索的技术相当于让 AI 在自己的记忆库里快速找到最相关的知识这种方法特别适合处理一些冷门问题比如常委知识数据集常委知识那是什么
常委知识就是那些很少被问到但又很重要的问题比如一些小众文化或专业领域的细节论文还提到一个反直觉的发现让 AI 用它自己生成的数据训练比用更强大的 AI 生成的数据效果更好这就像是让 AI 自己总结经验比直接抄别人的作业更有效这真是有趣那我们能用这个技术做什么呢比如说帮我们更智能的回答问题对
比如智能客服 学术研究助手甚至是教育工具如果 AI 能更聪明地选择信息来源我们就能更快得到准确答案同时节省资源这也让我们看到 AI 的潜力不只是搜索能力还有它内部知识的挖掘太棒了接下来我们聊聊第二篇 Deep Seek ArtizologyLet's Think About LLH&E
这个标题听起来像是哲学和科技的结合你能给我们讲讲吗确实很有趣这篇论文提出了一种新的研究领域叫思想学专门研究 AI 的推理过程拿 DeepSeq-1 这个模型来说它不像普通 AI 直接
而是会像人类一样思考一番生成多步推理链让我们能看到它是怎么得出结论的听起来有点像侦探破案的过程对 非常像但研究发现了一个有趣的现象推理链越长步一定越好
他们发现有一个推理甜点,意思是有一条最适合的推理长度,超过这个长度反而会让答案变差。他们还发现模型有时候会反除,也就是反复思考同一个问题,浪费时间。那不就像我们有时候想问你想的太深反而把自己绕晕了吗?
对 就是这个感觉更让人惊讶的是 DeepSick RE 在安全性和文化适应性上也有问题比如它比不推理的版本更容易被攻击甚至会生成一些不安全的内容语言和文化也会影响它的推理比如用英语问问题时它会生成更长的推理链而不同语言可能反映不同的文化价值观这样我想到 AI 会不会有一天完全像人类一样思考呢
这是个好问题论文认为 DeepSeek R1 是系统 1.5 思维介于直觉和深思熟虑之间还没达到人类的系统二水平但这也许说明 AI 的推理能力还在进化我们需要更好地控制它的思考过程避免过度或不足很有启发
那第三篇呢 Plastic Tensor Networks for Interpretable Generative Modeling 听起来像是数学和艺术的结合确实有点像这篇论文提出了一种叫非负自适应张量数 NTT 的技术用来生成数据比如图像或文本并让这个过程更易于理解想象你画一幅画每一笔都有明确的逻辑而不是乱图乱画 NTT 就是这样工作的那它和普通的生成方法有什么不同
普通方法可能像黑盒子你不知道它怎么得出结果但 NCT 用了一种叫非负矩阵分解的技术确保每一步都是正的代率就像拼图一样每块拼图都清晰可见他们还发现这种方法特别适合处理复杂数据比如 DNA 序列或逻辑运算
那听起来很实用,但它有没有缺点?优点是可解释性长,但计算成本更高,因为它需要更多计算资源来保持这种清晰性。不过论文也提出了一种混合方法,先用别的技术找到结构,再用 NATT 优化,这让我们看到 AI 可以灵活组合不同方法来解决问题。太聪明了!第四篇呢,Exact Unlearning of Finding Data with a Merging at Scale,
听起来像是隐私保护的故事对 这篇论文解决了一个重要问题如何让 AI 忘记某些数据比如某个用户要求删除他们的数据但 AI 已经学会了这些数据怎么办他们提出了一种叫 Safe Masks 的方法通过合并多个模型并用符号固定微调技术让 AI 准确的遗忘特定数据同时不影响其他性能这就像我们擦黑板但只擦掉一部分内容其他内容还完整
对就是这个比喻更厉害的是他们把遗忘的计算成本降低了 250 倍
这意味着即使是超大模型也能快速安全的处理遗忘需求他们在文本数据上测试了这个方法效果非常好这对隐私保护意义重大那最后第五篇呢 Stochastic Optimization with Optimal Importance Sampling 听起来很学术确实有点学术但也很实用这篇论文解决了一个优化问题如何让 AI 在面对不确定性时更高效的找到最佳解决方案他们
他们提出了一种新算法可以同时调整决策和采样策略不用像以前那样一步步分开处理那听起来像是在黑暗中找路但有一盏自适应的手电筒对形象他们用了一种叫 Nestorov 对偶平均的方法确保算法既快又准论文还证明这个方法在理论上是最优的能减少随机误差让 AI 更快收敛到正确答案
这五篇论文真是各有千秋感谢小 T 的精彩讲解也感谢大家的收听我们下期再见下期见拜拜