Deep Dive
- 自适应推理框架减少了50%-90%不必要的计算
- 模型学习将简单问题分配给简短回答
- 提高了AI的效率和响应速度
Shownotes Transcript
大家好 欢迎收听本期的太快报我是小爱大家好 我是小 T 很高兴我们又见面了那咱们就从第一个话题开始吧第一篇论文的主题是让语言模型学会什么时候思考听起来好像有点哲学意味能不能先给我们解释一下这是什么意思呢
当然可以,这篇论文叫 Thinklessable Unlearns When to Think,核心是解决一个问题,现在的语言模型在回答问题时,不管问题简单还是复杂,常常会用很长的推理过程来回答,比如一步步推导数学题的解法。
但其实很多简单问题根本不需要这么费力这就浪费了计算资源于是研究者提出了一个框架让模型自己判断这个问题简单就给了简洁答案复杂就详细推理有点像我们人类简单问题直接答难的才多想几步
这怎么实现呢他们设计了两个特殊标记一个表示简短回答一个表示详细推理放在回答开头引导模型选择风格然后通过两阶段训练第一步教模型如何用两种方式回答第二步用强化学习让他学会什么时候用哪种方式结果很惊人在数学问题测试中模型减少了 50%到 90%的长篇推理但准确率几乎没变
这就像让一个学生学会只在难题上花时间效率大大提升确实很聪明有没有什么特别有趣的发现有个反直觉的现象他们发现训练过程中模型一开始倾向于用长推理因为这样准确率高但随着训练深入模型学会把简单问题分配给短回答短回答的准确率也上来了
最后长推理的比例反而下降了这说明模型真的在学聪明知道怎么分配自己的脑力这对实际应用有什么影响呢影响很大尤其是在需要快速响应的场景比如手机助手或在线客服如果模型能少响一点回答速度会更快耗电也更少而且这启发我们 AI 的智能不仅在于解难题更在于知道什么时候该省力
未来可能会有更多这种自适应的 AI 系统好 接下来我们聊聊第二篇论文关于一个叫 Panda 的模型专门预测混沌系统的混沌系统是什么为什么预测它这么难混沌系统是指那些对初始条件非常敏感的系统
比如天气团流或某些生物行为稍微一点变化就可能导致完全不同的结果所以长期预测特别难这篇论文提出了 Panda 模型通过在一个包含 2 万个合成混沌系统的巨大数据集上训练来学习预测这些系统的行为最厉害的是它只用模拟数据训练却能在现实世界的混沌系统上直接用效果还超过了很多专门训练的模型
听起来像个全能学生,有什么特别的地方吗?有个很意外的发现,虽然他只在低维系统上训练,但居然能预测更高维、更复杂的系统,比如某些物理方程。这就像一个人学了小学数学,却能直接解大学题目,说明模型可能学到了某种通用的规律。还有他们发现模型性能提升的关键不是数据量,而是数据中系统的多样性。
这对未来如何设计训练数据很有启发这种技术能用在哪些地方应用前景很广比如天气预报地震预测甚至是研究生物系统的动态变化想象一下如果能更精准地预测台风路径就能提前做好防御挽救更多生命和财产
不过目前模型对超高维系统的处理还有局限未来可能需要更巧妙的设计接下来是第三篇论文关于嵌入的通用几何学这听起来有点抽象能不能用简单的话解释一下没问题嵌入式 AI 模型把文字图片等信息转化成一串数字的方式
这些数字代表了信息的含义不同模型产生的嵌入通常不兼容就像用不同语言写的书很难直接比较但这篇论文提出了一种方法叫 Vetto Vase
可以在没有任何额外信息的情况下把一个模型的嵌入翻译成另一个模型的嵌入而且效果非常好这背后有个假设不管模型怎么训练它们的嵌入最终都会指向一个共同的语义结构有点像不同语言背后都有相通的人类思维听起来很神奇但这有什么用呢用处很大比如可以让不同 AI 系统的数据互相兼容方便知识共享但更重要的是
更重要的是它揭示了一个安全隐患研究发现只要拿到一堆嵌入数据哪怕不知道原始内容也能翻译到已知模型的空间然后反推出很多敏感信息比如从医疗记录中推测疾病这提醒我们嵌入数据本身也是要保护确实是个重要的警告
接下来第四篇论文是关于多轮推理的优化多轮推理是什么为什么要优化多轮推理是指 AI 在完成任务时需要多次交互比如先搜索信息再根据结果推理最后给出答案问题在于 AI 很难判断每一步的贡献如果中间一步出错最终结果可能全错这篇论文提出了一种新方法
把任务看成一个步步决策的过程给每一步分配具体的功劳这样 AI 就能更清楚的知道哪一步做得好哪一步需要改进结果显示这种方法让 AI 在使用工具时成功率达到了百分之百
最終答案的準確率也提升到 50%遠超傳統方法聽起來像是在教 AI 反思自己的每一步決策這對我們日常使用 AI 有什麼幫助?非常有幫助比如在智能客服或個人助理中
AI 需要多部交互才能完成任务比如查资料总结信息如果每部都能优化整个过程会更顺畅回答也更精准未来这种技术可能让 AI 助手变得更像一个团队成员能逐步思考和调整策略最后我们聊聊第五篇论文关于像素推理器这听起来很新奇能解释一下吗当然这篇论文提出了一种新思路
让视觉语言模型不仅能看懂图片或视频还要能直接在图像上动手动脚比如放大某个区域选中某帧画面然后根据这些操作推理出答案这叫像素空间推理他们设计了两阶段训练先教模型怎么用这些操作再用好奇心奖励机制鼓励模型多尝试结果很棒他们的模型在多个视觉任务上表现突出甚至超过了一些
这就像让 AI 学会仔细看而不是随便扫一眼有什么特别的地方特别的地方在于他们发现如果不加好奇心奖励模型会懒得用
新操作总是依赖老办法这说明 AI 学习新技能时需要特别设计记忆力机制就像小孩子学新东西需要鼓励一样这对未来开发多模态 AI 很有启发推理不一定只在文字里也可以在图片声音中直接进行太有意思了这五篇论文真是让我们大开眼界今天的太快报就到这里感谢大家收听我们下期再见下期见拜拜