Deep Dive
Shownotes Transcript
大家好,欢迎收听太快报,我是小爱大家好,我是小 T,很高兴又见面了那我们就从第一个话题开始吧有一项研究聚焦于如何在公开测试标准时避免泄露答案,防止数据污染这听起来有点像考试时防止作弊,具体是怎么做的呢?确实很像防作弊的思路这项研究的标题是 How can I publish my L and benchmark without giving the true answers away?
提出了一种叫 fish fincher 的方法简单来说研究者担心如果把测试题和标准答案直接公开可能会被一些模型开发者偷偷拿去训练模型这样测试结果就失去了公平性为了解决这个问题他们想了个巧妙的办法为每个问题设计多个正确答案但只公开其中一个随机选定的版本
这样即使有人拿去训练模型也很难猜到真正的标准答案而且如果某个模型的表现超出了理论上的最高分数就很可能是作弊了也就是说他可能在训练时见过这些随机答案这听起来像是故意设置一个陷阱抓那些偷看答案的模型那这种方法真的有效吗实验证明非常有效
他们在多个测试集和模型上验证了这个方法不仅能检测出数据污染还能在公开测试的同时追踪模型的真实进步打个比方这就像在考试中故意放一些假答案如果有人答歹太完美反而暴露了他们提前知道答案的可能性太有意思了
接下来我们聊聊第二项研究标题是 Donger,T-Oversink It,Preferring Shorter Thinking Chains for Improved LM Reasoning 听名字好像是说 AI 思考别太复杂简单点反而更好没错这项研究挑战了一个传统观念很多人认为 AI 在解决问题时思考步骤越多越详细答案就越准确
研究者发现对于同一个问题 AI 生成的较短思考路径往往比长的更可能得出正确答案准确率甚至能高出 34.5%基于这个发现他们提出了一种新方法叫 Short-term Medicaid 简单来说就是让 AI 并行尝试多个思考路径
一旦最快的几个路径完成就停止其他计算从中选出最佳答案这不仅节省了计算资源速度还能快 33%这有点像我们在做决策时不用把所有可能性都想一遍抓住最直观的思路往往更有效
那这对实际应用有什么帮助呢?非常有帮助比如在智能客服或在线教育中 AI 需要快速回答问题这种方法能让 AI 既快又准节省成本的同时提升用户体验更重要的是它提醒我们复杂不等于更好效率和效果有时候可以兼得
明白了接下来是第三项研究 Data RaterMeta LearnedData Securation 听起来是关于如何挑选训练数据的小 T 能给我们解释一下吗当然训练 AI 模型需要海量数据但并不是所有数据都对训练有帮助有些甚至会拖后腿
这项研究提出了一种叫 Data Reader 的技术通过一个小型 AI 模型来自动评估每条数据的价值然后筛选出最有用的部分进行训练举个例子这就像在准备考试时不是把所有资料都读一遍而是挑出重点内容重点复习实验显示这种方法能减少 46.6%的计算量同时还能提升模型的表现这真是省时省力那他是怎么判断哪些数据有价值的呢
Data Rater 会学习数据的特征比如他发现一些明显错误或无关的内容比如乱码、格式错误的文本就会被打低分这种智能筛选比人工设定规则要高效的多也更能适应不同的数据集确实很智能第四项研究是 Planning Without Search
这项研究解决的是 AI 在复杂任务中如何进行长期规划的问题比如在谈判或说服性对话中 AI 需要提前想好每一步
然后 AI 根据反馈调整自己的策略。
整个过程不需要直接修改大模型也不需要大量的试错计算效率很高这就像请了个顾问帮 AI 指点泥鲸那效果如何呢?效果非常好在工具使用、社交推理和对话任务中这种方法比传统方法表现更好
推理时间也从几十秒缩短到几秒这对那些只能通过接口访问的大型 AI 模型特别有用因为你不需要改变模型本身就能提升它的规划能力听起来很实用最后我们聊聊第五项研究 Bridge Supervised Learning and Reinforcement Learning and Math Reasoning 这好像是关于 AI 学习数学的
是的 这项研究关注的是如何让 AI 在数学推理任务中自我提升传统上很多人认为只有一种叫强化学习的方法能让 AI 从错误中学习但这项研究提出了一种新方法叫负样本感知微调它属于监督学习范畴但也能让 AI 从自己的错误答案中吸取教训简单来说 AI 不仅学习正确的解题方法也会分析为什么错的答案不对从而改进自己
实验表明这种方法在数学任务上的表现可以媲美甚至超过强化学习这就像学生不仅记住正确答案还要搞清楚错在哪里才能真正提高那这对 AI 发展有什么意义呢意义很大它证明了监督学习也可以实现自我改进这为 AI 训练提供了更多选择尤其是在只有简单对错反馈的情况下而且它还从理论上揭示了两种学习方法之间的深层联系
对于未来设计更高效的学习算法有启发五项研究都聊完了每一项都让人耳目一新感谢小 T 的精彩讲解感谢大家的收听我们下期再见下期见拜拜