AI前沿：上下文重塑、推理强化与效率飞跃
10:27 Share

各位听众朋友大家好 欢迎收听最新一期的太快报 我是主持人小爱大家好 我是主持人小 T 今天我们要聊聊 AI 领域的最新进展这些研究成果可能会让你对 AI 的理解耳目一新是的 小 T 我看到今天我们准备讨论的论文涵盖了语言模型的上下文学习 推理能力增强还有模型与训练的效率提升 听起来都非常前沿呢

没错,而且这些研究都非常有意思,揭示了 AI 模型一些我们之前可能没有意识到的能力。好,那我们就先从第一篇论文开始吧。这篇是关于表征的上下文学习,听起来有点抽象,你能用通俗的语言解释一下吗?没问题,这篇论文其实是在研究大型语言模型,也就是 LLL。

M 是不是像一个橡皮泥它的内部形状也就是它理解概念的方式是不是可以根据我们给定的上下文信息来改变橡皮泥的比喻很形象那论文是怎么做的呢他们设计了一个图追踪的任务把一些模型已经认识的概念比如苹果鸟放在一个事先定义的图比如网格环形上然后

然后让模型在这个图上随机游走同时给模型看一些例子就像给模型看一张地图上面标着苹果在 A 点鸟在 B 点然后模型要跟着地图上的路径走我明白了这就像让模型学习新的概念地图一样那实验结果是什么呢

结果很有意思他们发现当上下文例子足够多的时候模型内部对这些概念的理解会突然从他预训练时学到的固有语义转变成符合上下文定义的地图语义这个转变还很突然像涌现一样就像我们看到水到 100 度就沸腾了一样听起来很神奇就说明 LLM 真的像我们之前说的橡皮泥一样可以在上下文中改变它的内部表示

是的,而且他们还提出了一个能量最小化的理论框架来解释这个现象可以理解为模型会自动调整自己的概念地图使得它符合上下文的地图结构这有点像物理学中系统总是倾向于达到能量最低的状态这篇论文的研究方法很巧妙也提出了很有意思的观点

那它有什么实际的应用价值吗这项研究告诉我们上下文的力量超乎想象我们不应该把预训练的模型看成是一成不变的我们可以利用上下文来塑造它让它更好地适应新的任务比如我们可以用这种方法让 AI 模型更好地理解一些新的概念和关系这也启发我们在未来研究中应该更多地关注上下文的作用这也许会是提升模型能力的关键听起来很有意思

那我们接下来聊聊第二篇论文吧这篇是关于通过推理强化奖励模型实现思维强化听起来好像有点绕口这篇论文解决的是 LLM 在多步骤推理中难以判断何时停止的问题我们都知道 LLM 有时候会胡思乱想不停的推理下去或者根本没找到答案就停了这篇论文就是试图解决这个问题

那他们是怎么做的呢他们提出了一个叫蒸馏强化推理也就是 DRR 的框架核心思想是先让 LLM 自己生成一些思考过程然后训练一个小型的判别模型让他来判断 LLM 每一步的推理是不是合理相当于给 LLM 找了一个裁判最后在推理的时候这个裁判会给 LLM 提供反馈告诉他什么时候可以停止思考输出答案

听起来像是给大模型配备了一个思考教练这个方法和传统的自我批判方法有什么不同呢自我批判就像让大模型自己给自己打分但大模型本身可能就存在偏见自己给自己打分不一定准确第二用一个外部的轻量级的判别模型来做这件事

就像请一个外部专家来评估会更客观而且他们的方法不需要人工标注中间步骤更加高效这个外部的判别模型是怎么训练的呢他们利用大模型自己的推理过程来生成训练数据而不是人工标注所以更加高效这个判别模型就像一个观察者根据大模型的每一步输出

来判断大模型是否走在正确的道路上那这个方法的效果如何呢?实验证明 DR 在多个基准测试中都优于自我批判的方法在很多任务上它不仅能提高 LLM 的推理准确率还能让 LLM 更聪明地决定何时停止思考

避免不必要的错误听起来这个方法很有潜力它能让 LLM 的推理能力变得更加可靠这篇论文还强调了一个公式分数这是什么意思呢传统评估方法往往只关注准确率但在实际应用中我们有时候更希望 AI 不要犯错即使它不给出答案也比给出错误答案好

公式分数就是惩罚错误答案但不惩罚放弃这样更加符合用户对可靠 AI 系统的期望我明白了这篇论文不仅提升了 LLM 的推理能力还引导我们重新思考如何评估 AI 系统

接下来我们看看第三篇论文用原数据条件化加速语言模型预训练这个原数据听起来很专业其实原数据就是关于数据的数据在这篇论文中原数据指的就是训练数据的来源 URL 比如一个文本来自 wikipedia.org 这个 URL 就是原数据明白了那他们是怎么利用原数据来加速预训练的呢他们

那这种方法有什么好处呢?

他们发现使用了原数据后,模型可以用更少的数据和计算资源,达到和传统方法相同的性能。比如一个 16 亿参数的模型,用这种方法训练可以节省 33%的数据。这太厉害了,这相当于给模型一个学习捷径。而且这篇论文还发现通过在推理时加入不同的原数据,还可以引导模型产生不同的行为。这是什么意思呢?

这太

太有意思了,这篇论文告诉我们,原数据不仅仅是数据的标签,还可以用来引导模型的行为实现更好的可控性。接下来是第四篇,通过自我查询预测黑盒 LM 性能。这个黑盒听起来有点神秘。这里的黑盒指的是我们只能通过 API 访问 LM,不能访问它的内部状态。

这篇论文就是研究在只能使用 API 的情况下如何预测 LLM 的性能那他们是怎么做到的呢他们的核心思想是自我查询对 LLM 的输出进行后续提问让 LLM 自己来评估自己的答案比如 LLM 回答了一个问题我们再问他你觉得你的答案对吗这太

太有趣了让 LLM 自己给自己打分那这个方法的效果怎么样呢结果很令人惊讶这种黑盒方法的效果居然比那些可以访问模型内部状态的白盒方法还要好这说明 LLM 自身可能已经包含了关于自己能力和状态的丰富信息只是我们以前没有找到合适的办法来提取这些信息这是一个非常反直觉的发现那这项技术有什么应用价值呢

它可以用来预测 LLM 在实际应用中的表现从而选择最合适的模型此外它还可以用来检测对抗性攻击识别不同的 LLM 架构甚至可以帮助我们判断一个 API 提供的模型是不是名副其实听起来这项技术非常实用它可以帮助我们更好的了解和控制 LLM

最后我们来聊聊第五篇论文这篇是关于基于互信息和可学习鲜艳的统一框架 MIDPO 这个名字看起来就很高深这篇论文是在研究如何更好的对齐 LM 和人类的价值观 WPO 是一种很常用的对齐算法但是有很多不同的变体这篇文章就试图把这些不同的变体统一到一个框架下

那他们是怎么做的呢?他们提出了一个叫互信息 DPO 的框架,这个框架的核心是引入了一个可学习的鲜艳分布,而不是传统 DPO 方法中的固定参考策略。鲜艳分布又是什么呢?你可以把它理解成是模型在对齐过程中事先需要遵守的规则或约束。

传统的 DPO 方法用一个固定的规则而 MIDPO 方法让模型自己学习如何调整这个规则这使得模型更加灵活那这个方法有什么好处呢他们证明通过调整这个鲜艳分布很多现有的 DPO 算法可以被视为这个框架的特例

这有助于我们更好的理解这些算法之间的关系而且他们还从理论上证明优化这个鲜艳分布可以提高模型的性能听起来这个框架很有潜力它可以帮助我们更好的理解和设计对齐算法是的虽然这个框架目前还停留在理论层面但是它为我们提供了一个新的视角

也指明了未来研究的方向好 今天我们聊了很多 AI 领域的前沿进展从上下文学习到推理增强再到模型效率提升每一项研究都非常有意思也让我们对 AI 有了更深入的理解是的 这些研究成果都展现了 AI 领域的巨大潜力也为我们未来的研究提供了很多启发非常感谢小 T 的精彩解读也感谢各位听众朋友的收听我们下期再见下期见 拜拜