AI前沿：大模型“英雄所见略同”与检索式LLM对齐
13:55 Share

各位听众朋友早上好 中午好 晚上好欢迎来到最新一期的太快报我是今天的主持人小爱大家好 我是小 T 很高兴又在太快报和大家见面了最近 AI 领域可以说是精彩纷尘今天我们又将一起深入探讨五篇最新的研究论文看看 AI 太前沿又有哪些新动态和值得关注的趋势听起来就很期待那我们这就开始今天的 AI 探索之旅吧

好的,我们首先关注自然语言处理领域第一篇论文,题目是 Bolt 无需蒸馏的语言模型自举常思维链 Bolt 听起来像闪电侠的名字这个研究是关于让语言模型思考得更快吗?名字确实很酷炫这里的 Bolt 指的是 Boosted Up Long Chain of Thought 也就是自举常链思考

这项研究不是关注速度,而是关于如何让语言模型学会更复杂的推理能力,也就是像人类一样进行常练思考。常练思考能详细解释一下吗?当然,你可以把常练思考想象成解决复杂问题时,一步一步推理的过程,比如解答一道复杂的数学题,我们需要先理解题译,然后拆解问题,一步一步地推导。

最终得到答案这种逐步推理深入分析问题的能力就是常练思考之前的研究表明具备常练思考能力的大型语言模型在解决复杂问题时表现更出色那 Bow 的方法是怎么让语言模型学会这种能力的呢以往的方法通常依赖于知识蒸馏也就是用一个非常强大的老师模型来教学生模型但这种方法成本很高而且有点像黑箱操作不太透明

Bolt 方法则提出了一种新的思路它更像是一种自学成才的方法自学成才听起来很有意思是的 Bolt 框架分为三个阶段第一阶段它利用情境学习只需要给模型展示少量的例子

就像给学生一些例题让模型自己去摸索常练思考的方法第二阶段进行监督示微条让模型适应常练思考的格式第三阶段使用在线训练进一步提升模型的常练思考能力只需要少量粒子就能自学成才这听起来效率很高是的实验结果表明包图方法仅用 10 个粒子就能让模型有效地自举生成高质量的常练思考数据显著降低了成本

而且 Bolt 方法在多种不同的任务上都表现出色证明了他学习到的常练思考能力具有很好的通用性更重要的是 Bolt 方法是一种白盒方法整个学习过程更透明也更利于我们理解和改进常练思考技术这篇论文给我们的最大启发是什么呢

我认为是他告诉我们,即使是普通的语言模型,通过巧妙的方法也能掌握复杂的推理能力,而不需要像以前那样依赖昂贵的知识征流,这为低成本高效的提升语言模型的能力,开辟了一条新的道路。好的,接下来我们关注第二篇论文,题目是价值型深度强化学习扩展可预测。

强化学习听起来就有点硬核是的强化学习是人工智能领域一个重要的分支它主要研究如何让智能体在与环境的交互中学习最优策略这篇论文聚焦于价值型深度强化学习探讨这类方法的可扩展性问题可扩展性是指模型规模越大性能就越好吗可以这么理解但更精确的说是研究当我们增加数据和计算资源时模型的性能提升是否是可预测的

以及如何有效地利用这些资源以往的观点认为价值型深度强化学习的可扩展性不太好有点玄学难以预测那这篇论文的结论是什么呢这篇论文的研究人员通过大量的实验证明价值型深度强化学习的扩展其实是可预测的他们发现了一个关键的超参数叫做 UTD 比率也就是更新数据比率

这个 UTD 比率就像一个开关控制着数据和计算效率之间的平衡 UTD 比率听起来有点抽象你可以把它想象成汽车发动机的嘲笑发动机的性能受到很多因素的影响比如油耗和功率 UTD 比率就类似于发动机

的某个调节旋钮调节它可以改变油耗数据和功率计算之间的平衡研究人员发现当我们想要达到某个特定的性能水平时所需的数据和计算资源会呈现出一个可预测的帕雷托前沿帕雷托前沿又是什么帕雷托前沿你可以简单理解为最优资源配置边界在这个边界上我们可以在给定的计算资源下最大化数据效率或者在给定的数据资源下最大化计算效率

更厲害的是研究人員還發現最佳的批量大小和學習率這些超參數與 UTD 比率之間存在著可預測的密率關係密率關係聽起來好數學

是的 簡單來說就是這些超參數的調整是有規律可循的 不是盲目的通過這些規律 我們可以從小規模的實驗結果外推到大規模的實驗預測模型在更大規模下的性能和資源需求從而更有效地進行實驗規劃和資源分配這篇論文的意義是什麼呢?我認為它顛覆了我們對價值型深度強化學習可擴展性的傳統認知

证明了这类方法其实是有章可循的通过理解 UTD 比率的作用我们可以更好地调控超参数更有效地利用数据和计算资源提升强化学习算法的性能和效率这对于推动强化学习在实际问题中的应用具有重要的意义

好的,我们再来看第三篇论文,题目是信息检索视角下的大语言模型对齐,大语言模型对齐这个我们之前也聊过是为了让语言模型更符合人类的价值观和偏好,那信息检索视角又是怎么回事呢?

这是一个非常有意思的视角转换这篇论文的研究者把大语言模型对其问题放到了信息检索的框架下进行分析他们把大语言模型的生成过程类比为信息检索中的检索器把奖励模型类比为信息检索中的重排序器把大语言模型比作检索器把奖励模型比作重排序器

这怎么理解呢你可以这样想 LLM 生成文本的过程其实就像是在一个巨大的响应空间里搜索答案它根据你的问题 query 检索出一些可能的回答 response 而奖励模型的作用就像是一个过滤器或者评分器它会对 LLM 生成的这些回答进行评价选出最符合人类偏好的那个并对回答进行排序优中选优

听起来好像有点道理那这种类比有什么用呢这种类比非常巧妙它为我们理解和改进 LLM 对齐提供了一个新的框架基于这个视角研究人员提出了一种新的对齐方法叫做 LOPO 也就是 LLM 对齐及检索器偏好优化

LOPO 方法借鉴了信息检索领域很多成熟的技术比如检索器优化目标、应付力挖掘候选列表构建等等来提升对其的质量检索器优化目标、应付力挖掘候选列表构建听起来很专业

简单来说,检索器优化目标就是指我们希望检索器 LLM 检索出的结果尽可能地符合我们的目标应付力挖掘是指在训练过程中我们不仅要告诉模型什么是好的答案还要告诉它什么是不太好的答案

特别是那些看起来还不错,但其实不够好的答案,这就像是反面教材,能让模型学得更扎实。候选列表构建是指我们给模型提供更多的备选答案,让它在更大的范围内进行选择和学习,这有助于模型找到更优的答案。

LARP 方法效果怎么样呢?实验结果表明,LARP 方法显著提升了对齐的质量,在一些评测基准上,比基线方法提升了百分之十几甚至百分之三十几,充分证明了从信息检索的视角来研究 LARP 对齐是非常有潜力的。这篇论文给我们的启发是什么?我认为它启发我们在解决复杂问题时可以尝试跨领域的视角。

很多时候看似不同的领域其实可能存在共通的原理和方法通过借鉴其他领域的成熟经验我们可以为当前领域的问题找到新的解决方案接下来我们关注第四篇论文题目有点耸人听闻伟大模型思维的相似性及其对 AI 监管的削弱伟大模型是指那些最先进的 AI 模型吗 AI 监管削弱又是什么意思

是的,偉大模型可以理解为那些能力最强、性能最好的 AI 模型。这篇论文的核心观点是,这些偉大模型在思考方式上可能存在惊人的相似性,而这种相似性反而会削弱我们对 AI 的监管能力,甚至带来安全风险。模型思维的相似性,这要怎么衡量呢?

论文的研究人员提出了一个新的指标叫做 KPAR 也就是机会调整代率一致性这个指标可以用来衡量两个语言模型在功能上的相似程度特别是它们犯错误的相似程度 KP 指标考虑了模型输出的代率分布并调整了由于模型准确率而产生的偶然一致性因此能更精细地度量模型的功能相似性然后呢他们用 KPAR 指标发现了什么

这听起来有点可怕

是的,这意味着如果所有伟大模型都英雄所见略同犯的错误也高度相似,那么我们可能很难发现和纠正这些错误。如果我们依赖于相似的模型来进行 AI 监管,就可能会出现共同的盲点和失效模式,从而削弱 AI 监管的有效性和可靠性,带来潜在的安全风险。这真是个令人担忧的发现。

那这篇论文给我们敲响了什么警钟呢这篇论文警示我们不能过度依赖于同质化的 AI 模型来进行 AI 监管为了构建更可靠更安全的 AI 监管体系我们需要重视模型的多样性例如在 AI 评估和训练中应该使用更多样化的模型或者设计能够有效利用互补知识的训练方法以降低模型思维方式的相似性避免共同的盲点模型多样性听起来很重要

是的 就像生物多样性对于生态系统的稳定至关重要一样模型多样性对于 AI 系统的安全和可靠性也可能至关重要我们需要更加重视模型多样性的研究并将其纳入到 AI 监管的考量中最后我们来看第五篇论文题目是有记忆的决策术基于 T 度的地归决策术记忆学习决策术是很经典的机器学习模型了怎么还能跟记忆联系起来呢

是的,决策数是一种非常经典的模型,它最大的优点是结构简单,易于理解。但是传统的决策数通常用于处理静态数据,对于序列数据,也就是有时序关系的数据处理能力比较有限。这篇论文的研究人员就试图给决策数加上记忆,让他也能处理序列数据。给决策数加记忆怎么加呢?

他们受到循环神经网络 RN 的启发在决策树中引入了类似 RN 的内部记忆机制提出了一个新的模型架构叫做 Ramitrice 也就是循环记忆决策树 Ramitrice 的决策节点不仅可以基于当前的输入特征进行决策还可以基于内部记忆状态进行决策这样决策树就能记住过去的信息从而处理序列数据中的时序依赖关系

听起来有点像给决策数装上了一个小脑这个比喻很形象更厉害的是 Rimed Trace 还可以用梯度下降和时间反向传播算法进行训练这意味着我们可以像训练神经网络一样高效的训练决策数优化决策规则和记忆更新策略用梯度下降训练决策数这好像和我们印象中的决策数不太一样

是的,傳統的決策數算法,比如 ID3,C4.5,通常是貪婪生長的不進行梯度優化。Remit trees 打破了這種傳統,它使用梯度優化方法能夠更有效地學習決策規則。而且,Remit trees 還設計了一種簡單的二元門控機制來更新內部記憶,這與決策數的離散特性相符。

Ramitris 效果怎麼樣呢?研究人員在一些合成數據集上進行了實驗,結果表明,Ramitris 在處理需要記憶才能解決的時序依賴性任務時表現非常出色,甚至可以媲美 LSTM 等循環神經網絡。而且 Ramitris 的結構依然保持相對緊湊,具有潛在的可解釋性。這篇論文的意義是什麼?

我认为它为序列数据建模提供了一个新的选择 RemicGC 结合了决策术的结构化优势和循环神经网络的序列建模能力在保持一定可解释性的同时也能有效地处理时序数据这对于那些既需要高性能又需要一定可解释性的应用场景比如医疗诊断 金融封控等可能具有重要的应用价值今天的五篇论文都非常精彩

从 AI 监管危机到 RL 可预测性再到检索是对其新思路还有给决策数加记忆感觉每一天都很有启发性 AI 领域真的是日新月异是的 AI 技术的发展速度超乎想象我们今天的探讨也只是冰山一角希望通过太快报能帮助大家及时了解 AI 领域的最新动态把握未来的发展趋势非常感谢小 T 今天的精彩解读也感谢各位听众朋友的收听

更多 AI 太前沿资讯请继续关注太快报我们下期再见下期见拜拜