Deep Dive
Shownotes Transcript
观众朋友们大家好,欢迎收听最新一期的太快报,我是小爱大家好,我是小 P,又和大家见面了小 T 最近 AI 领域真是新闻不断,感觉每天都有新突破今天又有哪些重磅研究要跟我们分享呢?今天我们要聊的这几项研究涵盖了 Transformer 模型的关键组件,大模型的推理效率还有大家都很关心的 AI 安全问题可以说每一项都代表了 AI 领域的新进展
听起来就很有料那我们先从哪个开始呢我们先来聊聊 Transformer 模型的核心注意力机制吧最近有一篇论文提出了一个叫做 Scalable Softmax 的新方法据说能解决注意力衰减的问题这可是个不小的突破注意力衰减
听起来有点抽象,能用大白话解释一下吗?没问题,你可以把 Transformer 模型的注意力机制想象成我们在阅读一篇文章,当文章很长的时候,我们是不是会觉得注意力容易分散,难以集中精力记住前面讲的内容,注意力衰减,就有点类似这个意思。
在 Transformer 模型处理长文本时标准了 Softmax 注意力机制会变得注意力不集中无法有效聚焦于关键信息这会限制模型处理长文本的能力这个比喻很形象那这个 Scalable Softmax 是怎么解决这个问题的呢?研究人员发现标准 Softmax 函数在处理长序列时注意力分数会变得扁平化就像水面上的涟漪扩散开来力量就分散了
而 Smax 就像是對 Softmax 做了一個巧妙的縮放調整讓它在處理長文本時注意力依然能夠集中在重要的關鍵詞上他們發現這個縮放比例跟輸入向量的大小存在對數關係就像是給注意力機制加了一個望遠鏡看得更遠 更清晰聽起來就像是給注意力機制升級了一下裝備
那效果怎么样呢?效果非常显著,实验表明用了 SMAX 的 Transformer 模型,预训练速度更快,处理超长文本的能力也大大提升,甚至能处理比训练时长度长 20 倍的文本,而且在长文本中抓取关键信息的能力也更强了。研究人员还做了一个有趣的大海捞针测试,在长长的文本中找关键信息 SMAX 模型表现远超之前的模型,
哇,这么厉害,那这个 Smax 实现起来复杂吗?非常简洁,只需要对现有的 Transformer 架构做一点点代码修改,把 Softmax 替换成 Smax 就行了,计算效率也很高。这篇论文的创新之处在于,它指出了一个看似不起眼但非常关键的问题——
注意力衰减并用一个非常简单有效的方案 SMAX 就解决了这个问题这种小改动大提升的研究思路很值得我们学习真是太棒了感觉 AM 模型又变得更强大更高效了那除了注意力机制的优化还有其他提升模型效率的方法吗当然有
接下來我們要聊的這篇論文就提出了一種非常巧妙的測試時擴展方法叫做預算強制能讓模型在推理時思考更久一點從而提升性能預算強制這個名字聽起來挺有意思的是限制模型的預算嗎
名字确实有点反直觉这里的预算指的是模型的计算资源更具体地说是模型推理时可以进行的计算量预算强制并不是限制预算而是通过一种简单的方式在测试时增加模型的计算量让模型有更多的时间去思考
增加计算量就能提升性能听起来好像有点大力出奇迹的感觉可以这么理解但关键在于方法很巧妙研究人员发现通过操纵模型生成文本时的结束标记符可以强制模型延长或缩短思考时间例如当模型想结束生成时我们可以通过一些技术手段让它等一下
再想想,或者在模型思考不夠充分時,強制它提前結束這就像是給模型加了一個思考時常調節器非常形象,他們還為此專門構建了一個高質量的小型推理數據集 SEK 只有 1000 個問題,但質量很高他們用這個數據集微調了一個 320 億參數的模型 SE
32B 结果非常惊艳有多惊艳这个 SE32B 模型通过预算强制技术在解决竞赛级别的数学题时竟然超越了 OpenAI 的 OE Preview 模型高达 27%要知道 OE Preview 可是被认为具有非常强大的推理能力的模型更让人惊讶的是 SE32B 只用了一个非常简单的方法和一个小规模数据集就做到了这也太厉害了吧
感觉有点四两拨千斤的意思是的这个研究的亮点就在于简单和高效他告诉我们有时候并不需要复杂的模型结构或者巨大的数据集一些简单而巧妙的方法也能取得意想不到的效果而且他们还发现对于推理任务来说让模型顺序的增加思考时间就像预算强制这样比并行的生成多个答案在投票多数投票更有效这个发现也挺反直觉的
那這個預算強制方法有什麼局限性嗎?論文中也提到過度的預算強制可能會適得其反讓模型陷入重複循環反而降低性能另外這個方法主要在推理任務上驗證在其他類型的任務上效果如何還需要進一步研究但總的來說預算強制提供了一個非常簡單有效的提升模型推理效率的新思路
感觉今天学到了好多提升模型效率的秘籍那除了效率模型训练本身有没有什么新的发现呢当然接下来这篇论文就非常有趣它揭示了突优化理论和大型模型训练的学习率调度之间存在着一种惊人的巧合突优化学习率调度
这两个概念听起来就很高深确实有点专业术语简单来说突优化是一种数学理论用来解决一类特定的优化问题这类问题通常比较温和容易找到最优解而学习率调度是深度学习中常用的一个技巧指的是在模型训练过程中如何随着时间调整学习率就像开车时调整油门大小一样那这两者怎么会扯上关系呢深度
深度学习模型不是通常被认为是非突的吗?这就是这篇论文最让人惊讶的地方研究人员发现大型模型训练中常用的学习率调度策略比如 cosin 和 wsd 竟然和从非光滑突优化理论推导出来的理论性能界限非常吻合这简直太出乎意料了因为深度学习模型的损失函数通常是非突的
非常复杂这确实很神奇那这个吻合具体体现在哪里呢他们重点分析了 WSD 学习率调度这种调度策略通常包含一个冷却期也就是在训练后期降低学习率研究人员从突优化理论推导出了 WSD 调度的理论收敛界限
结果发现理论界限也显示冷却期能显著提升性能这和我们在实践中观察到的现象完全一致更神奇的是理论界限甚至能解释冷却期损失突然下降的现象哇 理论和实践竟然都如此吻合那这个发现有什么实际意义呢意义非常重大这意味着我们可以借助突优化理论的指导来更好的设计和优化学习率调度策略
論文中,研究人員就展示了如何利用這個理論來改進 LAMA 類模型的訓練比如,優化持續訓練的學習率調度以及在不同調度策略之間遷移最佳學習率他們還發現,理論預測的最佳基礎學習率與訓練週期的平方根程反比
Causing 调度的最佳学习率大约是 WSD 的两倍这些理论预测都和实验观察结果相符感觉就像是找到了一把理论之药可以更好的理解和控制深度学习模型的训练过程了
是的 这个研究揭示了图优化理论在深度学习中的意外相关性也提醒我们即使面对复杂的飞突问题一些基本的理论工具仍然能给我们带来重要的启发和指导今天真是大开眼界从模型效率到训练理论感觉 AI 技术又向前迈进了一大步
那除了这些还有其他值得关注的进展吗?比如最近大家都很关心的 AI 安全问题当然在 AI 安全方面也有一项非常重要的研究提出了一个叫做宪法分类器的安全防护框架专门用来防御通用越狱攻击听起来就很危险是的越狱攻击指的是通过一些特殊的 prompt 技巧绕过 AI 模型的安全防护机制
让模型生成有害或不当的内容而通用越狱就更进一步指的是一种通用的攻击方法可以系统性的绕过模型的安全防护让非专业人士也能轻松的利用 AI 模型进行有害活动这听起来确实很令人担忧那这个宪法分类器是怎么防御这种攻击的呢这个框架的核心思想是规则先行外部防御
傳統的安全防護方法,通常是在模型內部進行微調,讓模型自身變得更安全而憲法分類器則不同,它是在模型外部構建一個獨立的安全衛士這個衛士基於一套憲法規則來判斷模型生成的內容是否安全憲法規則聽起來有點像人類社會的法律法規
是的你可以把这套宪法规则理解为一套 AI 的行为准则研究人员用自然语言定义了一些规则比如不能生成有害信息不能泄露个人隐私等等然后用这些规则生成合成数据来训练一个分类器这个分类器的作用就是在模型输出内容之前先进行安全审查如果发现内容违反了宪法规则就阻止输出听起来就像是给 AI 模型加了一道安全防火墙那效果怎么样呢
效果非常出色研究人员进行了超过 3000 小时的大规模红队测试邀请了大量的安全专家来尝试越狱这个系统结果表明没有任何红队成员能够找到通用的越狱方法可以持续地从受宪法分类器保护的模型中提取出与无防护模型相当的详细有害信息在自动化评估中
增强后的分类器也展现出强大的防御能力而且更难得的是宪法分类器在实际部署中开销非常小几乎不影响模型的正常使用这使得它成为一种非常实用和可扩展的安全防护方案
这个研究还发现一个很有趣的现象红队成员在攻击时更多的是利用评估协议的弱点而不是直接绕过分类器本身这提醒我们安全评估方法的设计也至关重要感觉 AI 安全防护又上了一个新台阶
那我们今天聊的最后一项研究是什么呢?最后一项研究我们再回到模型效率的话题聊聊如何更高效地进行 LLM 推理这篇论文提出了一种叫做奖励引导的投机解码的新方法投机解码这个名字听起来有点像是在偷工减料名字确实容易让人误解
其实投机解码是一种提升 LM 推理效率的常用方法,它的核心思想是以快带慢,它会先用一个轻量级的草稿模型快速生成一部分文本,然后再用强大的目标模型来验证和修正草稿模型的结果,如果草稿模型生成的结果足够好就直接采纳,如果不好就用目标模型重新生成。
听起来有点像仙大草稿在精修的写作过程是的 非常形象但是传统的投机解码方法通常比较保守它会严格保证生成结果的无偏性也就是尽量让最终结果和直接用目标模型生成的结果一致而这篇论文提出的奖励引导的投机解码则更加激进和智能怎么个激进和智能法呢
RSD 引入了一个过程奖励模型这个模型会评估草稿模型生成的中间结果的质量并动态决定是接受草稿模型的结果还是调用目标模型进行改进它不再是简单的追求无偏性而是更注重生成结果的价值
奖励模型这听起来有点像是在给模型打分鼓励它生成好的结果是的你可以这么理解 LSD 会有意识地引入一些可控的偏差优先选择那些奖励更高的输出研究人员发现对于复杂的推理任务来说即使草稿模型生成的结果不完全正确但只要有一定的价值也比完全依赖目标模型从头生成要更高效这有点反直觉难道不完美的结果反而更好吗
在某些情况下确实是这样。对于复杂推理任务,生成一个完全正确的答案可能非常耗时,但如果草稿模型能快速生成一个部分正确或者有启发性的答案,LSD 就会倾向于接受它,从而节省计算资源,提升整体效率。
实验表明,RSD 在推理任务中效率提升高达 4.4 倍,同时精度还优于传统的推测解码方法,平均提升高达 3.5%。哇,这真是效率和质量双丰收,感觉 AI 模型越来越聪明,也越来越会省钱了。
是的 RSD 提供了一个非常好的思路如何在保证模型性能的前提下最大限度的提升推理效率这对于 LLM 的实际应用非常重要太棒了 今天真是收获满满感觉对 AI 的最新进展又有了更深入的了解
感谢小七的精彩解读不客气我也很荣幸能和大家分享这些有趣的研究听众朋友们今天的太快报就到这里了感谢大家的收听我们下期再见下期见拜拜