Deep Dive
- 元梯度下降优化AI训练配置
- Replay算法让AI自我调整训练参数
- 在数据选择和投毒任务中表现出色
- 能够暴露AI的软肋
Shownotes Transcript
大家好 欢迎收听菜快报 我是小爱大家好 我是小 T 那咱们直接进入正题第一篇是关于圆梯度下降的听起来有点高深能不能先给我们普通人解释一下这是什么
当然可以你可以把 AI 训练想象成调配一道菜模型是主菜数据是食材而训练过程就像烹饪方法以前我们调整烹饪方法靠的是试错比如不停的尝味道换不同的火候和调料组合但这篇论文提出了一个新思路能不能让 AI 自己学会怎么调火和加料这就是原体度下降哦我明白了就是让 AI 自己优化自己的训练过程那它是怎么做到的呢
他们设计了一种叫 replay 的算法用数学上的梯度下降来调整训练的原参数比如选择哪些数据调多大的学习速度打个比方 replay 就像一个聪明的厨师助手他能记住每一步烹饪的效果然后算出下一步该怎么调整火候才能让菜更好吃结果呢他们在多模态模型预训练指令微调甚至数据投读测试中都取得了惊人的效果
这听起来有点吓人是不是故意给 AI 微化数据真的没错研究者用这个方法测试模型的弱点发现通过原体度下降可以找到让模型出错的最优化数据组合比传统方法厉害了好几倍这说明它不仅能优化训练还能暴露 AI 的软肋那这个方法有没有什么缺点呢我总觉得这么聪明的东西背后的有点代价吧你问到
这个比喻我喜欢看来 AI 优化自己也不是万能的
接下来呢第二篇是什么第二篇论文研究的是如何用强化学习让大语言模型更稳定更高效想象一下你在教一个孩子做数学题传统方法可能是只奖励他做对的题但这篇研究说错了的题也得用起来错了的题也能教 AI
这听起来有点反常识怎么实现的他们提出了一个新算法叫 TOPR 用了一种追行重要性采样的技巧简单说就是让 AI 在训练时既看自己做的好的地方也分析做的不好的地方但会给好坏加不同的权重这样 AI 不仅能学到更多还不容易翻车结果在数学推理任务上 TOPR 比传统方法强了不少那这个好坏权重是怎么定的呢
AI 自己能判断吗这个权重是算法设计的一部分研究者发现正面粒子占 10 到 20 的时候效果最好就像教孩子太夸他会骄傲太批评他又没自信 TOPR 找到这个平衡点而且他们还加了个安娜卡列尼娜抽样的策略专门挑难题给 AI 练效率更高安娜卡列尼娜这名字好文艺是不是有点深意
对这个名字来自托尔斯泰的小说意思是失败的方式各有不同他们用这个策略让 AI 多关注那些容易出错的难题就像考试前重点复习薄弱环节一样结果证明很有效听起来真聪明那
那它有什么不足吗?TOPR 虽然简单高效但对超参数有点敏感比如权重怎么调学习速度多快的因任务调整而且它目前更适合单次训练长期训练的效果还得再研究明白了 AI 也有自己的成长烦恼那第三篇呢?第三篇解决的是语言模型推理时的内存问题你知道 AI 推理时会一步步想但这些中间步骤会越堆越多像个塞满笔记的桌子迟早会撑爆
我听说过什么上下文长度窗口之类的东西太长了 AI 就懵了这篇怎么解决的他们提出了 pencil 方法意思是用短记忆做长思考具体呢就是让 AI 像程序员写代码一样把中间步骤规约掉
比如解一道复杂谜题 AI 会用特殊标记把不用的思路清理掉只留关键信息结果呢一个 25 万参数的小模型用 pencil 就能解除爱因斯坦谜题准确率高达 97%连大模型 GPT-4 都比不过哇这么小的模型能干大事太不可思议了那它是怎么清理的
Pencil 模仿了计算机的函数调用站用像 call return 这样的标记来管理思路就像你做饭时把用完的碗洗掉桌面就不乱了理论上它还能模拟图灵机解决任何计算问题效率非常高听起来像个魔法垃圾桶那它有没有什么局限
有 Pencil 的清理规则现在还比较固定可能不适合所有任务而且它对模型设计有点要求的调整得当才能发挥最大效果原来如此 AI 的桌面整理术也有讲究第四篇是什么第四篇讲的是怎么让 AI 处理长文本时跑得更快更省内存传统方法像 Transformer 处理长文本时会很吃力像个跑步机上的胖子速度慢还喘气这个比喻太形象了
那新方法是怎么提速的他们提出了 TFLA 算法用分块平铺的方式把常温本分成小块再在每块里并行计算就像把大行李箱拆成几个小包搬起来轻松多了他们还优化了一个叫 MLSTM 的模型跑得比 Transformer 快还不掉性能那这个分块是怎么回事
不会把文本拆散了吗不会 TFLA 用双层并行既分块又保证信息完整就像拼乐高既快又稳而且他们还发现调整输入门的开关方式能在提速效果跟大模型不相上下听起来像给 AI 装了个涡轮增压器有什么短板吗
TFLA 对硬件要求高最好用 GPU 跑不然效果打折而且分块大小得调好太大太小都不行像开车的找对档位明白了 AI 也的因地制宜最后一篇呢最后一篇讲的是怎么让 AI 明白自己的知识边界论文提出了协作式字义让多个 AI 像团队一样互相帮忙学会什么时候用工具什么时候说我不知道 AI 还能团队合作这听起来好有趣怎么玩的
他們設計了一個多類 AI 環境,每個 AI 有不同工具比如一個查醫學,一個查百科,他們的一起回答問題答對了,集體有獎勵結果呢,AI 學會了合理分工,還能表達不確定性比如說我的叉叉,這不就像人類開會討論問題嗎?效果怎麼樣?
很棒在生物医学和常识问答上这些 AI 比单独训练的强多了工具用得更准还能少犯错而且他们会对冲不确定时会谨慎回答用户体验更好那有没有什么挑战呢有这个方法训练起来挺复杂的设计好奖励和协作规则而且多
多 AI 互动耗时多效率还有提升空间看来 AI 的团队精神也在慢慢磨合今天的五篇论文真是让我大开眼界好了今天的太快报就到这里感谢大家的收听我们下期再见下期见拜拜