Deep Dive
Shownotes Transcript
欢迎收听彩排报,我是小爱今天我们要聊聊人工智能领域的最新研究动态这次咱们聊点啥欢迎大家,这次我们确实有好东西要分享我挑了五篇新鲜出炉的论文涵盖了 AI 在效率提升模型设计和法律伦理等多个维度的突破咱们今天的目标是让大家听完后既觉得有趣又能有所启发准备好了吗?嗨!
那就从第一个话题开始吧我听说有个叫 Lion 的东西能让 AI 训练更快还能处理更长的序列这是啥黑科技你说的是 Linear Attention for Efficient Bidirectional Sequence Modeling 这篇论文简单来说研究者们发明了一个叫 Lion 的框架
它能让 AI 在处理双向序列任务时既快又省内存想象一下你在读一本书想同时理解前后文传统的 Transformer 模型虽然很聪明但训练时需要大量计算资源推理时内存也吃不消而 Lion 把复杂的注意力机制转化成了一个双向循环神经网络的形式既能像 Transformer 那样并行训练又能像循环神经网络那样高效推理
听起来像是把两种技术的优点合二为一了具体是怎么做到的对 核心在于线性注意力传统的 Transformer 用的是 Sofnex 注意力计算量随着序列长度平方增长而线性注意力把这个复杂度降到了线性级别 Lion 框架还设计了三种变体比如 Lion-D 和 Lion-S 分别从别的模型中吸取灵感优化了不同的任务场景
实验结果很亮眼比如在图像分类任务中 Lion 的训练速度比一些现有模型快了 9 倍还能处理更长的序列比如高清图像或长篇文章这也太夸张了那它会不会牺牲精度呢这正是 Lion 的厉害之处它在性能上跟传统 Transformer 和状态空间模型差不多
甚至有些任务还略胜一筹研究者还提供了一个叫 LionChunk 的策略可以根据设备资源灵活调整速度和内存的平衡可以说这是个兼顾效率和效果的解决方案特别适合未来在手机或边缘设备上跑 AI 模型听你这么一说我已经在畅想手机 AI 变得更快更聪明了下一个话题呢咱们聊聊 Low Rank Bias Weight Decay and Model Merging in
这篇论文研究了神经网络训练中的一个隐藏规律全重衰减会让模型的全重矩阵变得低质也就是更简单更紧凑更有意思的是他们还发现了一个反直觉的方法把两个不同任务上训练的模型全重直接加起来居然能合并成一个既能干老任务又能干新任务的模型等等全重直接加起来这听起来像是把两份菜谱混在一起还能做出好菜
类比很形象其实这里有个前提这两个模型的在正交的数据集上训练意思是他们学的知识的尽量不重叠比如一个模型学时尚分类一个学动物识别研究者发现只要数据分布差异够大简单相加就能保留两者的能力这背后靠的是权重衰减带来的低质结构让模型参数更有条理更容易组合
那这个方法有什么实际用处吗用处可大了比如在现实中我们可能有针对不同领域的 AI 模型像医疗法律教育如果能简单的把它们叠加起来就不用重新训练一个大模型既省时间又省资源研究者在小型网络和大型语言模型上都验证了这个方法效果很不错这让我想到乐高积木拼起来就能用太巧妙了接下来呢
第三个话题是 Between circuits and Chomsky 讲的是用形式语言预训练来提升自然语言模型的效率想象一下在焦菲学中文前先让他玩一种数学语言游戏结果他学中文时居然能少用三分之一的数据就达到同样水平
数学语言那跟中文有什么关系这里的形式语言是一种叫 K-Shuffle-Duke 的结构化语言有点像括号配对的进阶版它在模拟自然语言中的层次结构比如句子的主卫兵关系研究者发现先让 Transformer 模型学这种语言再学自然语言数据效率提升了 33 个百分点
而且语法理解也更强他们还发现 AI 在形式语言中学到的注意力头在自然语言任务里还能接着用像是提前打好了基础这有点像先学拼音再学汉字的感觉那为什么这种方法有效呢?关键在于层次结构和可学习性的平衡
形式语言的既有足够的复杂度来模仿自然语言又的是 Transformer 能学会的可以 Shuffle Detect 恰好满足这个条件这也启发我们未来训练大模型时或许可以用类似的预热方式来省资源真有意思那第四个话题呢
第四篇是"Interrogating LL Design Under a Fair Learning Doctrine"聊的是大圆模型和版权的交集研究者提出一个公平学习原则意思是训练 AI 时不能让他过度记住版权数据他们用一个叫 Pathia 的开圆模型做实验发现一个意外结果多重复训练某些数据并不会明显增加 AI 的记忆量这不挺反常识的吗我还以为多喂点数据 AI 就记得更多
对 这确实挺意外的他们用因果分析发现重复数据的影响没那么大反而是训练过程的设计更关键他们还建议法律上应该关注 AI 的训练结构而不只是看输出结果这样才能更好的平衡创新和版权保护这让我想到 AI 开发者和法律专家的一起努力了最后一个话题是什么
最后一个是 Fast Debeasing of the Lasso EstimatorLasso 是个经典的回归算法但它有偏差以前修正偏差得靠复杂的迭代计算这篇论文找到了一种 B 式解直接算出来速度快了好多倍还保证结果 唯一
历史解释什么意思,听起来很高大上简单说就是一个公式能直接得出答案,不用一步步试错比如你解个数学题以前的用计算机慢慢算,现在直接套公式就行这对高维数据分析特别有用,像金融预测、基因研究这种需要快速处理的场景明白了,就是让复杂问题变简单了这五篇研究真是各有亮点,你觉得哪一点最让人眼前一亮
我个人最喜欢蓝眼的效率突破和模型合并的反直觉思路效率提升能让 AI 更快走进生活而模型合并则展示了 AI 设计的创造性潜力你呢 小爱我挺喜欢形式语言预训练那篇感觉像是给 AI 开了个外挂既省力又有新意好了 今天的太快包就到这儿咱们下期再见下期见 拜拜