AI前沿：大模型地图、云边协同与超快训练
08:49 Share

大家好 欢迎收听最新一期拍快报 我是小爱大家好 我是小 T 很高兴又和大家见面了小 T 今天我们一下子要聊五篇论文 感觉戏剧量好大呀看摘要好像都挺有意思的 涉及语言模型分析 设备端模型协作高效训练模型推理和模型压缩 感觉方向还挺多元的是的

今天的这几篇文章确实代表了 AI 研究的一些新趋势都非常注重效率和创新思路我们今天就来好好解读一下看看 AI 研究者们又给我们带来了哪些黑科技好 那我们先从第一篇开始吧题目是通过对数自然向量映射上千种语言模型这个对数自然向量听起来就好专业它是用来做什么的呢嗯

这个概念确实有点技术性你可以把它想象成是给每个语言模型做一个独特的指纹这个指纹是通过让模型阅读一些预先选好的文章然后记录模型在阅读这些文章时的反应来生成的反应

在这里指的就是对数 自然向量反映这个比喻挺形象的那有了这个指纹有什么用呢有了这个指纹我们就能很方便的比较上千个语言模型了以前要比较模型可能需要让他们做各种任务很麻烦也很耗时但现在有了指纹我们就可以直接

比较这些指纹之间的相似度来了解不同模型之间的关系就像看地图一样哪个模型和哪个模型更接近一目了然听起来像给语言模型建了个组谱或者地图一样好有意思而且文章还说可以用来检测数据泄露这是怎么做到的呢这是一个很巧妙的应用如果一个模型不小心泄露了训练数据那么它在指纹上就会表现出一些异常

比如它在训练数据上的指纹会特别突出但在通用测试数据上表现却平平通过分析指纹我们就能发现这些可疑的模型从而检测数据泄露原来如此这个模型地图感觉很有用可以帮助我们更好的理解和管理大量的语言模型那我们来看第二篇设备端语云

嗯 听起来很棒

那他们是怎么做的呢他们提出了一种叫做 minions 的新方法简单来说就是让云端的大模型负责把复杂的任务拆解成很多小任务然后把这些小任务分给手机端的小模型去并行处理最后再把结果汇总起来有点像分工合作的感觉对就像一个大团队 leader 也就是云端大模型负责规划任务然后把任务分配给各个组员也就是设备端小模型去执行

最后 Leader 再把大家的成果整合起来这样既能利用大模型的智慧又能发挥设备端模型的效率这个思路真不错那效果怎么样呢效果非常显著他们的方法能在保证性能几乎不下降的情况下大幅降低云端计算成本平均能降低 5.7 倍这对于推广设备端 AI 应用非常有意义太厉害了感觉以后手机 AI 会越来越强大

而且还更省电了接下来我们看第三篇用单块 GPU 一天之内训练语音语言模型现在训练 AI 模型不是都要用很多 GPU 吗单块 GPU 一天就能训练语音模型是的这篇论文的核心突破就在于快和省他们提出了一套叫做 SLAM 的秘诀

可以在 24 小时内用一张普通的 GPU 卡训练出一个高质量的语音语言模型 Flam 秘诀听起来像武功秘籍一样这个秘诀是什么呢这个秘诀其实是一系列的优化策略包括模型架构的选择初始化方法数据的使用策略还有训练目标等等他们就像炼丹一样尝试各种配方最终找到了一个高效的组合炼丹队的比喻好形象那他们最后

他们最大的发现是什么呢他们发现合成的语音数据竟然非常有效以前大家都觉得合成数据不如真实数据但他们证明用合成数据训练出的语音模型在某些方面甚至比用真实数据训练的还要好这真是个挺颠覆的最发现合成数据也能这么厉害那以后训练模型是不是可以省很多数据采集的功夫了

可以预见合成数据在 AI 训练中的作用会越来越重要这篇文章也给了我们很大的启发就是不要迷信大力出奇迹有时候巧妙的方法和策略比堆砌算力更重要感觉这篇论文给资源有限的研究者带来了福音接下来我们看第四篇用潜在思维推理循环 Transformer 的力量这个循环 Transformer 又是什么新概念

Transformer 模型是现在 AI 领域最流行的模型架构但通常都是一次性处理信息而这篇文章提出的循环 Transformer 就像名字一样可以让信息在模型内部循环起来循环起来有什么好处呢好处就是可以增强模型的推理能力你可以想象成

我们人类在思考问题的时候也会反复思考不断深入循环 transformer 就是模拟了这种反复思考的过程让模型能够进行更深层次的推理有点像温故而知新的感觉是的很像他们发现对于很多推理任务来说模型的深度比快

宣传机制正好可以增加模型的深度提高推理能力那效果怎么样呢实验表明 循环 Transformer 在推理任务上性能可以和参数量更大的传统 Transformer 模型相媲美甚至更好

而且他们还发现循环 transformer 有点像人类的思维链推理过程思维链推理听起来好高级思维链推理就是像我们平时解数学题一样一步一步的思考逐步得出答案

循环 Transformer 好像也能模拟这种一步一步的推理过程这可能就是它推理能力强的原因感觉这篇文章打开了新的思路原来模型架构的设计这么重要可以影响模型的推理方式最后我们来看第五篇大语言模型的压缩缩放率吸收性与量化的统一这个压缩缩放率听起来像是要给模型压缩找到什么规律

是的这篇文章就是研究模型压缩的规律的现在大模型越来越大部署和运行成本很高所以模型压缩技术非常重要文章研究了两种主要的压缩技术稀疏性和量化稀疏性我知道就是让模型参数变得稀疏减少参数量量化是什么意思呢量化就是降低模型参数的精度比如原来用 32 位浮点数表示参数现在用 8 位甚至更低的位数来表示

这样也能大大减小模型大小。明白了,那压缩风率是什么规律呢?他们提出了一个有效参数技术的概念来衡量不同压缩技术的效果。他们发现无论是稀疏性还是量化,本质上都是在改变模型的有效参数量。他们还提出了一个有效参数乘数的指标。

可以用来比较不同压缩技术的效率有效参数乘数听起来好专业那他们最大的发现是什么呢他们发现全重量化尤其是质量化全重是一种非常高效的压缩方法即使量化到很低的位数也能保持较高的参数效率

而全量化也就是全重和激活值都量化在低于四位的时候效率提升就没那么明显了原来如此感觉这篇文章给模型压缩提供了理论指导以后选择压缩技术可以更有依据了

是的,这篇文章最大的贡献就是把不同的压缩技术统一到一个框架下进行分析让我们更清楚的了解各种压缩技术的优缺点从而更好的选择和应用压缩技术听完小 T 的解读感觉这五篇文章都好有价值既有理论创新又有实际应用意义今天的太快报真是信息量满满是的,今天的这几篇文章都代表了 AI 研究的一些新方向

他们都强调效率创新和深入理解模型相信这些研究成果会推动 AI 技术更快更好的发展非常感谢小 T 的精彩解读听众朋友们如果想了解更多 AI 前沿动态请继续关注我们的太快报我们下期再见下期见拜拜