Deep Dive
- DFloat11无损压缩技术将大型语言模型体积压缩30%，推理速度提升1.9-38.8倍
- 该技术利用BFloat16的低熵特性和霍夫曼编码
- 应用前景广阔，可降低部署成本，并在移动设备上运行强大的AI助手
- 局限性：压缩率有限，解压计算负担增加
Shownotes Transcript
大家好欢迎收听太快报我是小爱大家好我是小 T 很高兴我们又见面了我们先从这篇压缩的论文开始吧这篇论文标题很吸引人 70%的大小扩得 100%的精度意思是把 AI 模型的体积压缩到 70%
但输出的答案和原来一模一样他们针对的是大型语言模型比如 LM 用了一种叫动态长度伏点数 Diffuse-11 的技术动态长度伏点数听起来好复杂能不能用个简单的比喻解释一下
好想象一下 AI 模型的体重来自它存储的数字这些数字用一种叫 BFLOWS16 的格式记录就像用 16 个格子装信息但研究发现这些格子里有不少空位尤其是表示数字大小的部分实际只需要 2.6 个格子就够了
他们就用了一种叫霍夫曼编码的压缩方法把这些空位挤掉发明了 Dflow11 只用 11 个格子体积小了 30%但信息一点没丢就像把衣柜里没用的空间整理出来衣服还是原来的衣服但压缩了之后 AI 用起来会不会变慢
好问题压缩后的数据需要解压解压通常很慢但他们设计了一个超级聪明的 GPU 程序像一个并行解压工厂能同时处理很多数据结果呢在内存有限的 GPU 上压缩后的模型比原来的快了 1.9 到 38.8 倍还能处理更长的对话上下文最高能多 13 倍这太厉害了能处理更长的对话感觉就像 AI 的记忆力变强了那这个技术能用在哪些地方
应用前景很广比如原本需要好几台昂贵服务器才能跑的超大模型现在一台普通 GPU 集群就能搞定这对企业来说能省下不少成本对于我们普通人可能未来手机上就能跑强大的 AI 助手因为模型更小更省电了但有没有什么缺点比如压缩会不会有极限确实有局限压缩率大概是 30%想再压更多可能的牺牲精度
而且解压虽然快还是会增加一点计算负担特别是在小任务上可能不划算还有这套方法是为 Bflow16 设计的如果模型用别的格式可能需要重新调整听起来像是给 AI 模型量身定制了一套健身计划这让我想到生活中我们也常觉得存储空间不够用比如手机照片太多你觉得这个研究对其他领域有什么启发
这篇论文提醒我们优化往往藏在细节里他们发现不 flow16 的浪费后重新设计了存储方式这启发我们无论是 AI 还是其他技术基础部分的改进可能带来意想不到的突破比如视频压缩云存储甚至物联网设备都可能从类似的无损压缩思路中受益对 细节决定成败而且无损这个点很吸引人
保证了 AI 的原汁原味接下来我们聊聊 AI 学习新知识的秘密吧这篇论文研究了一个很有趣的问题 AI 学习新知识时可能会学过头把新知识用在不该用的地方他们叫这个现象启动效应比如 AI 学了个奇怪的食物名字可能会在聊天器时突然冒出来显得很突兀像是 AI 八卦没分寸怎么发现这个问题的
他們設計了一個叫 Alblandish 的數據集,裡面有 1320 個稀奇古怪的文本比如紫色西瓜或者月球上的咖啡店通過這些數據他們發現,如果新知識裡的關鍵詞在 AI 的常識裡概率很低比如紫色西瓜很罕見,AI 學完後就容易過度泛化,在不相關的對話裡提到這些詞那怎麼控制 AI 別跑偏?
他们提出了两个妙招第一个叫垫脚石就是在教 AI 前把怪词改得没那么怪比如把紫色西瓜改成一种罕见的紫色水果类似西瓜这样 AI 就不会觉得太震惊学得更稳妥第二个更反直觉叫忽略 Top Key 就是在更新 AI 时故意忽略 8%的最大变化结果启动效应能减少 96%但 AI 还是能记住新知识忽略最大的变化反而效果更好
这也太奇怪了为什么会这样论文没完全解释但一个可能的原因是最大的变化往往跟 AI 的机动反应有关容易导致过度泛化忽略它们就像让 AI 冷静下来专注学有用的部分这有点像我们人类学东西遇到很新奇的内容时容易分心刨偏对像我第一次学做菜学了个复杂的菜谱结果做其他菜时老想加那些奇奇怪怪的调料这个研究对 AI 开发有什么帮助
非常重要 AI 如果学过头可能会产生幻觉输出不靠谱的答案这两个方法能让 AI 学得更精准减少错误比如在医疗 AI 里学心要信息时就不会乱用到其他场景保证安全这让我想到 AI 学习跟人类有点像都有的学会抓重点这个研究还有什么更大的意义
他让我们重新思考 AI 学习的本质论文提到 AI 的启动效应跟人类大脑对新奇事物的记忆方式有点像这启发我们 AI 可能不只是工具还能帮助我们理解自己的认知过程未来设计 AI 时我们可能需要更像老师一样精心挑选和调整学习内容真有意思从压缩到学习 AI 越来越聪明了
接下来我们看看 AI 怎么变成数学家这篇论文解决了一个很酷的问题让 AI 自动为复杂的数学问题写出生成器程序他们管这个叫可执行函数抽象 AFA 简单说就是让 AI 从一个数学题和它的解法里提炼出一个能生成类似题目的模板生成器听起来像个数学题工厂具体怎么做到的
他们设计了一个叫 EFAGEN 的方法用大语言模型从一道题的解法里猜出一个 Python 程序这个程序能生成新题还能保证新题跟原题逻辑一致他们还做了一套自动考试系统检查程序是不是真的管用比如能不能跑生成的题能不能解自动考试
AI 自己给自己打分对这些考试不仅能筛选出好程序还能用来训练 AI 让他写出更好的程序结果他们成功让 AI 为从小学数学到奥林匹克级别的难题生成模板
还能用这些模板增强 AI 的解题能力甚至找出连 GPT-4O 都解不出的难题找出 GPT-4O 都解不出的题这也太厉害了那这个技术能干嘛应用很广比如教育领域可以用它生成个性化练习题帮学生巩固知识
AI 开发者可以用它来测试模型的极限找出弱点甚至可以用来研究数学本身因为这些模板可能揭示问题的深层规律有没有什么挑战毕竟高等数学可不简单确实有难度如果原体的解法不清晰 AI 可能生成错误的模板
而且对于特别复杂的证明题 AI 可能还抓不住精髓生成和验证的过程也需要不少算力这让我想到数学家有时候也是从具体题目里总结规律这个研究是不是在让 AI 变得更像人类
数学家完全正确从具体到抽象是人类智能的核心这篇论文让我们看到 AI 不仅能模仿还能自己发明规则未来 AI 可能不只是解题工具还能帮人类发现新的数学定理太苦了
看来 AI 在数学领域也要大展身手了最后我们再聊聊另一个压缩技术吧这篇论文研究了怎么压缩一种混合 AI 模型这种模型结合了 Transformer 和状态空间模型 Mamba 比传统模型更高效但还是很大他们提出了一种叫足感知简知的方法专门为 Mamba 部分设计保留了它的核心结构感知简知听起来像给 AI 做精准手术子
你可以想象 Mamba 像个有组织的团队简直不能乱简的尊重他的团队结构他们设计了一种方法聪明的选择哪些部分可以删同时结合其他简直技术把一个 8 亿参数的模型压缩到 4 亿结果呢不仅体积小了速度快了二倍精度还超过了同等大小的其他模型又快又强那是怎么做到这么高效的
他们用了知识蒸馏让小模型向大模型学习而且只用了比从头训练少 40 倍的数据量这个压缩后的模型还能处理超长文本最高 12 万 8 千个字符特别适合需要处理大文档的任务 12 万 8 千个字符那都能分析整本书了吧
这个技术适合哪些场对比如法律文件分析科研论文处理甚至自动生成长篇报告都能用上企业可以用这种小而强的模型降低成本消费者可能用上更快的 AI 助手有没有什么不足
方法有点复杂需要调优很多部分而且主要测试了一种模型其他混合模型可能需要重新调整减之后恢复精度也依赖大模型的指导成本不低这让我想到裁缝给衣服改尺寸既要好看还要舒服这个研究对 AI 的未来有什么启发他告诉我们 AI 压缩不是一刀切未来的模型会越来越多样化压缩的像量身定制一样针对不同结构设计不同策略
这也提醒我们效率和性能的平衡是 AI 发展的核心今天的太快报真是信息满满感谢大家的收听下期太快报我们继续探索 AI 的奇妙世界下期见拜拜