Deep Dive
- 扩散模型训练类似于将噪点还原为清晰图像的过程
- 离散时间和连续时间训练目标在时间间隔无限小的时候等价
- 粗糙的时间步训练也能取得良好效果，节省计算资源
Shownotes Transcript
大家好 欢迎收听新一期的《太快报》 我是小爱大家好 我是小 T 最近 AI 领域又有哪些新进展值得我们关注呢我看到好多论文标题都让人眼前一亮但感觉又有点看不懂是的 最近的 AI 研究确实非常活跃涌现了很多有意思的新思路
今天我们就来聊聊一些有趣的进展,我会尽量用通俗易懂的方式给大家讲解那太好了,我最喜欢听你深入浅出的讲 AI 了,我们今天先从哪篇论文开始呢?我们先从一篇关于扩散模型的论文开始吧题目是从离散时间策略到连续时间扩散采样器,渐进等价与更快的训练听起来有点高深,能用大白话解释一下吗?
没问题你可以把扩散模型想象成一个画画的 AI 它通过不断加造把一张清晰的图片变成一堆随机的噪点然后再通过去噪把噪点变回清晰的图片这个过程就像我们把一杯清水倒入墨水变成浑浊的液体
然后再通过某种方式把墨水还原回原来的清水这个比喻我懂了那离散时间和连续时间又是什么意思呢离散时间就类似于拍照的一帧一帧的而连续时间就类似于摄像的连续画面扩散模型训练就像回溯这个过程这篇论文就证明了当时间间隔无限小的时候离散的一帧一帧的训练目标会和连续的无缝训练目标变得一样它们之间是等价的这有什么意义
意义可大了他揭示了扩散模型训练背后的数学原理也发现了一个反直觉的事实训练的时候不用像之前那样用很密的时间步用粗糙的时间步训练效果也很好而且还能节省大量计算资源这就像我们学画画不用每一笔都画得精细只要抓住大的轮廓
也能画出不错的作品太神奇了这岂不是意味着我们能更快更便宜地训练出更强大的 AI 画师可以这么说而且这篇论文还把扩散模型和强化学习联系起来了这又打开了一个新的研究方向哇 这篇论文的信息量好大
接下来我们聊聊另一篇关于大语言模型训练的论文吧题目叫 SPAM 面向稳定大语言模型训练的尖峰感知 ADAM 优化器与动量重置这个 SPAM 是什么意思这个 SPAM 不是我们平时说的垃圾邮件而是指 SpecAware ADAM with Momentum Reset 也就是动量重置尖峰感知 ADAM 优化器又是一个新概念剔除尖峰是什么
你可以把大语言模型的训练过程想象成在一座连绵起伏的山上寻找最低点这个最低点就代表模型的最佳参数而梯度就是指我们下山的方向和步幅但是有时候这个下山方向会突然出现一个很大的尖峰导致模型训练不稳定那这个尖峰有什么危害吗?
危害可大了这些尖峰会扰乱模型的训练导致模型性能下降甚至需要我们人工干预而且常用的动量优化器会记住这些尖峰并放大它们的不良影响看来这些尖峰真是大麻烦那 SPAM 优化器是如何解决这个问题的呢 SPAM 优化器就像一个防震器它会定期重置动量消除尖峰的累积效应
同时还会削减那些过于巨大的梯度尖峰这样一来模型训练就更稳定了性能也更高了而且 SPAM 还引入了吸收动量的概念进一步降低了内存消耗
这个 SPAM 听起来真不错,就像给大语言模型加了一个安全保障是的,它可以有效地解决大语言模型训练中的不稳定问题,让模型训练更加高效和可靠接下来我们来聊聊第三篇论文,它探讨了在数学推理中开发过程奖励模型的经验教训这个过程奖励模型又是什么?
过程奖励模型就像一个乐卷老师他会评估大语言模型解决数学问题的每一步推理过程是否正确而不是只看最终答案感觉比只看答案更合理是的但是这篇论文指出之前常用的蒙特卡罗方法来训练这个乐卷老师存在很多问题因为他只看最终答案没法判断推理过程的对错这就像学生抄作业即使答案对了过程却是错的
但蒙特卡洛却可能给高分确实是这样那有什么更好的方法吗这篇论文提出了一个共识过滤机制它会把蒙特卡洛和 AI 评委结合起来只有当两个都认为推理过程正确时才把这个过程当成优质的训练数据而且这篇论文还强调了评价标准不能只看最终结果还要看推理过程
并且不同的阅证老师可能有不同的偏好看来训练 AI 做数学题真是需要考虑很多因素而且这篇论文也为我们开发更可靠的数学推理 AI 提供了非常有价值的经验教训我们再来看看第四篇论文张亮基注意力机制听起来像是数学公式这是什么新奇的东西你
你可以把注意力机制想象成一个聚光灯它会聚焦于输入信息中最重要的部分而张展机注意力机制则是一种更高效更灵活的聚光灯更高效是怎么体现的呢?传统注意力机制在处理长文本的时候
会产生大量的 KV 缓存占用很多内存而增量机注意力机制就像降维打击它可以把查询 见值都分解成更小的部分从而大大减少内存消耗同时还能保持或提升模型性能这有点像把一个大的包裹拆成很多小包裹
既节省空间又方便运输你这个比喻很形象而且这篇论文还证明了之前提出的多头注意力多查询注意力分组查询注意力其实都是张亮基注意力的特殊情况厉害了这篇论文把很多现有的注意力机制都统一起来了最后我们再聊聊第五篇论文在空间推理的同时进行想象多模态思维可视化这个论文名字好有画面感
是的,这篇论文提出了一种新的推理方式,它让 AI 在推理的时候不仅用文字,还会用图像来辅助思考。用图像思考,这怎么做到的?就像我们玩迷宫游戏,不仅用文字描述每一步,还会想象自己在迷宫中的位置。这篇论文让 AI 在解决空间推理问题时,也生成中间步骤的图像,来帮助自己思考。
这就是太酷了感觉 AI 的思考方式越来越像人了是的而且这种多模态的思维可视化方法不仅能提高模型的推理能力还能增强模型的可解释性我们能更直观地看到 AI 是如何一步步解决问题的而且这篇论文还提出了一种新的损失函数可以提高生成图像的质量听起来好像给 AI 装上了一个可视化大脑可以这么说
这篇论文为我们探索更智能更可解释的 AI 提供了新的思路今天这五篇论文的讨论真是让我大开眼界原来 AI 的训练和推理背后有这么多学问是的 AI 研究的进步离不开科学家们的努力和创新我们今天介绍的这些研究都为 AI 的未来发展奠定了基础感谢大家的收听我们下期再见下期见拜拜