AI前沿：从奖励优化到硬件加速
08:11 Share

大家好,欢迎收听最新一期的太快报,我是主持人小爱大家好,我是主持人小 T 今天我们太快报将带大家一起深入探讨 AI 领域的最新进展我们挑选了最近发布的五篇有趣的论文涵盖了从算法优化到硬件加速的多个方面

是的,这些论文都非常精彩,从不同角度揭示了人工智能特别是大型语言模型背后的奥秘首先我们来看第一篇论文,题目有点长,叫用实用性启发的奖励转换改进语言模型的强化学习训练

这个听起来有点学术能用通俗的方式解释一下吗当然简单来说这篇论文是关于如何更好的训练大型语言模型让他们说出更好的话现在的训练方法通常会给模型多个奖励比如既要有用又要无害但直接把这些奖励加起来平均效果

没错就是这个意思

这篇论文借鉴了经济学中的效用概念提出了英达价奖励转换方法也就是 IRT 它的核心思想是对于那些得分很低的维度我们要更敏感给予更大的惩罚而对于那些已经得分很高的维度则降低奖励的边际收益听起来很有道理那么

那么这个方法有什么实际效果吗效果很明显实验结果表明使用这种方法训练的模型在无害性方面有了显著提高同时还能保持或略微提高有益性换句话说模型变得更安全同时仍然很有用这是一个反直觉的发现惩罚那些已经很低的得分反而能带来更好的整体表现

是的,这说明了非线性转换的重要性也为我们提供了一种新的视角经济学理论在 AI 对其问题上大有可为接下来我们看看第二篇论文 GPT 的逐层学习这篇论文又有什么有趣的地方呢?这篇论文研究了 GPT 模型是如何一层一层的学习的

他们使用了一个在黑白棋游戏上训练的 GBT 模型,也就是 OceloGBT 作为实验对象,通过两种可解释性方法吸收自编码器,也就是 SAE 和线性探测来分析模型每一层穴道的特征。

听起来有点抽象,能简单解释一下吗?你可以把 GPT 模型想象成一个多层蛋糕,每一层都有不同的功能。这篇论文就是想看看每一层都负责学习哪些知识。他们发现早期层主要关注棋盘的静态结构,比如边缘和角落,而更深的层则关注更动态的游戏方面,比如棋子翻转和棋盘状态的变化。

哦 原来是这样那 SAE 和线性探测有什么区别呢 SAE 就像一个精力的显微镜可以揭示出更独特和解偶的特征尤其是一些组合属性而线性探测则更像一个简单的放大镜主要检测与分类准确性相关的特征那它们有什么新的发现吗

他们发现,模型还学会了一个以前没被注意到的概念,叫做棋子稳定性,也就是棋子是否容易被翻转。这个概念在中间层最为突出,这表明模型不仅学习了表层知识,还学习了更深层次的与游戏策略相关的概念。这太有意思了,AI 不仅能学习表面的东西,还能自己总结出更深层次的逻辑和概念,这真是超出了我的想象。

是的,这也说明了深度学习模型的强大之处好,我们继续看第三篇论文 Attention when you need 听起来好像在说注意力的事情是的,这篇论文探讨了智能体如何策略性地分配注意力就像我们人一样,注意力是有限的不能一直高度集中这篇论文通过一个基于强化学习的模型模拟了小鼠在听觉持续注意力任务中的行为那他们发现了什么呢?

他们发现有效的注意力分配策略包括高注意力状态和低注意力状态的交替而且在某些情况下高注意力会以节律性的方式出现就像我们心跳一样注意力居然也有节律这个发现太出人意料了

是的这表明注意力不是一个持续的资源而是一种可以被策略性的管理的行为就像其他认知资源一样注意力是有成本的需要根据任务的收益进行合理分配这个研究也太厉害了吧原来注意力分配还有这么多学问这个模型能帮我们更好的理解生物的认知机制吗是的

这个研究为我们理解神经生理学中注意力相关的节律性现象提供了一种新的视角也为未来的实证研究提供了新的方向接下来我们来看第四篇论文题目是 Transformer 帮助我自适应的大语言模型这个听起来就非常前沿是的 这篇论文提出了一个全新的框架叫做 Transformer 帮助让大型语言模型能够实时适应新的任务与传统的微调方法不同

Transformer 方可以在推理时根据任务的不同动态的调整模型的行为那它是怎么实现的呢?Transformer 方的核心是一种叫做奇异值微调也就是 SVF 的新方法它只调整权重矩阵的奇异值而不是整个矩阵这样可以大大减少计算量和参数量从而提高效率同时它还结合了强化学习训练的专家向量专家向量听起来很有意思

是的 这些专家项量是针对特定任务训练的就像不同的领域专家一样在推理时 Transformer 方会根据输入选择合适的专家项量进行组合从而生成更准确的响应哦 原来如此 那它有什么优点呢

Transformer 方的优点很多首先它的参数效率更高比传统方法用更少的参数实现了更好的性能其次它的自适应能力更强可以根据不同的任务动态调整此外它还具有良好的可组合性和可解释性听起来太棒了这会对未来的大模型应用产生什么影响呢

Transformer 方的出现可能会改变我们使用大型语言模型的方式它让模型更加灵活可以快速适应各种新的任务而无需重复规条好 最后我们来看第五篇论文通过张亮压缩优化实现 Transformer 的超高内存效率 PGA 片上训练这个标题听起来有点硬核

是的,这篇论文主要关注的是如何在资源受限的边缘设备比如 FPGA 上训练大型 Transformer 模型由于内存和计算资源的限制,在边缘设备上训练大模型非常困难这篇论文提出了一种新的张量压缩方法和硬件加速器实现了在 FPGA 上进行高效的端到端训练这听起来像是在挑战不可能完成的任务

是的,这篇论文的核心思想是利用低质张量压缩来减少模型的内存占用和计算量他们还提出了一种新的双向张量收缩流进一步提高了计算效率通过算法和硬件协同设计他们成功地在 FPGA 上训练了 Transformer 模型那他们取得了什么样的成果呢?与在 GPU 上进行训练相比他们的方法可以将内存使用量减少 30 到 51 倍

并将能源成本最多降低 3.6 倍这为在边缘设备上部署大型 AI 模型提供了新的可能性太厉害了这简直是为边缘计算量身定做的解决方案是的这篇论文再次证明了算法和硬件协同设计的重要性也为未来边缘 AI 的发展提供了有益的启示好的

今天我们一起探讨了五篇非常精彩的论文从奖励优化模型理解注意力分配到自适应和硬件加速每个方面都展现了人工智能的强大潜力和无限可能是的这些研究不仅推动了人工智能技术的发展也为我们理解智能的本质提供了新的视角感谢小 T 的精彩解读也感谢大家的收听我们下期太快报再见下期见 拜拜