AI前沿：从神经网络学习到智能体行动
08:33 Share

大家好 欢迎收听太快报 我是小爱大家好 我是小七 很高兴又见面了咱们先从第一项研究开始这篇研究提出了一个叫交替梯度流的理论框架专门用来解释神经网络在训练时如何一步步学会重要特征能不能先给我们简单介绍一下这个研究的背景和主要发现

没问题,想象一下神经网络就像一个巨大的学习机器,里面有无数个小单元,我们叫它们神经元训练这个机器时,我们希望这些神经元能逐步抓住数据的关键特征,比如说识别图片中的边缘或语言中的模式但问题是,这些神经元并不是一下子全上阵,而是像打游戏通关一样,逐步被激活,一步步解决问题

这篇研究就提出了一种理论叫交替梯度流来描述这个过程他们发现神经元分两种状态一种是休眠还没被激活另一种是活跃已经在工作训练的过程就像一个两步舞第一步休眠的神经元会慢慢调整自己寻找最有用的方向第二步一旦某个神经元醒来他和其他活跃的神经元一起努力把整体错误降到最低

这个过程会不断循环,直到学到足够多的特征。最有趣的是,他们预测了神经元被激活的顺序和时机,尤其是在一个数学任务中,网络会按照特定顺序学习负理液特征,也就是一种数学波形,从最重要的开始学起。这就像是先学会唱主旋律,再去学和声层次分明。

哇 听起来真是井井有条那这种理论对我们普通人有什么意义呢比如说它能帮助我们更好的设计 AI 模型吗确实可以这个理论虽然现在只适用于简单的两层神经网络但它揭示了 AI 学习过程中的一种贪婪本质也就是优先抓住最重要信息

这对设计更高效的模型有启发比如我们可以利用这种顺序性优化训练策略节省计算资源未来如果能扩展到更复杂的多层网络可能会进一步提升 AI 的学习效率甚至帮助我们理解 AI 为什么会学到某些奇怪的模式明白了期待这个理论有更多应用

接下来我们聊聊第二项研究叫做强化育训练这项研究好像是想让语言模型在学习语言时多动脑筋能给我们讲讲这是怎么回事吗好的传统的语言模型训练方式很简单给他一大堆文本让他预测下一个词是什么比如今天天气很他可能会猜好但这种方法有点像死记硬背模型可能并不真正理解上下文这项研究提出了一种新方法叫强化育训练

核心想法是别直接猜下一个词先想想为什么会是这个词生成一个推理过程然后再预测如果猜对了就给它一个奖励这种训练方式就像教学生解题时不仅要写答案还要写出思考步骤实验结果很惊人这种方法让模型预测更准确

尤其是在复杂的数学问题上甚至小模型也能赶上大模型的表现更重要的是这种预训练方式为后续任务打下了更好的基础比如回答问题或解决实际问题时表现更出色这听起来就像是让 AI 学会思考再回答而不是直接脱口而出那这种方法有没有什么挑战呢?嗯,有

这种方法会增加训练的计算成本因为每预测一个词都要先思考一番而且目前实验主要集中在数学领域数据范围有限如果要推广到更广泛的语言任务还需要更多测试不过这个思路非常有前景它让我们看到训练 AI 时关注过程而不是单纯结果可能会带来更强的能力确实是个新颖的思路

接下来是第三项研究关于一个叫 S-Plus 的优化器目标是让神经网络训练更快更稳定优化器是什么这个 S-Plus 又有什么特别之处优化器就像是 AI 训练时的教练它告诉模型如何调整自己的参数逐步减少错误变得更聪明传统的优化器比如一个叫 Adam 的方法虽然很常用但有时收敛速度慢需要很多步才能达到好效果

这项研究提出了一种新优化器叫 AcePlus,基于一个叫 Shampoo 的老方法,但解决了它的三大问题:稳定性差、调整参数、麻烦以及高学习率下的噪声问题。AcePlus 的创新在于,它用一种即时调整的方式,保证每次更新不会走过头,还能适应不同大小的模型,甚至允许用更高的学习率来加速训练。

实验显示,S+比 Adam 快很多,平均只需要它 44%的步数就能达到同样的效果,实际时间也能节省近 40%。这听起来很实用,那它有没有什么局限性,比如说适合所有 AI 模型吗?目前来看,S+主要在 Transformer 这种结构上测试的比较多,效果很好,但对

其他类型的模型比如卷积网络效果还有代验证而且它对内存的需求比 Adam 高一些需要存储额外的信息不过作为一个高效工具它已经展现很大的潜力尤其是在训练大型语言模型或图像模型时能显著节省时间和资源节省时间对开发者来说可是大好事第四项研究是 Spark Transformer 好像是为了让 AI 模型更省力能不能给我们解释一下这是怎么做到的

当然 Transformer 是现在很多大模型的基础结构比如语言模型和图像处理模型但他们有个问题计算量巨大因为每个部分都在处理所有信息哪怕很多信息其实不重要这项研究提出了 Spark Transformer 核心是让模型变得懒惰一些只关注最重要的部分想象一下你在听课时不可能记住老师说的每一句话只能抓住重点对吧

Spark Transformer 也是这样,它在潜会网络和注意力机制中只激活一小部分神经元或者只关注一小部分内容,最巧妙的是它用一种统计方法快速挑出重点而不需要费力排序,这样训练和使用时都很快。

结果呢计算量减少了 2.5 倍速度提升了近一倍而且效果几乎没损失这真是聪明又高效那这种方法有没有可能影响模型的准确性毕竟偷懒听起来有点冒险你问得很好理论上减少计算可能会错过一些信息但实验表明通过巧妙的设计 Spot Transformer 几乎保持了原有的准确性它的挑战在于这种偷懒方式依赖于硬件支持来真正加速

如果硬件不支持系数计算效果可能打折扣但总的来说这是一个很值得探索的方向尤其是对于需要在手机或边缘设备上跑大模型的场景省电又省力确实能在资源有限的地方用上大模型太有吸引力了最后我们聊聊第五项研究关于智能体的思考与行动这项研究好像挑战了一些传统观念能给我们讲讲吗

好的,智能体是 AI 的一种形式,专门用来和环境互动,比如在网页上导航,帮你订票或搜索信息。传统上为了让智能体表现更好,我们会让它每一步都想得更多,也就是花更多时间推理。但这项研究提出了一个新想法,与其让它想得更多,不如让它做得更多,也就是增加和环境的互动。

因为在动态环境中光靠脑子想是没用的那试试看获取新信息再调整策略他们设计了一个框架叫推理式交互通过逐步增加互动次数来训练智能体结果很棒在网页导航任务中成功率显著提高甚至超过了传统的深思熟虑方法这让我想到人类解决问题时也常常是边做边学而不是一开始就想好所有步骤那这种方法有没有什么难点呢

有增加互动次数会提高计算成本而且训练时需要大量数据来模拟各种环境此外智能体有时会陷入一些无效的循环比如老是回到起点而不是尝试新策略但这个研究最大的启发是它让我们重新思考

思考和行动的平衡未来 AI 可能需要在两者间动态切换根据情况决定是多想还是多做真是发人深省今天的五项研究每一项都从不同角度推动了 AI 的发展感谢小 T 的精彩讲解也感谢各位听众的陪伴今天的节目就到这里了再见下期见拜拜