AI前沿：隐秘动力与高效学习
07:40 Share

大家好,欢迎收听太快报,我是小爱大家好,我是小 T,很高兴又见面了那我们就从第一话题开始吧我听说有一篇研究把神经网络看作一种动力系统这是什么意思,能简单解释一下吗

当然可以,小爱想象一下神经网络,就像一个巨大的迷宫,数据进入后会在里面转来转去,最终找到一个出口。这个迷宫里有一些特殊的路径,研究人员把它们称为影空间向量场。在论文 Navigating the Latent Space Dynamics of Neural Models 中,作者提出了一种全新的视角,将神经网络,特别是自编码器看作一种动力系统。

簡單來說,他們發現通過反覆運行網絡的編碼和解碼過程,數據會在這個迷宮裡形成特定的軌跡,最終停在一些吸引點上。這些點就像迷宮裡的休息站,能告訴我們很多關於模型的信息。吸引點聽起來很有趣,它們能告訴我們什麼呢?這些吸引點可以幫助我們判斷模型是記住了訓練數據。

还是真正学会了泛化比如如果模型只是死基硬背吸引点会集中在某些特定位置如果模型能举一反三吸引点的分布会更灵活更神奇的是研究者发现即使你给模型输入一堆随机噪声这些吸引点也能揭示模型内部隐藏的知识

这就像从一堆杂音中找出有意义的旋律非常不可思议确实很神奇那这种方法有什么实际用途吗用途可大了比如它可以用来检测异常数据也就是那些和训练数据完全不一样的输入

另外这种方法还能帮助我们分析模型在训练过程中是如何从死记硬背转向灵活应用的这对设计更好的 AI 系统有很大启发不过它目前主要适用于特定类型的网络计算新一点也需要不少资源未来还有很多改进空间明白了接下来我们聊聊强化学习吧我听说有一项研究简化了强化学习的训练过程是怎么回事对这篇论文叫 On Policy Are You With Opinion

提出了一种叫 OPO 的新方法强化学习是让 AI 通过试错来学习的方法比如训练一个聊天机器人回答问题时我们会给他奖励或惩罚但传统方法常常不稳定计算成本也很高 OPO 的创新在于它严格要求每次学习都用最新数据

就像学生每次考试都用最新学的知识来答题而不是翻旧笔记这样虽然看起来效率低但实际上能让训练更稳定 AI 的探索能力也更强那它怎么做到更稳定的呢?OPO 还设计了一个最优奖励基线有点像给 AI 设定一个合理的期望值避免它因为奖励忽高忽低而情绪波动更重要的是这个方法去掉了很多复杂的辅助组件

只用一个核心模型来学习简化了整个过程实验显示它在数学推理任务上表现很棒生成的回答多样性更高也不容易重复听起来很实用那有没有什么局限呢有目前测试主要集中在数学任务上而且每次都用新数据可能会增加训练成本如果能在更多场景下验证效果就更好了

但总体来说这种反普归真的思路很值得借鉴接下来我们说说复杂推理任务的学习我听说有一篇研究发现 AI 学习复杂任务时需要循序渐进这是怎么回事对这篇论文 Learning Compositional Functions with Transformers from Easy to Hard Data 研究了 Transformer 模型如何学习复杂的组合推理任务想象一下 AI 要解决一个需要多步推理的难题比如解一个复杂的数学题

如果直接丟給他最難的問題,他可能會完全懵掉,學習效率非常低。研究者證明,如果只用最難的數據訓練 AI 需要的資源,會呈指數級增長,簡直是天文數字。那怎麼辦呢?解決辦法是課程學習,也就是從簡單任務開始,逐步過渡到複雜任務。

就像我们学数学先学加减法再学乘除最后才学微积分研究者设计了两种策略一种是按顺序从易到难学另一种是把简单和难的任务混在一起学结果发现两种方法都能大幅降低学习难度资源需求变成一个可接受的范围这说明数据的结构和顺序对 AI 学习至关重要这确实很像人类的学习方式那这种方法有没有什么问题

目前的研究基于一些理想化的假设比如模型的某些部分是固定的实际应用中可能没那么简单而且怎么为不同任务设计合适的课程还是个开放问题但这个思路为 AI 训练提供了一个很重要的方向别急着挑战最难的先打好基础接下来我们聊聊大型语言模型的压缩技术

我知道这些模型很大,很好资源,有没有办法让它们瘦身?有这篇论文 Slim LN Accurate Structured Pruning for Large Language Models 就提出了一个叫 Slim LN 的方法。大型语言模型就像一个巨大的图书馆里面有很多书架和书籍,但不是每本书都一样重要。

Slim LM 会找到那些对整体贡献不大的部分然后剪掉它们比如模型中处理信息的某些通道或者注意力机制的某些脑袋剪掉之后模型还能正常工作吗?关键在于它怎么剪

SlimLLM 不是随便删,而是从整体上看每个部分对输出的影响比如它会检查剪掉某个脑袋后模型的回答会不会有很大变化如果变化小这个部分就可以剪掉剪完之后还会用一个简单的调整方法让剩下的部分更好的协作实验显示在蓝码模型上剪掉 20%的部分后性能还能保持 98.7%非常厉害那真是挺惊人的,有没有什么不足的地方?

当然有比如剪织的过程可能会错过一些微妙但重要的部分尤其是在剪的特别多的时候而且这个方法主要在一个特定模型上测试过对其他模型的效果还需要更多验证但总体来看这种方法为降低 AI 部署成本提供了很实用的方案最后一个话题是关于参数空间对称性的听起来有点抽象能不能通俗点解释

没问题这篇论文 Understanding Modified Quantity via Parameter Space Symmetry 探讨了神经网络内部参数的对称性想象一下神经网络的参数就像一个巨大的拼图拼图的不同组合可能会得到差不多的结果也就是说有很多不同的拼法都能让模型表现很好研究者发现这些不同的拼法之间往往存在一种对称关系

就像镜子里的镜像可以通过某些变换互相转换这种对称性有什么用呢?它能帮助我们理解为什么有些不同参数的模型表现差不多甚至能找到连接它们的路径让模型在不同配置间切换时不损失性能这对模型的融合或者调整很有帮助

比如他们发现网络中加一些跳跃连接能让这些路径更顺畅解释了为什么某些网络设计更有效不过这种分析目前更多是在理论层面实际应用中还需要克服很多挑战比如参数空间太复杂对称性不容易完全找到确实很有启发性今天的内容真是丰富让我对 AI 的内部机制有了很多新认识谢谢小 T 的精彩讲解也感谢各位听众的收听

我们下期再见下期见拜拜