AI前沿：从Adam到偏好学习的性能之谜
10:22 Share

大家好 欢迎收听菜快报 我是小爱大家好 我是小 T 很高兴我们又见面了那我们就从第一个话题开始吧第一篇论文是关于 Adam 优化器的标题是 In Search of Adam by Secret SauceAdam 可是训练大型语言模型时的一个明星工具但他的秘诀到底是什么能不能先给我们简单介绍一下 Adam 是什么以及这篇论文在研究什么

好的,Adam 是一种优化算法,简单来说它就像一个导航系统,指导 AM 模型在学习过程中找到最佳的参数配置。想象你在爬一座大山,目标是找到山顶,但山路崎岖,Adam 会根据地形调整你的步子大小和方向,让你更快更稳地到达顶峰。尤其是在训练大型语言模型时,Adam 表现特别出色。

为什么会这样研究者一直没完全搞清楚这篇论文就是想揭开 Adam 的秘密配方通过训练超过 1300 个语言模型比较了 Adam 和一些简化版本的性能试图找出他成功的核心原因 1300 个模型这规模可真不小他们发现了什么特别的点吗确实有惊喜他们发现如果把 Adam 的两个关键参数设置为相等

用专业术语说是动量参数 Beta1 等于 Beta2Adam 的性能几乎不会下降但配置变得简单多了相当于从一个需要调很多旋钮的复杂机器变成只调一个旋钮的简易版更神奇的是这种简化还带来了理论上的新解释 Adam 可以看作一种在线统计工具不断估计学习过程中的平均值和波动性然后根据这些估计动态调整步伐

这就像你在开车时不仅看前方的路还会根据车速和路况随时调整方向盘非常聪明听起来像是 Adam 在学习中能随机应变那这种简化对实际应用有什么帮助呢好处很大简化参数后研究者和工程师在训练模型时就不用花大量时间去调整这些设置能更快上手

而且这种设置在各种数据规模和模型大小下都表现得稳定论文还提到 Adam 比一些更简单的优化方法比如只看方向不看大早的符号动量法表现要好很多这说明 Adam 的秘诀不只是

而是它能根据环境自适应调整这一点是其他方法比不上的未来如果你在开发 AI 模型时选择 Adam 并用这个简化设置可能会省下不少时间和计算资源真实使用接下来我们聊聊第二篇论文标题是 Diffusion Guidance is a Controllable Policy Improvement Operator

这篇听起来和强化学习有关能不能先解释一下强化学习是什么当然强化学习是一种让 AI 通过试错来学习的方法想象你教一个孩子玩游戏孩子一开始不知道规则但通过不断尝试得到奖励时就知道这个动作是对的

说到惩罚就知道错了,慢慢学会最佳策略。强化学习就是 AI 版的试错学习,常用于机器人控制游戏 AI 等领域,但它的训练往往很复杂,数据需求量大。这篇论文提出了一种新方法,叫 CFGL,结合了生成模型的优点和强化学习的能力,试图让 AI 学习更简单、高效。听起来很有意思,这个 CFGL 具体是怎么工作的?

他的核心想法是用生成模型的引导机制来改进 AI 的策略简单来说生成模型就像一个画师能根据提示画出不同的图而 CFGR 要让这个画师在画策略时优先选择那些看起来更优的选项

通过调整一个引导权重 AI 可以在不额外训练的情况下动态提升策略的表现这就像你在做选择题时有个小助手告诉你哪个选项更可能是正确答案而且你还能控制这个小助手的力度非常灵活实验中 CFJRL 在很多任务上都比传统方法表现更好尤其是在视觉任务和分层任务中有时成功率能翻倍能动态调整策略这确实很高

那它对我们日常生活有什么潜在影响吗影响很大比如在自动驾驶领域 CFJ2L 可以帮助车辆从离线数据中学习更好的驾驶策略而且还能根据实时路况调整策略的保守或激进程度

或者在個性化推薦系統中 AI 可以根據用戶反饋動態優化推薦內容既省資源又提升體驗不過這項技術目前主要用於離線數據學習未來如何結合實時環境互動還需要更多研究好 期待看到這些應用落地接下來我們聊第三篇論文標題是 Paper to PosterTowards Multimodal Poster Automation from Scientific Paper

这篇听起来和学术海报有关为什么自动生成海报是个难题是的学术海报是科研人员展示研究成果的重要方式

但设计一张好的海报很难需要从几十页的论文中提炼关键信息还要安排文字图表布局既要美观又要逻辑清晰过去靠人工设计费时费力而现有的 AI 工具比如大型语言模型或视觉模型往往无法很好的处理空间布局生成的成果不是内容溢出就是视觉上乱糟糟这篇论文提出了一个新框架叫 Poster Agent 试图解决这个问题 Poster Agent 是怎么做到的

他采用了多智能体协作的方式就像一个团队分工合作第一个智能体负责解析论文把内容分解成摘要图表等素材第二个智能体规划布局用一种竖状结构确保内容有逻辑顺序第三个和第四个智能体则负责绘制和反馈不断调整设计确保文字不易出布局也美观更厉害的是他还能说明

输出可编辑的文件格式成本极低用开源模型每张海报只需几美分实验中 PosterAgent 比一些基于最先进模型的系统表现更好信息传递效率也更高成本这么低效率还高对科研人员来说真是福音那它还有什么改进空间吗

确实有 目前它的生成速度还有点慢一张海报需要几分钟未来如果能加速可能更适合大规模应用另外它暂时只用论文内部信息如果能加入外部资源比如会议模板或用户反馈效果会更好但无论如何这项技术已经为学术交流提供了一个新工具

未来可能改变我们展示研究的方式确实让人兴奋接下来是第四篇论文标题是 Self-Organizing Attractor Neural Networks Emerging from the Free Energy Principle 这个标题听起来很理论能不能先解释一下吸引子神经网络是什么

好的吸引子神经网络是一种模仿大脑计算的模型想象一个球在山谷里滚动最终会停在最低点这个最低点就叫吸引子代表一种稳定的状态吸引子网络就是利用这种特性让 AI 记住模式或序列比如记忆一串数字

或预测下一步动作这篇论文从一个叫自由能原理的理论出发推导出这类网络如何自发形成而不需要人为设定规则自发形成听起来像是 AI 自己在进化他们发现了什么特别的点

对最大的发现是这种网络在学习时会自然形成正交化的表征简单来说就是他会把不同的信息分得清清楚楚像整理抽屉一样每个格子放不同的东西避免混淆这不仅让 AI 的记忆更高效还能更好的泛化到没见过的数据上

更酷的是如果输入是有序的序列网络还能学会动态模式比如重放一首歌的旋律这种自组织特性对设计受大脑启发的 AI 系统很有启发听起来像是在模仿人类大脑的记忆机制那它对 AI 发展的意义是什么

意义重大它为我们提供了一种新思路 AI 不需要完全靠工程师设计规则而是可以通过一些基本原理自发组织出智能行为这可能启发未来的神经形态计算也就是让计算机更像大脑一样工作更加节能和适应性强不过目前研究还停留在理论和小型模拟阶段真正的应用到大规模 AI 系统还需要更多努力好有前景

最后我们聊聊第五篇论文,标题是 Understanding the Performance Gap in Preference Learning, a decody of RALHF and DPO。哎,这篇是关于 AI 如何学习人类偏好的,能不能先介绍一下背景?好的,AI 要和人类对齐,就需要理解我们的偏好,比如在聊天机器人中,回答要符合用户的喜好。

有两种主流方法,一种是基于人类反馈的强化学系简称 RLHF,另一种是直接偏好优化简称 DPO。这篇论文从理论上分析了这两者的性能差距,特别是在模型设计不完美或数据有限的情况下,谁表现更好。

听起来像是给 AI 选学习方法的指南他们的结论是什么结论很有针对性如果 AI 的策略模型能力有限 RLHF 通常表现更好如果奖励模型能力不足 DPO 可能占优势

如果两者能力都有限但匹配度高一种改进版的 DPO 可能会胜出更重要的是他们发现 RHF 在处理吸收奖励也就是奖励幸好很少的情况下效率更高这就像教孩子做题 RHF 更擅长抓住关键反馈

而 DPO 可能需要更多提示这为开发者选择方法提供了清晰指导真是干货满满那对普通人来说这意味着什么对普通用户来说这意味着未来的 AI 系统会更懂你的喜好比如在推荐算法中如果用对了方法 AI 能更快学会你喜欢什么内容推荐更精准不过这也提醒我们 AI 对其人类偏好是个复杂问题不同场景下需要不同策略

开发者需要谨慎选择今天的内容真是信息量巨大感谢小 T 的精彩讲解也感谢大家的收听我们下期太快报再见下期见拜拜