Deep Dive
Shownotes Transcript
各位听众朋友们大家好欢迎收听今天的太快报我是小爱大家好我是小 T 今天又将和大家一起探索 AI 领域的最新进展我最近看到几篇 AI 论文感觉每一篇都挺有意思但又觉得信息量有点大有点摸不着头脑今天能不能请你帮我梳理一下没问题这几篇论文确实都挺有意思而且都代表了 AI 研究的不同方向太棒
那我们先从哪一篇开始呢我看到有一篇论文说神经网络的学习过程像多米诺骨牌听起来好有意思你说的是那篇技能学习的物理学这篇论文的核心观点是神经网络学习技能的过程不是齐头并进的
而是像多米诺骨牌一样一个技能的学习会带动另一个技能的学习他们把这个现象叫做多米诺效应哇 这个比喻好形象那他们是怎么研究这个多米诺效应的呢作者们很有意思他们采用了物理学的方法对神经网络的学习过程进行了抽象和简化
提出了三种不同复杂程度的模型分别是几何模型、资源模型和多米诺模型物理学那听起来是不是很复杂其实还好他们用了一些简单的概念来解释复杂的现象比如几何模型就把技能看作参数空间中的方向资源模型把参数看作任务竞争的资源池
而多米诺模型则简化成一个技能学完再学下一个这些模型帮助我们更好地理解神经网络的学习过程听起来好像很有道理那这些模型有什么实际意义吗当然有比如通过这些模型我们可以更好地理解为什么某些优化器效果好为什么模块化网络学习更快他们甚至还发现一个叫做 3GD 的优化器在某些情况下表现比常用的 Adam 更好
这完全颠覆了我们以往的认知真的是反直觉那除了多米诺效应之外还有什么新的研究方向吗有的另一篇论文推理链通过多范式视角在大型语言模型中实现统一的数学推理提出了一种新的数学推理框架数学推理这听起来挺难的我小时候数学就不好完全不用担心
这篇论文的核心思想是大型语言模型在解决数学问题时应该综合运用自然语言推理、算法推理和符号推理这三种不同的方法,而不是只依赖一种他们把这个框架叫做链式推理 COR 就像解数学题既要理解题译,又要列出公式,还要进行计算,是这个意思吗?
对的他们还提出了一种渐进式的训练方法让模型逐步掌握不同的推理模式结果发现这个方法在定理证明和算术计算上都取得了非常好的效果甚至超过了 GPT-4 这么厉害看来以后数学不好也可以用 AI 来帮忙了
可以这么说另外还有一篇斯坦福大学的论文测试时回归一种统一的关联记忆序列模型设计框架也很有意思这篇论文把序列模型看作是一种记忆工具这个记忆工具该怎么理解呢简单来说这篇论文认为序列模型的工作原理其实是在回忆之前见过的输入信息这种回忆的过程可以用回归这个数学概念来描述他们提出了一个统一的框架
把各种不同的序列模型都看作是解决同一个回归问题的不同方法听起来有点抽象能举个例子吗比如线性注意力门控线性注意力状态空间模型这些听起来很不同的模型
在这个框架下都被看作是不同的回归方法通过这个框架我们就能更好地理解这些模型的内在联系知道为什么它们能够记忆和处理序列信息这样一说就好理解多了那这篇论文有什么实际的意义呢?它为我们提供了一种新的视角
让我们更好地理解序列模型的工作原理它还可以帮助我们设计更有效的模型比如他们提出了更高阶的 softmax 注意力机制可能会在未来发挥作用真的是太神奇了感觉 AI 的世界每天都有新的突破除了这些还有什么其他值得关注的论文吗
当然还有两篇也很有意思一篇是研究大型语言模型是否具有自我感知能力的另一篇是研究如何优化预训练数据混合比例的自我感知是指 AI 能知道自己在干什么吗这篇论文确实提出了这个问题
研究者发现有些大型语言模型甚至可以描述自己学习到的行为比如输出不安全的代码或者在经济决策中表现出风险偏好而且不需要经过明确的训练这确实挺令人惊讶的它引发了我们对 AI 认知能力的思考那数据混合比例又是怎么回事呢
这篇论文研究的是如何更好地混合不同来源的预训练数据他们发现有时候一些简单的混合方法反而效果更好他们还提出了一种利用大型语言模型来估计数据效用的方法可以更高效地进行数据混合
这对于训练大型模型来说非常重要感觉每一篇论文都好有启发今天真的学到了很多谢谢小提不客气我也很高兴能和大家分享这些最新的研究进展好的今天的太快报就到这里了感谢大家的收听我们下期再见下期见拜拜