Deep Dive
- 大模型规模增长提高泛化能力的数学解释
- 损失方差和信息压缩效率是关键因素
- 未来可指导更节能的模型设计
Shownotes Transcript
大家好,欢迎收听太快报,我是小爱。大家好,我是小 T,很高兴我们又见面了。废话不多说,让我们直接进入主题。第一篇论文,Computer Optimal,Ateo Leo,Approvably Generalize Better with Scale,讲了一个核心问题,为什么更大的模型能更好的理解和处理新数据?我听说过模型越大表现越好,但这背后的原因是什么?难道只是堆料就行?
不是简单的对谅这篇论文用数学理论解释了为什么大模型在遵循特定训练规则时能更好地举一反三他们发现模型规模增大后预测的抖动也就是预测的不确定性会减少这就像你学骑自行车练得越多晃得越少 骑得越稳这个抖动是怎么减少的
研究者用了一种新的数学工具分析了模型在处理文本时的误差他们发现模型越大 穴道的模式越稳定误差的方差也就是抖动会随着规模按一定规律减小另外模型还能更高效地压缩信息就像把一本书的内容浓缩成几页笔记信息量没少 但更精简所以大模型就像更会总结的穴霸
那这对我们有什么用?对,这意味着我们可以用更少的数据和计算训练出同样聪明的模型比如未来 AI 助手可能在手机上就能跑不用依赖云端超级计算机而且这种理论还能指导我们设计更节能的模型对环保也有帮助听起来很厉害,但有没有什么问题还没解决?
有论文提到他们的数学模型有些部分还不够精确比如怎么解释误差为什么按特定规律减少还需要更深入的研究不过这已经是个大突破让我们更明白规模和聪明的关系好 规模问题我们明白了接下来聊聊长文本处理我有时候用 AI 总结长篇文章感觉它会忘中间的内容
这是为什么你说到了一个大难题第二篇论文 Railformer High Attention Based Segment Teaching 就针对这个问题传统模型处理常温本时计算量会像滚雪球一样暴增而且中间的信息容易被挤掉 Catchformer 的灵感来自计算机的缓存技术提出了一种聪明的方法缓存我知道电脑会把常用数据存起来方便快速读取 AI 也能这么干
完全正确,五线 former 把长文本分成小段,先用压缩的方式粗略扫描找出哪些段落最重要,然后只对这些段落做精细处理。就像你在图书馆找书,先快速翻目录,锁定几本重点书,再细读。这听起来很聪明,效果怎么样?
实验显示他在处理长文本时预测准确率比其他顶级模型高了 8.5 个百分点而且没增加模型参数量最酷的是他能解决中间丢失问题动态抓取关键信息哪怕他们藏在文本中间那有没有什么短板有训练是动态选择关键段落会增加计算成本速度会慢一些
而且它在压缩效率上提升不大,可能更适合需要高精度的场景,比如法律文档分析,而不是压缩数据存储。
明白了这就像给 AI 装了个智能放大镜能精准找到长文本里的宝藏接下来聊点更有趣的 AI 写故事画画都挺厉害但有时候感觉它太循规蹈矩第三篇论文 Rober Dyson 的 Look Before You Leap 是不是要让 AI 更有创造力你抓到重点了这篇论文发现传统 AI 训练方式逐词预测有点像只看脚下走路容易陷入固定的套路缺乏创造性跳跃
他们设计了一些小任务比如让 AI 构建几何图形测试模型的创造力怎么测试创造力 AI 还会画三角形哈哈差不多他们让 AI 解决类似拼图的问题需要全局规划和随机尝试结果发现逐次预测的模型容易抄袭训练数据创造力低
而用多次预测或加入随机骰子的方法 AI 能生成更独特更灵活的答案随机骰子是什么意思他们提出了哈希条件化就是在输入里加点随机字符串像制骰子一样让 AI 的思考路径更自由这就像给作家加点灵感火花让故事更有新意这太狂热了
有可能比如 AI 可以设计更原创的游戏剧情或广告创意不过这些任务还是简化版的现实世界的创造力更复杂论文也承认这点未来还需要在真实场景中验证好期待 AI 变成创意大师
接下来是第四篇 Less is more, adaptive coverage for synthetic training data 这个标题有点反直觉少怎么就是多了这篇论文很有意思就是现在很多 AI 用合成数据也就是 AI 自己生成的数据来训练但这些数据量太大还有噪声这篇论文提出了一种叫 ACS 的算法能从海量合成数据中挑出最有用的部分挑数据这听起来像在超市选水果的挑
为什么少反而更好
因为合成数据里有些是烂苹果重复的低质量的样本 ACS 把这些剔掉只留优质果汁这就像你复习考试重点看精选笔记比翻整本书效率高这能用在哪里比如情感分析社交媒体趋势检测合成数据多得吓人 ACS 能让训练更快更准
缺点是它依赖高质量的嵌入模型如果嵌入不好挑出的数据可能不理想明白了 AI 学会了断舍离用更少的数据干大事最后一篇 Think Deep Think Fast 听名字就感觉很深奥他在研究什么这篇论文研究怎么让 AI 在复杂推理任务上又快又准比如解数学题或写代码他们测试了无验证器方法不用额外模型检查答案直接靠 AI 自己多试几次
选最佳答案多试几次是不是像考试多检查几遍对他们发现作为专门训练过推理的模型简单的多数投票跑几次取最长的答案效果居然不比复杂方法差而且答案越短越自信的语言风格越可能是对的自信的 AI 更靠谱
哈哈有點像研究發現推理性模型的錯誤答案裡常有猶豫詞比如或許 但是而正確答案用因此 所以更多這就像人類思路清晰時用詞更肯定
那对普通模型呢普通模型用这些方法也能提升但跟推理型模型比差距还是大这说明专业训练比多花算力更重要未来可以用这些语言特征设计更聪明的推理策略所以 AI 推理也要大刀之剪简单方法有时最有效今天聊的五篇论文真是脑洞大开感谢小 T 的精彩讲解今天的太快报就到这里大家对 AI 的未来有什么期待欢迎留言讨论
谢谢小爱也谢谢大家的陪伴我们下期再见