AI前沿：从并行推理到安全护航
12:05 Share

大家好 欢迎收听太快报 我是小爱大家好 我是小 T 很高兴我们又见面了第一篇论文是 Learning Adapted Parallel Reasoning with Language Models 听起来像是让 AI 学会多线程思考这到底是怎么回事能用生活中的例子解释一下吗想象你在做一道复杂的数学题比如从 100 倒数到 1 每次减去一个特定的数字算出结果传统 AI 的思考

思考方式就像一个人按部就班地算,步步为营,但如果问题很复杂,这种串行方式可能算到一半就脑容量不够,或者耗时太长。这篇论文提出了一种叫自适应并行推理 APR 的框架,让 AI 像一个团队一样分头去探索不同的解法。

具体来说,AI 会像项目经理一样派生出多个子线程去定型尝试不同的计算路径,比如一个线程试着从 100-7,另一个试着-5,最后把结果汇总,挑出最好的。这种方式通过 Spawn 和 Join 操作实现,Spawn 就像分配任务,Join 是把结果整合。更厉害的是 AI 通过强化学习自己决定什么时候该分头干,什么时候该集中力量。

这种团队协作让 AI 在同样的时间内能探索更多可能性效率大大提升听起来像 AI 开了多核处理器那它效果如何真有那么神奇吗确实很强论文用一个叫 Countdown 的推理任务测试 APR 在相同计算资源下准确率从 60%提升到 83.4%而且延迟更低计算量也省了一大半更有趣的是他们发现 AI 更倾向于广度搜索

也就是多开子现成,而不是一味地深挖一条路径这告诉我们有时候解决复杂问题,广撒网,比一条路走到黑更有效这对我们有什么启发?比如我平时用 AI 写文章,或者解题能不能也用上这种并行思路?完全可以,比如你让 AI 帮你写创意文案,可以提示它同时生成几个不同风格的版本然后你再挑最好的

这就像 APR 的并行探索而且这项研究提醒我们未来的 AI 可能会更聪明地分配自己的脑力就像一个懂得团队管理的超级大脑应用前景很广比如自动驾驶需要快速决策或者金融分析需要同时评估多种策略 APR 都能让 AI 更快更准

不過論文有沒有提到什麼不足總不能完美無缺吧確實有局限現在的實驗只在一個特定任務和較小的模型上測試換到更大的模型或更複雜的任務比如通用聊天機器人效果還不確定另外 APR 需要一些初始化數據來教 AI 並行推理

未来如果能让 AI 完全自己摸索那就更厉害了接下来是 Deep Learning with Missing Data 这篇听起来像是 AI 在处理残缺拼图现实中数据缺失很长比如问卷调查有人没填完这种情况 AI 怎么应对对数据缺失就像拼图少了几块传统方法通常是先补全缺失的部分比如用平均值填空再丢给神经网络训练但这种补全可能会让数据失真就像硬把不合适的拼图块

塞进去这篇论文提出了模式嵌入神经网络 PENN 他的思路很巧妙不仅看补好的数据还要把哪些地方缺失这个信息也用起来举个例子想象你在预测一个人的信用评分数据里有些人的收入没填如果缺失的原因是高收入者不愿透露那缺失本身就很有信息价值

PENN 用三個神經網絡一個處理補好的數據一個專門分析缺失的模式第三個把這兩部分信息整合起來這樣 AI 就能更精準的預測結果這有點像偵探不僅看證據還要看證據為什麼缺失那它效果怎麼樣效果很顯著他們在銀行貸款信用評分等數據集上測試

CNN 比传统方法预测更准尤其是在数据非随机缺失时比如高收入者刻意不填收入的情况

理论上他们还证明了 PEN 的预测误差接近最优相当于已知缺失模式的理想情况这对现实有什么用比如医疗金融这些领域数据缺失很长吧太有用了在医疗领域病人可能因为隐私不提供某些信息 PEN 能利用缺失模式提高诊断准确率在金融领域比如预测贷款违约 PEN 能更好的挖掘

隐藏在缺失数据背后的规律未来这类技术可能让 AI 在处理不完整信息时更像人类善于从残缺中找线索有没有什么问题比如 PEM 听起来挺复杂的会不会太难用确实 PEMN 多了个神经网络计算成本会高一些而且它假设缺失模式和结果之间有某种规律如果完全随机缺失效果可能没那么明显另外论文的理论分析基于一些理想假设

现实中数据可能更复杂不过他们已经公开了代码这对研究者和开发者来说是个好消息第三篇是 Shadow Invariance Scalable Approach to Information Decomposition 听起来有点抽象能不能用简单的比喻解释一下信息分解和相容不变量好的想象一个乐队吉他鼓贝斯一起演奏你想知道每个乐器对整首曲子的贡献有多大这就是信息分解但传统方法分析起来超级复杂

计算量像天文数字尤其当乐队很大时这篇论文提出了相能不变量就像找到了一些简单指标能快速告诉你乐队的整体协作效果和个体贡献稳定性而且计算量小到可以用在超级大的系统比如深度神经网络

具体来说,他们定义了两个指标,平均冗余度和平均脆弱度。冗余度就像乐队里有多少替补,即使某个乐器手掉线曲子还能继续,脆弱度则是如果某个乐器手出错,曲子会崩到什么程度。这两个指标只依赖相农商计算,简单又直观。哇,这就像给 AI 做了一次信息体检,他们发现了什么有趣的结果。

最有趣的是,他們分析了深度神經網絡的訓練過程發現冗餘度和脆弱度像翹翹板訓練越深入網絡的冗餘度越高,意味著信息更穩但脆弱度下降,說明信息更抗干擾這在 MAST 分類器和人臉自編碼器中都得到了驗證比如在人臉生成模型裡,解碼器比編碼器更冗餘說明它對信息的備份更多

这对我们理解 AI 有什么帮助听起来很理论别小看这个理论它就像给 AI 的大脑拍了 X 光片让我们看到信息是怎么在神经网络里流动的未来这能帮我们设计更高效更鲁棒的 AI 模型比如让自动驾驶系统在传感器数据丢失时还能稳定工作应用上它还能分析生物神经网络

比如研究大脑怎么处理冗余信息有没有什么不足这么厉害的工具总有改进空间吧

有几点他们的分析基于量化的神经网络可能会丢失一些连续信息的细节而且目前只提出了两个不变量可能还有其他隐藏的指标没被发现另外实际应用中估计这些指标需要大量数据可能会增加成本不过这个框架已经为信息理论研究打开了一扇新窗第四篇是 TTRL Test Time Reinforcement Learning 听起来像 AI 在考试时还能临时抱佛脚这是什么意思

哈哈确实有点临时抱佛脚的感觉通常 AI 的强化学习需要大量标注数据来告诉他做对了什么但这篇论文提出了一种叫推理时强化学习 TRL 的框架让 AI 在没有答案的测试数据上自己学习秘诀是让 AI 自己生成多个答案通过多数投票选出最靠谱的

然后用这个共识给自己打分优化自己的推理打个比方想象 AI 在解数学题他不知道标准答案但可以试着写出十个解法如果八个都得出同一个答案他就认为这个答案靠谱用它来指导自己改进这种自举方式让 AI 像个自学成才的学生

效果惊人他们在数学推理任务上测试比如 AIME2024T TRL 让一个 7B 模型的准确率从 16.7%飙升到 43.3%提升了 159%更神奇的是 AI 的最终表现甚至超过了多数投票本身的水平说明它真的通过自学超越了起点

这就像学生不仅学会了考试还掌握了更深的解题技巧这能用在什么地方感觉很实用非常实用比如 AI 在医疗诊断中遇到新病例没有标注数据 TTRL 可以让他通过试错优化诊断策略但自动克服游戏 AI 等领域也能让 AI 快速适应新环境未来这可能让 AI 更像人类遇到新问题时能自己摸索出路有没有什么限制 AI 不

可能完全无师自通吧对 TTRL 依赖 AI 的底子要够好如果任务太难 AI 完全没概念多数投票可能就不靠谱另外强化学习本身对参数敏感调不好可能效果打折不过这项研究的洞见 AI 能通过自己的共识自学真的为无监督学习打开了新思路最后一篇是 LLL

I'm a greedy agent, effects of RL fine-tuning on decision-making ability 标题说 AI 贪婪这是怎么回事给我们讲讲哈哈这个贪婪很有意思论文发现语言模型在做决策时特别容易短视总爱挑当前看起来最好的选项而不是去探索其他可能性比如玩一个老虎机游戏 AI 可能老拉同一个把手因为他之前赢过完全不是其他可能更好的选项他们把这叫

贪婪性还有两个问题一是频率偏差 AI 偏爱常选项二是知行合一问题 AI 明明知道怎么做最好却不按自己的知识行动论文提出了一种解决方案用强化学习 VTRLFT 让 AI 在自己的推理过程中学习探索比如 AI 先写下自己的思考过程像写草稿

然后根据环境反馈优化选择他们发现简单的策略比如先把所有选项试一遍就能大大提高 AI 的探索能力这有点像叫 AI 别太急功近利效果如何效果很不错在多臂老虎机和井字旗任务中 LFT 让 AI 的探索范围大了 55%决策遗憾也就是错失的机会显著减少

尤其在谨自其中 AI 的胜率明显提高更重要的是 AI 的知行合一问题缓解了能更好地把自己的推理转化成行动这对现实有什么意义 AI 做决策的地方很多吧太多了比如推荐系统如果太贪婪可能老给你推同样的内容 RFT 能让他更敢于尝试新推荐提升用户体验在自动驾驶金融交易等领域

需要权衡探索和利用 ROFT 能让他更灵活更聪明未来这可能让 AI 更像一个深思熟虑的决策者有没有什么不足贪婪问题完全解决了吗还没完全解决实验用的是简化任务和中小模型换到更复杂的环境或超大模型效果可能有变数而且增加探索会提高计算成本实际应用的权衡

不过这篇论文最大的启发是 AI 的性格问题像贪婪可以通过训练来优化,这为打造更人性化的 AI 提供了方向。哇,今天的内容太丰富了,感谢小 T 的深入浅出讲解,也感谢听众的陪伴,下期太快报,再见。下期见,拜拜。