AI前沿：AI研究智能体、基于规则的RL与MCT扩散
11:42 Share

听众朋友们大家好欢迎收听最新一期的太快报我是小爱大家好我是小 T 很高兴又和大家见面了今天我们太快报的内容可真是太丰富了我看了下今天的论文摘要感觉 AI 领域最近又涌现出不少有意思的新进展是的

小爱今天的几篇论文都非常前沿涵盖了 AI 研究智能体大语言模型推理系统规划可学习性以及注意力机制优化等多个热门方向信息量满满绝对能让听众朋友们耳目一新听起来就让人兴奋那我们先从哪一篇开始呢我看第一篇论文是关于 MLGEM 的听名字就感觉很特别没错 MLGEM 推进人工智能研究 agent 的新框架和基准

这篇文章很有意思它提出了一个叫做 MLGIM 的新框架以及一个配套的基准测试 MLGIM Bench

你可以把 MLGIM 想象成一个专门为训练和评估 AI 研究智能体设计的健身房 AI 研究智能体 这听起来像是要让 AI 自己搞科研可以这么理解 我们现在的大语言模型比如 GBT-04O 已经很强大了但它们主要还是被用来解决特定问题 比如写文章 翻译编程等等

而 MLGym 的目标更进一步是希望训练出能够像人类科学家一样自主进行科学研究的 AI 智能体听起来好科幻那这个健身房具体是怎么运作的呢 MLGym 框架提供了一系列研究任务就像健身房里的各种器械这些任务涵盖了数据科学计算机视觉自然语言处理等多个领域模拟了真实的科研过程比如提出假设创建数据集实现算法

做实验分析结果等等研究人员可以训练自己的 AI 智能体在 MLGIM 里完成这些任务然后通过 MLGIM Bunch 这个基准来评估他们的研究能力听起来这个 MLGIM 就像是 AI 研究智能体的高考一样那现在最先进的大元模型在这个高考中表现如何呢论文对目前最前沿的几个大元模型像 Cloud 3.5 Summit 莱玛 3.1 GPT-04O 等等

在 Emerging Bench 上进行测试最后发现这些模型在改进现有基线性能方面做的还不错

但他们主要还是通过调整超参数这种微调的方式来提升性能很难产生真正新颖的科学贡献比如提出新的算法或者假设听起来有点反直觉我们都觉得大模型很聪明但离真正自主搞科研好像还有距离是的 这个研究结果也指出了当前大语言模型在创新性研究能力方面的局限性

不过 MLGEM 的出现本身就是一个很大的进步它为我们提供了一个统一的平台来开发和评估 AI 研究智能体也为未来的研究指明了方向而且这个框架和基准都是开源的可以促进社区共同努力推动 AI 研究智能体的发展真是个有意义的工作那我们接下来看看第二篇论文 Logic

利用基于规则的强化学习释放大语言模型推理能力这个听起来和推理能力有关是的这篇论文关注的是如何提升大语言模型的推理能力特别是逻辑推理能力他们提出了一个叫做 logic RL 的框架

用基于规则的强化学习来训练大语言模型强化学习我们之前也聊过那基于规则又是什么意思呢简单来说就是他们在训练的时候不是直接告诉模型答案而是设定一些规则让模型通过试错和规则反馈来学习推理他们用一种叫做 Night and Teenave 的逻辑谜题来训练模型

这种谜题很有意思里面有歧视和无赖歧视总是说真话无赖总是说谎话你需要根据他们说的话来判断谁是歧视谁是无赖听起来有点像脑筋急转弹用这种谜题来训练模型推理靠谱吗

论文的实验结果表明效果非常好他们用 logic RL 框架训练了一个 70 亿参数的模型结果发现模型不仅学会了解决逻辑谜题还涌现出了一些高级推理技能比如反思 验证和总结更厉害的是用逻辑谜题训练的模型竟然还能泛化到解决非常难的数学竞赛题

是的这个结果挺出乎意料的但也说明通过强化学习模型确实可以学到更抽象更通用的推理能力而不是仅仅记住题目的答案他们还发现

这个研究真是颠覆了我的一些认知看来 强化学习在提升大语言模型推理能力方面真的潜力无限

没错 Logic RL 框架也为我们提供了一个新的思路就是可以通过规则驱动的强化学习来激发大语言模型的推理潜能好那我们再来看看第三篇论文用于系统二规划的蒙特卡洛数扩散法这个标题里的 Diffusion 听起来像是扩散模型和图像生成的一些模型有关吗

是的 这篇论文正是将扩散模型应用到了系统二规划中系统二规划你可以理解为更复杂更需要深思熟虑的规划和我们平时说的三四二后行有点像论文提出了一种新的规划框架叫做蒙特卡洛数扩散法 MCTD 蒙特卡洛数搜索我知道是一种搜索算法那扩散又是怎么回事呢扩散模型很擅长生成各种各样的东西比如图像 文本 音频等等

这篇论文巧妙地将扩散模型的生成能力和蒙特卡洛数搜索的搜索能力结合起来让扩散模型也能做规划你可以把扩散模型想象成一个艺术家他能画出各种各样的计划

而蒙特卡洛数搜索就像一个导航员,它能在众多的计划中找到最优的那一个。这个比喻,好形象,那 MCTD 框架有什么特别之处呢?MCTD 框架最大的创新在于,它让扩散模型具有了测试时计算可扩展性。

这是什么意思呢?就是说用 MCTT 框架的规划器给它更多的时间计算,它的性能就会越来越好,就像蒙特卡洛数搜索一样,而传统的扩散模型规划器就没有这个特性。听起来 MCTT 框架更智能更灵活了。

是的,实验也表明,MCTT 框架在长时序任务,比如迷宫导航、机械臂操作等方面,都比传统的扩散模型规划器表现更好。尤其是在复杂的场景中,MCTT 框架有效地结合了扩散模型的全局一致性和蒙特卡洛数搜索的自适应优化能力,可以说是鱼和熊掌兼得。

真是个巧妙的结合,那我们接下来看看第四篇论文,在可学习性的前沿学习推理,这个标题里的可学习性又是什么意思呢?这篇论文的核心概念就是可学习性,你可以把可学习性理解为模型当前最容易学习的知识,论文提出了一种基于可学习性采样的课程学习方法,

用于提升大语言模型在推理任务上的强化学习微调效率课程学习我知道就是像人类学习一样由易到难循序渐渐那基于可学习性采样的课程学习具体是怎么做的呢传统的强化学习微调通常是均匀的给模型提供各种难度的题目进行训练

但作者发现这样做效率不高因为很多题目要么太简单模型已经完全掌握了要么太难模型根本无从下手真正有意义的学习应该发生在模型能力边界附近也就是那些模型有时能做对有时做不对的题目

这些题目就是可学习性高的题目像我们学习一样太简单和太难的题目都学不到东西只有难度适中的题目才能有效的提升能力是的论文提出的方法就是优先选择这种可学习性高的题目来训练模型实验表明这种方法可以显著加速强化学习微调过程

并提高模型在推理任务上的准确率和泛化能力他们发现用 SF 方法训练的模型在更少的训练步骤下就能达到甚至超过传统方法的性能听起来就像是给 AI 也请了个个性化辅导老师专门挑他薄弱但有潜力的环节来加强训练可以这么理解而且他们还发现在训练大语言模型时频繁更新可学习性题目的题库非常重要

这样可以避免模型只记住题库里的题目而没有真正学到推理能力这个研究为我们提供了一个更高效更智能的大语言模型训练方法太棒了最后一个论文是揭示注意力的简单性自适应长上下纹头识别这个是关于注意力机制的优化

是的,這篇論文關注的是如何優化 Transformer 模型的注意力機制,特別是在處理長文本時,我們知道 Transformer 模型的注意力機制雖然強大,但計算量也很大,尤其是在處理長文本時,計算複雜度會呈平方級增長。

之前我们也聊过长文本处理是 Transformer 模型的一个挑战这篇论文的作者发现 Transformer 模型的注意力头在处理长文本时行为模式其实可以更简化他们发现有些注意力头始终只关注局部信息而另一些注意力头则会在局部信息和长文本信息之间切换取决于当前的查询那是不是意味着我们可以只让那些需要关注长文本信息的注意力头去处理长文本

而让那些只关注局部信息的注意力头只处理局部信息这样就可以节省计算量了你的理解很到位问文正是基于这个思路提出了一个叫做查询自适应注意力 QADA 的机制

QADA 机制可以根据当前的查询动态的识别哪些注意力头需要关注长文本信息哪些注意力头只需要关注局部信息听起来好智能那 QADA 机制效果怎么样呢

实验表明,QADA 机制在各种常文本基准测试和模型上都表现出了很好的性能,可以在保证性能的同时显著提高注意力计算的效率。更令人惊讶的是,在某些情况下,QADA 机制的性能甚至超过了标准的密集注意力机制。自适应吸收性竟然还能提高准确率,这真是个反直觉但又非常重要的发现。

是的,这个研究揭示了注意力机制在长文本处理中的一些简单而有效的特性,为我们优化注意力机制提升长文本处理效率提供了新的思路。今天这五篇论文真是干货满满,让我对 AI 研究的最新进展有了更深入的了解,感觉 AI 真的是在飞速发展。

是的,AI 领域每天都在进步,新的技术和方法层出不穷,我们太快报也会持续关注 AI 领域的最新动态,为大家带来更多精彩的内容。感谢今天的精彩解读,听众朋友们如果想了解更多 AI 前沿资讯,请继续关注太快报,我们下期再见。下期见,拜拜。