Deep Dive
什么是多 agent 微调方法，它如何提升 AI 模型的性能？
多 agent 微调方法通过让多个模型协同工作，每个模型承担不同角色（如生成初始答案或评估改进答案），从而提升 AI 模型的性能。这种方法避免了单一模型自我训练时数据单一化和模型固执的问题。实验表明，多 agent 微调在多个推理任务上优于传统单 agent 方法，且能在多次微调中持续提升性能，甚至在未见过的数据集上表现良好。
模型对齐搜索（NAS）如何帮助理解神经网络的内部机制？
模型对齐搜索（NAS）通过分析不同神经网络在处理同一问题时的内部表示，帮助理解其内部机制。它使用线性变换让不同网络之间传递信息，从而对齐它们的表示方式。这种方法不仅能对齐整个网络，还能针对特定概念（如技术）进行对齐，深入挖掘神经网络的内在逻辑，而不仅仅是表面的输出相似性。
Soup to go 方法如何解决持续学习中的灾难性遗忘问题？
Soup to go 方法通过在训练过程中动态平均当前模型和之前训练好的模型，缓解灾难性遗忘问题。与传统模型平均不同，它是在训练过程中实时混合模型，类似于边煮边混合汤。实验表明，这种方法在图像分类和跨领域语言任务中有效减轻遗忘，且性能优于其他方法，同时保持高效性，无需存储大量数据。
GEMO 框架如何改进药物发现的过程？
GEMO 框架通过离散扩散方法生成分子结构，逐步从混乱的分子片段生成合理的分子。与传统方法相比，GEMO 是一种通用框架，能处理多种药物发现任务，且使用非自回归方式并行生成分子序列，显著提高效率。实验表明，GEMO 在分子生成任务中表现优异，为药物研发提供了强大工具。
生成式流网络（GifloNet）在因果推断中的优势是什么？
生成式流网络（GifloNet）通过将生成过程视为序列决策问题，结合约束条件构建模型，有效处理离散和组合对象的建模。它避免了马尔可夫链蒙特卡罗方法的问题，并支持贝叶斯结构学习，从而更准确地推断因果关系。这种方法在探索不同因果模型时能表示不确定性，为因果推断提供了新的工具。
- 多智能体微调方法提升AI性能
- 避免单一模型的固执己见
- 在多个推理任务上优于传统的单智能体方法
- 能在多次微调中持续提升性能
Shownotes Transcript
大家好,欢迎收听最新一期的太快报,我是主持人小爱大家好,我是主持人小 T 今天有很多精彩的 AI 研究成果要和大家分享是的,感觉最近 AI 领域真是太活跃了各种新概念新方法层出不穷今天我们整理了一些非常有趣也很有启发的论文希望能给大家带来一些新思路
没错 今天的这些研究都非常前沿 而且都很有潜力我们今天就来好好聊聊这些有趣的成果好的 那我们先从第一篇论文开始这篇论文提出了一个叫做多 agent 微调的新方法听起来就很厉害 小 T 能给我们解释一下这是什么意思吗好的 大家知道现在的大语言模型很强大但它本质上还是基于训练数据学习的
如果想让他变得更聪明就值得让他自己学习也就是所谓的自我提升但是之前的自我提升方法让一个模型自己生成数据自己训练学了几轮之后往往就学不下去了因为生成的数据会越来越单一模型也会越来越固执
听起来有点像自己跟自己说话,最后就只能在自己的小圈子里转悠了。你这个比喻很形象,这篇论文就提出了一个非常棒的解决思路,就是不用一个模型自己折腾,而是让一群模型组成一个社会,每个模型都有不同的角色,有些模型负责生存初始的答案就像是头脑风暴,有些模型负责评估和改进这些答案,像是评论员。
就像一个团队大家分工合作互相帮助非常正确而且更巧妙的是每个模型训练用的数据都是不一样的这样就保证了模型的多样性避免了模型固执己见模型之间还会互相辩论通过多轮的交互来生成最终的答案听起来很复杂那这个方法的效果怎么样呢效果非常好实验表明这种多 agent 微调的方法在多个推理任务上都明显优于传统的单 agent 的方法
而且它能在多次微调中持续提升性能而不会像单 agent 方法那样很快就停滞不前最厉害的是用这种方法训练出来的模型在没见过的数据集上也能表现很好真是太厉害了这说明集体的智慧果然比个人的力量更强大那我们接下来聊聊第二篇论文这篇论文提出了一个模型对其搜索的方法这个又是什么意思呢
这个研究的角度很不一样他关注的是如何理解神经网络内部的运作机制大家都知道神经网络就像一个黑盒子我们很难知道它到底是怎么思考的这篇论文就提出了一种方法可以帮助我们分析不同神经网络内部的想法看看他们在处理同一个问题时内部的表示是不是相似的有点像在研究不同大脑的思考模式
可以这么理解但传统的方法比如表示相似性分析 IC 只是看看不同神经网络的输出是不是相似但并不能知道它们是不是真的想法一样而这篇论文提出的模型对其搜索 NAS 更进一步它会试图让不同的神经网络对其
也就是让他们用相似的方式来表示同样的概念怎么对齐呢他会学习一些线性变换让不同网络之间可以自由地传递信息如果两个网络真的想法一样那他们就能很好的对齐反之则不然而且他不仅可以对齐整个网络还可以针对特定的概念进行对齐比如技术那这样有什么意义
这提醒我们不能只看表面现象要深入挖掘本质
那接下来我们聊聊第三篇论文这篇论文是关于持续学习的而且用了一个很有趣的名字 Soup to go 听起来像一份外卖这个名字确实很形象 Soup to go 其实讲的是一个持续学习的新方法
大家都知道现在的人工智能系统如果学了新的知识很容易忘记以前的知识这叫灾难性遗忘这篇论文就提出了一种方法通过模型平均来减轻遗忘模型平均这是怎么做的呢传统的模型平均一般是等模型训练完了之后再把几个模型的结果平均一下
但这篇文章提出的方法不一样它是在训练的过程中就把当前的模型和之前训练好的模型进行平均就像把不同的汤混合在一起而且是边煮边混合而不是最后才混合听起来有点像在做菜需要不停地调整配料和火候
是的而且研究发现在训练过程中进行平均比训练完之后再平均效果更好这说明模型在学习的时候动态变化非常重要那这种方法的效果怎么样呢效果非常好
实验表明这种方法在图像分类和跨领域语言任务中都能有效地缓解灾难性遗忘而且性能比其他方法都要好关键是它还非常高效不需要存储大量的数据那真是太棒了能学习新知识又不会忘记老知识
这才是真正的智能接下来我们来看看第四篇论文这篇是关于药物发现的题目是 GEMO 听起来像一个基因模型是的这篇论文提出了一个叫做 GEMO 的通用分子的生成框架它通过将离散扩散应用于分子的表示来实现药物的发现
离散扩散这个听起来有点抽象你可以把离散扩散想象成一个去造的过程对于图像来说就是把一张造生图像逐步地恢复成清晰的图像而对于分子来说就是把一个乱七八糟的分子片段逐步地生成一个合理的分子结构那为什么要用这种方法呢
因为传统的分子生成方法只能处理特定的任务而且需要针对每个任务进行调整而 GEMO 则是一种通用的框架可以用一个模型来处理多种药物发现任务而且它使用了非自回归的方式来生成分子序列也就是说分子的各个部分可以并行生成而不需要一个接一个的生成听起来很高效那这个方法的效果怎么样呢
哇
哇 真是太厉害这对于药物研发来说简直是太大的帮助了那最后我们再来聊聊第五篇论文这篇论文是关于生成式流网络的听起来就很有技术含量是的 生成式流网络只服 LowNet 是一个很新颖的概念它是一种新的概率模型专门用来处理离散和组合对象比如图结构在英国结构学系中
我们经常会遇到一个问题就是不同的因果模型可能都能解释观测数据 G4Net 就提供了一种方法可以让我们探索不同的模型并表示出我们对这些模型的不确定性听起来有点像在探索未知的世界
可以这么说 GifloNet 把生成过程看作一个序列决策问题通过一些约束条件来构建模型而且它和强化学习变分推断的领域都有很深的联系那这种方法有什么优势呢它能够有效地处理离散和组合对象的建模避免了马尔可夫列蒙特卡罗方法的一些问题而且它能帮助我们进行贝耶斯结构学习从而更准确地推断因果关系
听起来真是太厉害了感觉今天的论文都非常前沿很有深度是的这些研究都代表了 AI 领域的最新进展而且都很有潜力听完今天的分享感觉对 AI 又有了新的认识那今天的太快报就到这里了感谢大家的收听我们下期再见下期见拜拜