AI前沿：高效LLM分布式训练、训练数据质量大提升
14:59 Share

大家好,欢迎收听最新一期太快报,我是主持人小爱。大家好,我是主持人小 T,很高兴又和大家见面了。小 T,今天我们要聊点啥?新鲜的 AI 研究进展呢?感觉最近 AI 领域的新东西层出不穷。

听起来内容好丰富,那我们赶紧开始吧

先從每一篇開始呢我們先來聊聊第一篇它關注的是如何更高效的訓練大型語言模型題目是 Streaming Dialog with Overlapping Communication towards a Distributed Free Lunch 聽起來就很高大上分布是免費午餐

这是什么意思听起来像是什么白嫖秘籍可以这么理解但这里的免费午餐指的是在分布式训练大型语言模型时希望能以更低的通信成本获得和之前一样甚至更好的模型性能你知道训练像 GPT 这样的大模型通常需要很多台计算机一起工作这就是所谓的分布式训练

我知道就像很多人一起搬砖盖房子人多力量大嘛是的 但多人协同工作就会涉及到沟通和协调在分布式训练中这些计算机之间需要频繁的交换信息同步模型参数这个过程会消耗大量的通信带宽就像高速公路上的车流量一样带宽不够就会堵车训练效率就会降低那这篇论文提出的 streaming dialogue 就是来解决这个堵车问题的

非常正确,Streaming Dialog Co.就像是给高速公路升级改造,它用了几个巧妙的方法来减少车流量,让道路更通畅。首先,它不是一次性同步所有模型参数,而是把模型参数分成很多小块,一块一块的同步,就像化整为零,降低了瞬间的通信压力。分批同步,听起来有点像分段,下载电影一次只下载一部分,而不是全部一起下。

这个比喻很形象其次 StreamingDialog 还实现了通信与计算重叠也就是说在计算机同步参数的时候还可以同时进行其他的计算任务就像一边搬砖一边聊天充分利用时间减少等待一心二用真会省时间那效果怎么样呢真的能实现免费午餐吗实验结果非常惊艳 StreamingDialog 在保证模型训练质量的前提下竟然将所需的带宽降低了两个数量级相当于高速公路扩宽

宽了好几倍再也不用担心堵车了而且它还能提高计算资源的利用率即使在低带宽的网络环境下也能保持很高的效率哇这么厉害那这意味着以后训练大模型可以省一大笔钱用更少的资源就能完成任务这真的是 AI 领域的免费午餐可以这么说 StringDialog 的提出对于推动大型元模型的普及应用降低训练成本具有非常重要的意义他告诉我们训练大模型不一定

非得烧钱兑硬件通过算法创新也能实现意想不到的效率提升感觉 AI 技术真的是在不断进步越来越高效智能了那我们接下来聊聊第二篇论文吧题目是 RIPBetter Models by Survival of the Fittest Prompts 这个 RIP 是我想的那个意思吗是的

咱们一般印象里 RIP 是 Rest in Peace 的缩写不过在这篇论文里它代表的是 Rejecting Instruction Preferences 也就是拒绝指令偏好拒绝指令听起来有点反常识指令不是越多越好吗

为什么要拒绝指令呢?其实高质量的指令数据才是关键。在训练语言模型时,我们通常会用大量的指令数据来引导模型学习如何更好的理解和执行人类的指令。但是如果数据集中混入了一些低质量的指令,比如指令描述不清,逻辑混乱,甚至有错误,就会影响模型的学习效果。就像老师教学生,如果教台质量不高,学生也学不好。

没错这篇论文就提出了一种新的数据筛选方法 RIP 专门用来拒绝掉那些低质量的指令它的核心思想是通过分析模型对指令的拒绝回复来判断指令的质量拒绝回复这是什么意思在指令微调的过程中模型会针对每个指令生成多个回复

原来如此,就像是考试如果题目出的不好,学生不仅答不好,而且不同学生之间的答案差异也会很大。

是的,RIP 方法就是通过分析这些拒绝回复的质量和奖励差距来给指令打分,把那些低分指令筛选出去,留下高质量的指令来训练模型。这个思路好清晰,通常我们都关注优等生优选回复,没想到差生拒绝回复也能用来判断题目指令,大概的好坏。那效果怎么样呢?效果非常显著。

实验表明用 RAP 筛选后的高质量数据训练出来的模型在多个评测基准上都取得了明显的性能提升甚至超越了用全部未筛选数据训练的模型这再次证明了数据质量的重要性有时候少而精比多而烂更有效感觉就像是减肥与其盲目节食不如选择健康的食材和科学的饮食方法

那这个 RIP 方法有什么实际应用价值呢?RIP 方法可以帮助我们更高效地构建高质量的指令数据集提升指令微调的效果尤其是在数据资源有限的情况下 RIP 的价值就更加凸显此外,论文作者还提出了 self-RIP 方法

利用 RIP 筛选出来的高质量指令进一步生成更高质量的合成数据这位合成数据生成领域也提供了新的思路听起来 RIP 就像是一位数据质检员可以帮助我们把控数据质量提升模型性能那我们再来看看第三篇论文吧

Learning to plan months reason for evaluationwith thinkingLMS judges 这个题目有点长感觉有点烧脑这篇论文关注的是如何让 AI 模型更好的评估其他 AI 模型你知道现在 AI 模型越来越多能力也越来越强但是如何客观公正的评价他们的好坏也是一个非常重要的问题就像给学生考试打分一样需要有标准和方法

是的,这篇论文就提出了一个名为 Evo Planner 的框架,它可以让 AI 模型像人类一样先规划评估策略,再进行推理判断,从而更有效地评估其他 AI 模型的表现。规划评估策略这是什么意思?

以前的 AI 评估模型通常是按照预先设定的固定流程进行评估,就像是做填空题,答案是固定的。但以 WebLiner 不一样,它可以根据不同的评估任务,动态的生成评估计划,就像是做开放性问题,需要先思考解题思路,再给出答案。

听起来 DevOpLaner 更灵活更智能了它是怎么实现规划和推理的呢?EvePlaner 采用了结偶的思想将评估过程分为两个阶段首先是规划阶段模型会根据评估指令生成一个评估计划这个计划可以包含评估标准评估步骤等等就像是制定考试大纲然后是推理阶段

模型会按照评估计划对被评估的模型进行推理和判断最终给出评估结果就像是按照考试大纲进行月卷评分那 Alplanner 的评估计划是模型自己生成的吗不需要人工预先设定吗是的 Alphalplanner 最厉害的地方就是它可以学习生成无约数的评估计划也就是说不需要人工干预模型可以根据评估任务的特点自主的设计评估策略

这就像是让 AI 自己设计考试题目和评分标准而不是人类提前设定好哇 这太酷了吧 AI 不仅能做题还能自己出题和判卷了那 Evolve Planner 的效果怎么样呢实验表明 Evolve Planner 在多个评估基准上都取得了最先进的性能尤其是在处理复杂和多样化的评估任务时优势更加明显这说明将评估过程结偶为规划

兩個階段確實可以提升 AI 評估模型的有效性和魯褓性感覺 Evil Planner 就像是一位更專業的 AI 裁判可以更公正、客觀的評價 AI 模型的好壞那我們接下來聊聊第四篇論文吧 People who frequently use chatGPT for writing tasks are accurate and robust detectors of AI-generated text

这篇论文的题目很有意思,说的是用 XGVT 写作多的人能更准确地检测 AI 生成的文本。是的,这篇论文的研究发现非常有趣,甚至有点反直觉。我们通常认为 AI 生成的文本越来越逼真。

人类很难区分但是这篇论文却发现那些经常使用 XGPT 等 AI 工具进行写作的人反而能更准确地识别出 AI 生成的文本真的吗这是为什么呢难道是以魔法对抗魔法可以这么理解论文作者认为这些频繁使用 AI 写作工具的人就像是 AI 文本专家他们对 AI 的写作风格语言习惯甚至是一些 AI 未非常熟悉

所以能够更敏锐地捕捉到 AI 生成文本的特征就像是经常开车的老司机对汽车的各种细微变化都更敏感这个比喻很贴切实验结果也证实了这一点论文作者找了一些 AI 文本专家和一些

让他们区分人类撰写的文章和 AI 生成的文章结果发现 AI 文本专家的识别准确率非常高甚至超过了目前很多商业化的 AI 文本检测工具哇 人类专家竟然比 AI 检测器还厉害

那这些 AI 文本专家是怎么识别出来的呢他们有什么秘诀吗论文作者对专家的解释进行了分析发现他们不仅仅是依靠一些 AI 词汇或者语法错误来判断而是更注重文本的整体风格原创性清晰度和语气等方面这些更深层次的特征是目前的自动检测器很难捕捉到的感觉就像是品酒师不仅仅是尝味道还要感受酒的香气口感和层次感那这个研究有什么意义呢

难道以后要靠人肉检测来识别 AI 生成内容吗?当然不是人肉检测效率太低也不现实,但这篇论文的发现至少给我们带来了两点启发。首先它证明了人类在某些方面,例如对文本细微特征的感知和判断,依然具有 AI 模型难以企及的优势。

其次他也提示我們未來的 AI 文本檢測技術應該更多的學習人類專家的檢測策略從更深層次更全面的角度去分析文本特徵而不僅僅是停留在詞彙和語法層面感覺 AI 和人類各有優勢可以互相學習共同進步

那最后我们再来聊聊第五篇论文吧 Temporally Adaptive Interpolated Distillation for Efficient Knowledge Transfer in Language Models 这个 TED 又是什么新名词?TED 是 Temporally Adaptive Interpolated Distillation 的缩写中文意思是时间自适应差值蒸馏

這篇論文關注的是模型壓縮領域,也就是如何將大型語言模型的知識有效地遷移到小型模型中,讓小模型也能擁有接近大模型的性能。有點類似大型語言模型,雖然能力強大但參數量巨大,計算資源消耗也很大,不利於在移動設備或者資源受限的環境中部署。

征流就是一种常用的模型压缩技术它就像是老师把知识传授给学生让学生模型学习老师模型的精华从而在参数量大幅减少的情况下依然保持较高的性能知识征流我听说过就像是明师辅导可以快速提升学生的学习成绩那 TED 又有什么特别之处呢?传统的知识征流方法通常是让学生模型直接模仿老师模型的输出

但这种方法在 teacher 模型和 student 模型能力差距比较大的时候

效果往往不好就像让小学生直接学习大学生的课程难度太大了 Taility 的方法就改进了这一点它采用了时间自适应差值的策略就像是循序渐进的教学先让学生模型学习一些比较容易的知识然后再逐步过渡到更复杂的知识循序渐进具体是怎么做的呢 Taility 的核心思想是在知识征流的过程中动态的调整征流目标也就是让学生模型学习的目标

从学生模型自身的分布,逐步过渡到老师模型的分布就像是先让小学生做一些基础练习题,然后再慢慢增加难度,最终达到大学生的水平听起来 TED 更像是一位有耐心的好老师,会根据学生的学习情况动态调整教学方法那效果怎么样呢?实验表明,TED 在各种模型大小和架构上都取得了比传统知识蒸馏方法更好的性能

尤其是在 teacher 模型和 student 模型能力差距比较大的情况下优势更加明显而且 TID 还能够有效防止模式崩溃等问题保证蒸馏过程的稳定性和有效性太棒了那这意味着以后我们可以用更小的模型实现更强大的 AI 功能这对于 AI 技术的普及应用肯定会很有帮助

是的 TED 的提出为高效构建高性能的小型语言模型提供了新的技术方案也为未来 AI 技术在资源受限环境下的应用打开了更广阔的空间听完这五篇论文的介绍感觉今天的 TED

那他们

不客气

我也很高兴能和大家分享这些有趣的 AI 研究成果,希望太快报能帮助大家更轻松地了解 AI,感受 AI 的魅力。好的,感谢大家的收听,我们下期太快报,再见。下期见,拜拜。