AI前沿：从文本分块到知识模块的创新突破
08:02 Share

大家好 欢迎收听本期太快报 我是小爱大家好 我是小 T 今天的主题非常丰富从文本处理到智能规划再到知识注入涵盖了 AI 领域的多个热点我们先聊第一篇论文标题是 MOC Mixtures of Text Chunking Learners for RetrievalAugmented Generation Systems

听起来像是关于文本分块的能先给我们解释一下什么是文本分块吗简单来说文本分块就像是把一篇长文章切成小块比如你读一本书里面有很多章节 AI 要把这些章节再细分成更容易处理的小段落这些小段落可能是几句话也可能是一个自然段在 AI 的检索增强生成系统中

分块特别重要,因为模型要先从海量文档中找到相关片段再生成答案如果分的不好模型可能会抓瞎,找不到关键信息原来是这样,那这篇论文提出了什么新方法呢?他们提出了一个叫 MOC 的框架,全称是混合分块学习器想象一下你家有个智能切菜机,里面有好几个刀头,有的擅长切丝,有的擅长切块

用切菜機來比喻真形象

有什么特别的地方吗特别的地方在于它不直接让 AI 生成完整的文本块而是生成这些切菜规则然后再用规则去切这样计算量小了很多效率高了不少而且他们还设计了一个校对员通过比较规则和原文修掉可能出现的错误确保分块质量实验证明 MOC 在问答任务中的表现比传统的分块方法好很多听起来很实用那它能应用到哪些地方呢

比如智能客服 搜索引擎 或者法律文档分析任何需要从长文本中快速找到答案的场景都能用上 MOC 不过它目前主要在中文和英文上测试过其他语言可能还需要进一步验证

MOC 就像一个聪明的文本厨师帮 AI 把信息切得恰到好处接下来我们聊第二篇吧第二篇论文叫 LMS Know What to Drop Self-Attention Guided KVDiet Eviction for Efficient Long Context Inference 标题有点长能给我们拆解一下吗没问题这篇论文的核心是让大型语言模型在处理长文本时更高效想象你家有个大书柜里面塞满了书但你每次只能拿几本看

AI 处理长文本时也有类似问题它需要记住很多信息但内存有限这篇论文提出了一种方法叫 CHKV 意思是用 AI 自己的注意力来决定哪些信息可以丢掉哪些得留着 AI 还有注意力这听起来很有意思

对 这里的注意力是指模型在处理文本时会给每个词分配一个重要度分数比如你在听课 老师讲到重点时你会多留心次要内容可能就忽略了 CHKV 利用最后一个词的注意力分数判断前面哪些信息是关键的然后只保留最重要的部分 把不重要的丢掉这样内存占用就大大减少了那它具体怎么做到的呢

在处理完常温本后,CHKV 会一次性挑出最重要的信息,压缩内存。

然后用这个精简版继续工作实验显示它比其他方法省了 2 到 4 倍的内存还能保持甚至提高准确率比如在问答任务中它能快速找到答案不会被无关信息拖慢这就像给 AI 装那个智能垃圾桶知道啥该扔太聪明了那它有什么应用前景吗非常有前景比如在线教育智能助手或者处理长篇小说的分析系统都能用它来提升速度

不过它目前更适合短答案任务如果要生成很长的文章可能还需要改进明白了接下来看看第三篇吧

第三篇是 Block Diffusion Interpolating Between Autoregressive and Diffusion Language Models 这里的块扩散是什么意思这是一种新的语言模型玩法结合了两种生成文本的方法一种是自回归模型像 GPT 这样逐个词预测像写日记一样慢慢写另一种是扩散模型常见于图片生成能一次性生成一片内容但不太擅长长文本

这篇论文提出了块扩散模型简称 BD3LM,把文本分成小块,先按顺序生成块,再在每个块里并行填词。听起来像拼了高先搭框架再填细节。对,非常形象,这种方法既能生成任意长度的文本,又比传统扩散模型快很多。

他們還發現擴散模型訓練室有個問題叫 T 度方差會讓結果不穩定於是他們設計了一種裁減策略減少波動讓模型表現更好實驗顯示 BD3LM 的文本質量接近自回歸模型還能更快生成那它能用來幹嘛呢比如自動寫小說生成新聞摘要甚至是實時翻譯

定型优势特别适合需要快速生成内容的场景不过对于超长文本的连贯性可能还需要再优化真是个快准狠的模型接下来聊第四篇吧

第四篇是 Plan and Act Improving Planning of Agents for Long Horizon Tasks 这里的智能体是指什么?智能体就是能自己做事的 AI,比如自动购物的机器人。常识程任务是指需要很多步骤才能完成的是,像在网上买东西的搜索选商品加购物车再结账。这篇论文提出了一个 Plan and Act 框架,把规划和执行分开,规划模块下的参谋。

负责制定大方向执行模块像个干将负责具体操作为什么要分开呢分开能让 AI 更专注参谋专心想策略不用管细节干将专心做事不用操心全局而且他们还加了个动态调整功能如果中途出问题参谋会重新规划

比如你在网上买东西商品缺货了他能马上换个方案效果怎么样非常好在网页导航测试中他的成功率达到了 53.94%比之前的记录高了不少他们还用 AI 生成模拟数据来训练规划模块

既省錢又高效,未來它可以用來做智能客服自動駕駛導航之類的事。聽起來像個靠譜的生活助理。最後一篇是什麼呢?最後一篇是 Training Plug: In-plane Knowledge Modules with Deep Context Distillation。小 T 這裡的知識模塊是什麼?

知识模块简称 Cam 就像给 AI 装的知识 U 盘它是个小巧的插件能存特定文档的知识随时插到 AI 里用比如你给 AI 一本新书它就能快速学会书里的内容不用从头训练整个模型那怎么训练这个 U 盘呢?

用了一种叫深度上下文蒸馏的方法简单说就是让这个小模块模仿一个老师 AI 的行为老师 AI 能看到整本书小模块通过模仿学会书的精华他们还发现传统的猜下一个词方法不适合这种场景

帧流效果更好实验显示这种方法在问答任务中表现很出色这能用在哪里呢比如公司内部文件管理学术研究助手甚至个性化学习系统它还能和检索技术结合效率更高不过如果文档太长模块容量可能不够需要再升级太酷了像给 AI 加了个随时更新的记忆卡

今天的五篇论文真是展示了 AI 的多样创新从文本分块到内存管理再到规划和知识注入每一项都在让 AI 更聪明更贴近生活是 这些研究不仅技术含量高还能改变我们的日常好了 今天的节目就到这里感谢大家的收听欢迎在评论区留言告诉我们你的想法下期再见下期见 拜拜