AI前沿：从并行思维到超快规划
07:36 Share

大家好 欢迎收听本期《太快报》 我是小爱大家好 我是小 T 很高兴又和大家见面了那我们从第一个研究开始吧听说语言模型也能多任务并行了这听起来像是电脑处理器的工作方式具体是怎么回事呢确实是个很形象的比喻这项研究名叫 MultiverseYour language models secretly decide how to parallelize and merge generations

传统的语言模型生成文字时就像一个人按部就班地写故事是一步接一步的顺序生成但研究者发现即使是这种顺序模型在复杂推理时思维链条中其实有超过 98%的部分是可以并行处理的

比如同时思考多个解决方案或不同角度的逻辑分支 98%吗这比例也太高了吧那为什么之前没发现或者利用起来呢好问题主要是因为这些模型自己并不知道这种并行逻辑的存在它

他們只是無意識地表現出這種特性研究者於是提出了一個叫 Multiverse 的框架簡單來說就像給模型裝上了一個任務調度器讓它學會把大任務拆成小塊,同時處理這些小塊最後再把結果整合起來這就像是讓一個廚師同時準備多道菜,而不是一道道慢慢做這個比喻很生動,那具體是怎麼實現的呢?會不會很複雜?

其实核心思想很简单分为三步第一步分解模型把任务拆成独立的小任务第二步并行处理同时解决这些小任务第三步整合把结果无损的合并技术上他们设计了特殊的控制标签比如并行开始目标设定让模型自己决定何时并行他们

他们还用了一个小规模数据集只有 1000 个样本就让模型学会了这种能力结果呢他们的 Multiverse 32B 模型不仅推理能力不输传统模型生成速度还快了近两倍速度提升两倍这对实际应用比如聊天机器人或者智能助手来说应该是很大的进步吧绝对是

想象一下未来你问一个复杂问题 AI 不仅能快速回答还能同时从多个角度分析问题答案会更全面而且这种并行思维模式可能让 AI 更接近人类大脑的思考方式未来或许还能在教育决策支持等领域发挥更大作用不过目前这个技术还在推理任务上测试较多

其他场景比如对话或代码生成的效果还有待观察确实让人期待接下来我们聊聊第二个研究听说它能让 AI 的规划速度提升百倍这听起来有点夸张能不能给我们解释一下一点

一点不夸张。这项研究叫 Fast Monte Carlo Tree Diffusion:100 Speed Up Via Parallel Sparse Planning。研究人员针对的是 AI 在复杂规划任务中的效率问题,比如机器人导航或者游戏策略规划。传统的蒙特卡洛数扩散方法虽然效果好,但速度慢得像蜗牛爬,尤其是在需要长远的规划时计算量巨大。

那他們是怎麼解決這個問題的呢?他們提出了一個叫 Fast and CTD 的框架,核心是兩招:一是並行化,讓 AI 同時探索多條規劃路徑,就像讓多個偵探同時破案,而不是一個一個來;

一百倍的速度提升,这简直是质的飞跃

那这对实际应用有什么影响呢影响非常大比如在自动驾驶中 AI 需要实时规划路径速度快了就能更安全更高效的应对突发情况在工业机器人领域快速规划也能大幅提升生产效率不过目前这个技术对计算资源要求较高尤其是在定型化时可能需要强大的硬件支持未来如何优化到普通设备上是个挑战明白了速度和资源总是需要权衡的

接下来我们聊聊第三个研究关于长文本推理的改进我经常觉得 AI 在处理长篇文章时会找不到重点这项研究是不是解决了这个问题你说逮太对了这项研究叫 Query-focused retrieval heads improvement

Long Context Reasoning and Reranking 他们发现 AI 在处理长文本时确实容易迷失在信息海洋中找不到关键点传统方法是通过一些注意力头来定位重要信息但效果有限因为识别这些注意力头的方式太机械像是只看复制粘贴的行为那他们是怎么改进的呢

他們提出了查詢聚焦解鎖頭的概念簡單來說就是讓 AI 更關注用戶提問和文本內容之間的關聯而不是機械地找重複信息他們用少量真實數據比如幾十個長篇問答樣本來訓練 AI 識別這些關鍵注意力頭

结果呢 基于这些注意力头构建的检索工具 在长文本推给任务中性能提升了超过 10% 甚至在文本排序任务中也表现出色更惊人的是 小型模型用这个方法后检索能力竟然能媲美大型模型小型模型也能有大作为 这听起来很不可思议 那这对我们普通用户意味着什么呢

意味着未来即使是用资源有限的设备,比如手机上的 AI 助手,也能高效处理长篇文章,帮你快速找到重点信息。这在教育法律文件分析等领域特别有用。不过目前研究主要针对英文文本,其他语言的效果还有待验证,而且对 AI 内部机制的理解还需要更深入。

确实是个很实用的进步最后我们聊聊第四个研究关于优化问题的学习加进化组合这听起来像是生物学和 AI 的跨界结合没错这项研究叫 Synergizing Reinforcement Learning and Genetic Algorithms for Neurocombinatory Optimization

他們針對的是組合優化問題,比如物流配送路徑規劃,這種問題往往非常複雜 AI 容易陷入局部最優,也就是找到一個還行的解就停滯不前那他們是怎麼解決這個問題的呢?他們設計了一個叫進化增強機制的框架,把強化學習和遺傳算法結合起來

强化学习擅长快速学习策略,遗传算法则像生物进化一样,通过交叉和变异探索更广的解决方案空间。两者的协同就像是聪明大脑和多样常识的结合,强化学习先给出一个不错的初始方案,遗传算法在这个基础上探索更多可能,然后把更好。

结果反馈给强化学习继续优化结果在旅行商问题车辆路径规划等任务上解的质量和训练速度都有显著提升这种结合听起来很巧妙那它未来的应用前景如何呢前景非常广阔比如在物流行业可以优化配送路线节省大量成本在城市规划中可以优化交通流量不过

目前测试主要在中等规模问题上,超大规模问题的表现还有待验证。此外,遗传算法的部分设计还需要针对具体问题调整,可能需要一定的人工耽育。看来 AI 的创新真是无处不在。今天聊的这四项研究从病情思维到超快规划,再到常文本检索和优化问题的解决,每一个都让人耳目一新。

感谢小 T 的精彩分享也感谢各位听众的收听我们下期太快报再见下期见拜拜