AI前沿：从长文本生成到无人驾驶
09:13 Share

大家好 欢迎大家收听太快报 我是小爱大家好 我是小 T 很高兴又和大家见面了那我们从第一天开始聊聊如何让 AI 在处理超长文本时既快又准标题是 Rectify Sparse Attention 听起来挺专业 但直白点说这是在解决 AI 处理长文本时的效率和质量问题 对吧

没错 想象一下 AI 在写一篇很长的文章或者回答一个复杂问题时需要记住之前所有的内容这就像我们人类一边说话一边回忆长篇大论特别耗费脑力对于大语言模型来说这种记忆是通过一个叫见之缓存的东西来实现的

但如果文本太长计算量会爆炸式增长所以研究者们想出了系数注意力这个方法简单来说就是只关注最重要的部分忽略次要的这样就能省下很多计算资源听起来很聪明但我猜这里面肯定有问题不然也不会有这篇论文了

你猜对了吸收注意力虽然快但有个大问题它是个近似计算时间异常误差会像滚雪球一样越积越大导致 AI 生成的文本质量下降比如回答跑偏或者逻辑混乱这篇论文提出了一种叫纠正吸收注意力的方法简称 RECEIVE

有点像我们在长跑时偶尔停下来调整呼吸和方向确保不跑偏

这种方法效果如何呢效果非常不错实验显示在处理超长文本比如 256 千个字符这种规模时 RESA 生成的文本质量几乎和传统的完整计算方法一样好但速度快了 2.4 倍以上而且它还能无缝接入现有的 AI 服务系统非常实用

最有趣的是研究者发现只要定期校准最近的一小部分内容就能保证整个长文本的稳定性真是四两拨千斤这确实是个聪明的解决办法那有没有什么局限性呢当然有校准虽然不多但还是会带来一些额外开销尤其在对速度要求极高的场景下可能是个小瓶颈另外怎么设置校准的频率和吸收的程度也需要根据具体任务调整算是个技术活动

不过总体来说,这个方法为 AI 处理常文本提供了一个高效又可靠的新思路接下来我们聊的这篇研究标题是 Attention Only Transformers Via Unrolled Substance Denoising 这篇论文好像在挑战我们对 AI 模型结构的传统认知

是的,这篇论文提出了一个很大胆的观点,我们常用的 Transformer 模型也就是驱动很多 AI 语言和图像处理系统的核心架构,可能包含了一些不必要的部分。传统 Transformer 模型里有一个叫多层感知机的组件,大家一直以为它是不可或缺的。

但这篇研究说其实我们可以去掉它,只用注意力机制就够了。去掉一个核心组件,这听起来有点像造车时去掉发动机能行吗?哈哈,这个比喻很有意思。不过研究者并不是随便去掉的,他们从一个理论角度重新思考了注意力机制的作用。他们认为注意力机制本质上是在去造,也就是把混乱的数据整理成更有条理的低维信息。

通过数学推导他们设计了一种叫纯注意力 Transformer 的新模型只包含注意力层和一些简单连接实验结果显示这个简化模型在图像分类和语言生成任务上的表现和传统完整模型非常接近但参数更少 效率更高那就是说 AI 模型可以更轻量更简单但效果不打折

这听起来很棒确实很棒但也有局限简化后的模型在某些任务上的表现还是略逊一筹说明传统组件也不是完全没用另外他们的理论基于一些理想化的假设真实世界的数据可能更复杂

不过这个研究最大的意义在于它让我们重新思考 AI 模型的设计原则未来可能会有更多化繁微简的创新接下来的论文标题是 High Accuracy, Less Talk, Reliable, LM, Through Capability, Aligned Finite Tuning 这篇论文关注的是 AI 的幻觉问题能给我们解释一下吗

当然,AI 的幻觉指的是模型在不了解某个问题时仍然会胡乱生成答案,而不是老是承认。我不知道,比如问一个医疗问题,AI 可能会编出一个完全错误的治疗方案,非常危险。这篇论文提出了一种叫 HOT 的方法,意思是高准确率少说话。

它的核心是训练 AI 学会识别自己的能力边界,只在有把握时回答,否则就选择沉默,或者说我不确定。这听起来很像教 AI 学会谦虚,具体怎么做到的呢?他们用了一种很巧妙的方式,先让 AI 自己生成一些初步答案,然后把答案拆成小片段,找一个更强大的 AI 来检查哪些部分是错的。

错误的片段要么删掉要么标记为不确定接着用这些处理过的答案重新训练 AI 让他学会在不确定的地方少说或不说实验结果很惊人在一些模型上回答的正确率从 51%提高到了 87%虽然回答的内容会更简短但可靠性大大提升这确实很重要尤其在医疗或法律这种不能出错的领域

不过如果 AI 总是说我不确定会不会让用户觉得它没用呢这是个好问题研究者设计了一个可调节的机制用户可以根据需要选择 AI 是更保守还是更积极的回答比如在高风险场景下可以设置 AI 优先准确性

宁可少说也不说错不足之处在于这种方法依赖一个强大的检查 AI 如果检查不准确训练效果会打折扣但总体来说教 AI 知之为知之不知为不知是提升可靠性的重要一步第四篇论文标题是 Solving inverse problems via diffusionBased priors and approximationFree ensemble sampling approach 这是在解决什么问题呢

小爱这篇论文关注的是逆问题简单来说就是从不完整或模糊的数据中还原出原本的信息比如从模糊的照片中重建清晰图像或者从低分辨率视频中提升画质传统的解决方法往往会因为数据复杂性而失准而这篇论文用了一种叫扩散模型的技术作为鲜艳知识帮助 AI 更好的猜测缺失信息听起来很厉害但具体怎么做到的呢

他们提出了一种叫 AFDPS 的方法,核心是推导出一个精确的数学方程,描述 AI 如何从初始猜测逐步接近真实结果,这个过程不依赖粗糙的近似,而是用一群粒子来模拟各种可能的解,最后挑选出最靠谱的方法。

实验显示,这种方法在图像去模糊,超分辨率等任务上的效果比现有方法更精准。那就说,未来我们修复老照片或者提升视频质量时,可以期待更好的效果了。完全正确,不过这种方法计算量比较大,因为要同时处理很多粒子,对硬件要求较高。

而且它对输入数据的假设比较严格如果数据太复杂效果可能会受限但从理论上看这是一个很优雅的解决方案未来可能在医疗影像卫星图像分析等领域有大用处最后我们聊的这篇研究标题是 PS Studio Simulation for Autonomous Driving 这是在研究无人驾驶的评估方法对吗

是的,无人驾驶的测试是个大难题,真实路测不安全且成本高,纯仿真又不够真实。这篇论文提出了一种叫伪仿真的方法,结合真实数据和预先生成的合成场景来评估无人驾驶系统。

简单来说就是先用真实路况数据测试车辆然后用 AI 生成一些假设情景比如车辆偏离路线后会怎样综合评估车辆的反应能力这听起来像是如果会怎样的脑洞大开效果怎么样呢效果非常好

实验显示这种方法和昂贵的闭环仿真结果高度相关但计算成本低了 6 倍而且他能发现传统测试中容易忽略的问题比如车辆在意外情况下的恢复能力特别有意思的是他们会根据车辆自己的规划路径重点测试最可能发生的情景而不是一刀切的测试所有情况确实很聪明但有没有什么挑战呢

有生成这些合成场景需要大量预计算对大规模测试是个挑战另外合成场景的真实感还有提升空间尤其是其他车辆的行为模拟还比较简单不过这种方法已经为无人驾驶评估提供了一个更安全更高效的新思路未来可能成为行业标准好了今天的五篇论文我们都聊完了今天的太快报就到这里

希望这些甜言研究能激发你的好奇心和思考我们下期节目再见下期见拜拜