AI前沿：从幕后算法到无人驾驶
07:45 Share

大家好,欢迎来到太快报,我是小爱今天我们将带大家走进人工智能的最新研究世界聊聊五篇新鲜出炉的学术论文大家好,我是小 T 让我们从第一篇论文开始吧第一篇论文叫《广义 KL 散度损失》

听起来有点高深这篇论文研究的是一种叫做 KL 散度损失的东西简单说损失函数就像是 AI 的评分表告诉他预测对了多少错了多少 KL 散度损失特别擅长处理概率问题比如让一个小模型去模仿大模型的预测结果这种技术叫知识蒸馏但研究者发现原来的 KL 散度有个问题

它在优化时有点偏心对某些情况处理不好容易让模型训练的不稳定于是他们提出了一个升级版叫广义 KO 散度损失简称 GKL 这个新版本通过调整评分规则让训练更公平更顺畅

还加入了类别全局信息,就像给 AI 一个全局地图,告诉它每个类别的大概情况,避免只盯着单个样本出错。就像老师逮卷子时,不仅看你这道题答得怎么样,还参考全班的平均水平。对,非常贴切的比喻。有了这个改进,GKL 在两个领域大放异彩。一个是对抗训练,让 AI 能抵抗恶意干扰。

比如有人故意给图片加点噪点想骗 AI GKL 能让模型更稳健另一个是知识蒸馏让小模型学得更好效率更高那效果怎么样有没有什么惊艳的数据有在 CIFAR-100 这个图片数据集上 GKL 让模型的抗干扰能力提高了 1.13%以上登上了 RobustBench 排行榜的顶尖位置在知识蒸馏上它也在多个数据集上表现得很出色

尤其是在 ImageDart 这种复杂场景中能更好的处理不平衡的数据厉害这让我想到以后手机上的 AI 助手会不会因为这个技术变得更聪明更不容易被忽悠完全有可能 GKL 不仅提升了 AI 的安全性还能让它在资源有限的设备上跑得更好未来在手机物联网上可能都会看到它的影子接下来是专家混合模型的内在可解释性听说

很多 AI 模型像黑箱人类看不懂他怎么想的这篇论文是怎么解决这个问题的现在的 AI 特别是语言模型像个神秘的魔法师能干活但没人知道他怎么想的这篇论文提出了一种叫 MOEX 的模型 MOE 是专家混合模型的意思简单说就是把大任务拆给多个小专家去做研究者发现如果模型的神经网络设计的更宽更稀疏

就像高速公路上车少一些反而跑得更清楚就能让 AI 的决策更透明他们在 MOEX 里加了两个巧妙设计一是让每个专家的输出更干净只关注关键信息二是设计了一种聪明导航优先挑那些能给出简单答案的专家有点像让一群专家开会但只让思路最清晰的人发言没错 这样不仅效率高还能让人看懂每个专家在干什么

在国际象棋任务中,MOEX 的预测准确率提高了 25%,还能清楚地告诉你它为什么这么下棋。在语言任务中,它的性能跟传统模型差不多,但透明度远远超过甚至比一些专门解释 AI 的工具还好。这让我很好奇,未来我们能不能用这种技术搞清楚 AI 是怎么写文章或者回答问题的。

完全可以 MOEX 给我们开了个头证明 AI 不一定要是个黑箱如果推广开也许以后医生能更放心的用 AI 诊断

程序员也能更轻松地调试 AI 代码第三篇是带压缩和误差反馈的加速分布式优化听起来像是给 AI 训练提速的秘诀当然现在的 AI 模型动不动就几十亿参数靠一台电脑训练太慢所以需要多台电脑一起干活

这就叫分布式优化但有个难题电脑之间要频繁通信数据量太大网速跟不上怎么办这篇论文提出了一个叫 ADEF 的算法核心是压缩和加速压缩就像把单文件打包成小份再传省流量加速则是用了一种叫 Nestorov 的技巧

讓每一步優化都更聰明不走彎路他們還加了個誤差反饋就像在傳文件時檢查有沒有丟包確保結果不會偏有點像快遞打包既要快又要準對 非常形象實驗證明 ADE 在 MEC 數據集上又快又穩比一些老方法節省了通信成本還保持了高效率這對未來訓練超大模型比如智能客服或者天氣預報系統特別有幫助那它有沒有什麼局限

有个小挑战是压缩太狠可能会稍微影响速度所以需要调好平衡但总体来说这是个很实用的突破尤其是在云端训练 AI 的时候能省不少钱第四篇是推进情感分析一个具有多头注意力的新型 LSTM 框架情感分析听起来

情感分析就是让 AI 读懂文字里的感情比如看评论是开心还是生气传统的 LSTM 模型擅长处理句子但对长句子或者复杂情绪有点吃力这篇论文提出了一个新模型结合了多头注意力和 TFIDF 优化多头注意力就像给 AI 多个视角能同时关注句子里不同的重点比如这款手机真不错

但电池有点差,它能分开看不错和差。TFIDF 是个老方法用来找关键词,他们优化了它,让它跟 AI 更好的融合。那效果如何?在公开数据集上,这个模型的准确率达到了 80.28%,比普通 LSTM 高了 12%,尤其是在处理模糊情绪,比如讽刺或者犹豫时表现特别好。

这对电商评论分析社交媒体监控都很有用哇以后 AI 会不会连我们开玩笑都能听出来有这个潜力如果继续改进也许 AI 还能分辨你是真生气还是假装生气克服机器人会变得更聪明最后一篇是 VMAX 是强化学习在自动驾驶中实用化自动驾驶可是个大热门这个 VMAX 是怎么让强化学习派上用场的

强化学习是让 AI 通过试错来学习比如玩游戏练到高手水平但在自动驾驶上它一直很难用因为需要大量试错现实中不可能让车撞来撞去这篇论文推出了 VMAX 一个开源工具基于高速仿真器 VMAX

让 AI 能在虚拟世界里安全练习 VMAX 提供了一整套工具怎么观察路况怎么评分怎么训练还能用多个真实数据集模拟不同场景他们训练了一个 AI 司机在测试中完成了 97.4%的场景比一些传统方法还强紧的话听起来像是给无人车开了个虚拟驾校

太对了,这个驾校还能测试 AI 的抗压能力,比如遇到乱跑的行人怎么办?VMAX 还开源了代码,让更多人可以一起研究加速无人驾驶的进步。那未来我们是不是能更快坐上无人车了?很有希望,VMAX 降低了研究门槛,未来几年我们可能会看到更聪明、更安全的无人驾驶技术走上街头。今天的五篇论文真是精彩奔程。

从幕后算法到无人驾驶每一项都让人眼前一亮感谢小 T 的精彩解读也谢谢大家的收听我们下期再见下期见拜拜