AI前沿：从动力学到语言模型的AI新突破
08:10 Share

欢迎来到太快报,我是小爱。大家好,我是小 T。今天介绍的五篇论文涵盖了机器人导航、语言理解和模型推理的多个方向。每一篇都带来了让人眼前一亮的发现。咱们这就出发。我们先从机器人开始聊吧。第一篇论文讲的是机器人导航,标题是端到端训练 agent 视觉导航推理的动力学系统方法。听起来有点复杂,能不能先给我们讲讲这是在研究什么?

这篇论文其实是在研究怎么让机器人更聪明地走路想象一下你家有个扫地机器人他的知道怎么绕过沙发避开墙角还得快速找到充电桩传统的做法是把机器人的任务分成几块先用传感器看环境再画个地图然后规划路线最后控制移动但这篇研究跳出了这个老套路用了一种叫端到端的方法端到端听起来像是一气呵成是不是直接从起点到终点全包了

对 就是这个意思研究者用 AI 直接从传感器数据训练机器人让他自己学会怎么走完全不分开步骤他们在真实环境中测试了 262 次发现这种 AI 居然能偷偷学会机器人的运动规律就像我们走路时知道迈多大步不会摔倒一样这种本事是从模拟器里练出来的然后用到真实机器人身上效果还挺好成功率高达 92.5%哇

那它是怎么做到的难道机器人自己还能预测下一步你说到点子上了研究发现这种 AAA 学会了一种类似预测调整的招数打个比方就像你在雾天开车虽然看不清远处的路但能根据车速和方向猜下一步该怎么开这种方法有点像数学里的卡尔曼绿波能结合过去的经验和眼前的路况做出更靠谱的决定那它会不会记不住路比如跑了一半忘了前面是什么

好问题,研究者发现,这种 AI 的记忆里藏着场景的结构,比如哪里有墙,哪里走过,它还能做一些短期的规划,虽然不像人类那样想得很远,但至少能保证接下来几步走得顺畅。不过也有个小毛病叫隧道视野,就是有时候只顾眼前的路忽略了远处的更好选择。听起来像个急性子机器人,那

这对我们生活有什么用呢用处可大了比如送货机器人无人驾驶车甚至火星探测车都能靠这种技术在复杂环境里跑得更快更稳研究还说未来结合更强的视觉技术和大规模训练这种方法还能再进化解决隧道视野的问题接下来我们聊聊语言吧第二天冷冷教从词分布中揭示语言结构

这是在研究 AI 怎么理解句子吗?没错,这篇论文想搞清楚 AI 能不能从一大堆词里看出语言的规矩,比如我们说他很开心,和他开心,你一眼就知道哪个对哪个错,对吧?研究者用了一种很厉害的语言模型叫做预训练模型去分析词和词之间的关系,看能不能找出这些语法规则。那他是怎么找?

这种

没那么完美虽然它在很多情况下都很准但研究也发现光靠这些统计线索有些复杂的结构还是抓不到比如俚语或者特别灵活的表达模型可能会蒙所以他们得出结论这种方法很厉害但不是万能钥匙

还能跟别的办法一起用明白了就是说 AI 能从词里挖出不少秘密但还得继续努力那这对我们有什么用呢非常有用比如改进翻译软件让他更懂语法或者帮语言学家研究不同语言的规律甚至以后 AI 还能帮我们写文章语法更地道第三篇论文是关于混合专家模型持续域训练这听起来像是在给 AI 充电是怎么回事

充电这个比喻挺贴切这篇研究是关于一种叫混合专家模型的 AI 它有点像一个团队里面有很多专家每个专家管一小块知识问题是数据一直在变比如今天学英语明天可能要学德语这种模型能不能跟得上节奏不忘老本事还能学新东西那它是怎么做到的

不会是把老知识全扔了吧没有扔他们用了很聪明的办法他们测试了这种模型在 6000 亿个词上持续学习发现他对新数据的适应能力特别强关键在于他的路由器就像个指挥官能决定哪个专家去处理新任务他们还加了一些小技巧比如偶尔复习老数据或者调整学习速度让模型既不忘记老知识又能快速学会新东西那效果怎么样比传统的模型强吗

强不少实验表明这种模型在计算成本低的情况下性能几乎能追上从头训练的大模型而且它的专家分工很平衡不会有的忙死有的闲着研究还发明了一个新指标叫最大路由不平衡度专门用来检查这个平衡做的好不好

听起来很实用,那它能用到哪里呢?特别适合需要不断更新的场景,比如智能客服,实时翻译,甚至是金融分析。未来如果数据越来越多,这种模型会更省力又高效。第四篇论文有点意思,叫《语言模型尚不能自省自己的语言知识小 T》。

这是在说 AI 不会照镜子吗?对小爱这篇研究想知道 AI 能不能像人一样反省自己比如问他你觉得自己语法懂多少他能不能答得准他们测试了 21 个开源模型用两种方法一种是直接看他对语法的判断另一种是问他问题看他怎么回答自己的能力结果呢他能自我评价吗?

结果挺意外 AI 在语法任务上很厉害但问他自己的本事时答案跟实际能力不太搭比如他可能觉得自己很懂语法但其实只是瞎猜他们发现 AI 的回答跟他内部的知识不是一回事说明他并不会真正反省那就说明什么呢 AI 是不是没我们想的那么聪明

可以说他在某些方面很强但在自我认知上还差得远这提醒我们不能光看 AI 说了什么就信得用更科学的方法去测他的真实水平以后改进 AI 时可能的专门教他怎么认识自己确实挺发人深情的看来 AI 离真正向人还有段距离最后一篇是思维草图基于自适应认知启发草稿的高校 LLM 推理这听起来像是在教 AI 速写

这篇研究想解决 AI 推理太啰嗦的问题比如你问 AI 一道数学题它可能会写一堆步骤算得很慢他们受到人类草图的启发设计了一个叫思维草图的方法

让 AI 用更简洁的方式思考怎么个简洁法不会是随便猜吧不是猜他们模仿了人类的思维习惯设计了三种方式一是把概念连起来像搭积木二是用简单的符号像速记三是用专家的快捷词像行话还弄了个小助手

根据问题挑最合适的方式结果 AI 用的词少了 76%但准确率没掉甚至在数学题上还更高了那真是又快又准这能用在哪些地方呢用处可多了比如手机上的 AI 助手能更快回答问题或者在教育软件里帮学生快速解题研究还发现这种方法还能用在不同语言和图片题上非常灵活太棒了看来 AI 也能学会简笔画式的聪明

今天的太快报真是信息量满满从机器人导航到语言模型的自我反省再到高效推理每一项都让人耳目一新感谢小 T 带我们走进 AI 的太前沿也谢谢听众朋友们的陪伴我们下期再见一起继续探索 AI 的奇妙世界下期见拜拜