Deep Dive
Shownotes Transcript
大家好欢迎来到本期的太快报我是小爱大家好我是小 T 很高兴我们又见面了我们先从第一篇论文 Multi-Token Attention 开始聊吧这篇论文好像说 AI 在读长文章时注意力机制有点近视我们能用通俗的语言解释一下吗当然
可以想象你在一本后书里找关键信息传统的 AI 就像只看一个词一个词的判断重要性比如只看苹果这个词却忽略了前后的红色的或落在地上这篇论文提出了一种新方法叫多 token 注意力相当于让 AI 同时看几个词比如红色的苹果落在地上这样他就能更好的理解上下文他们用了一种数学技巧类似给 AI 装上了广角镜
让他在看查询和键的时候不只盯着一个点而是把附近的信息也考虑进来实验结果很酷在长文章测试中比如找大海捞针这样的任务他们的办法比老方法好很多效果提升明显却几乎没增加计算量
哇,这就像是我们找东西时不只看一个抽屉,而是顺手翻翻旁边的柜子,那这种方法未来能用到哪里?比如帮我们写文章或搜索信息?对,很有这个潜力,它特别适合处理长文档聊天记录或法律合同这类需要整体理解的内容,未来它可能会让 AI 助手更聪明,能更快抓住重点,而不是东一俱行。
依据的跑偏不过目前这方法还得优化速度不然运行起来可能有点慢明白了那我们再聊第二篇 recitationover reasoning
听标题就很抓耳,他们发现 AI 在小学题上可能会死记硬背,这听起来有点讽刺。确实很讽刺这篇论文揭露了一个让人惊讶的事实,即使是顶尖的 AI 模型,像 OpenAI OE 或 DeepSeek RE 在面对小学水平的推理题时,表现并不像我们想象的那么聪明。
他们发现这些模型其实更像是在背答案而不是真正理解问题他们设计了一个叫 R-O-Bench 的测试类似于给 AI 出两道很像的题但条件稍有不同比如 3+4 等于多少改成如果今天是星期三三天后是星期几结果发现 AI 一改条件就蒙了正确率可能掉到原来的 40%更夸张的是 AI 遇到无解的问题时还会硬编答案而不是说
我不知道这听起来有点像学生考试时只会套公式却不懂变通那我们能怎么办 AI 还能进化吗好问题论文建议我们需要重新设计训练方法让 AI 少被多思他们试了些简单办法比如多给例子或用更详细的提示但效果有限这告诉我们 AI 的智慧边界还很窄未来可能需要模拟人类更灵活的思维方式比如学会承认
我不知道这也提醒我们当前很多 AI 测试可能太简单了掩盖了他们真正的局限真是个警钟那第三篇 Hawkeye 又带来了什么好消息听起来像个超级英雄的名字名字确实很吸引人这篇论文解决的是 AI 推理效率的问题你知道 AI 解题时常常会写一大堆自言自语的步骤但其实很多都是废话
他们发现只有 20%的步骤是关键 80%是多余的 Hawkeye 就像一个聪明队长他让大模型先简洁的规划步骤比如先算 A 再算 B 然后小模型再详细展开用了强化学习优化后他们的系统用原来 35%的步骤就做出了质量差不多的答案甚至更清晰连贯效率提升了三倍多成本也降了 60%这简直是团队合作的典范
就像我们分工写报告,有人定大纲,有人写细节,那这种方法能推广到其他领域吗?绝对可以,它特别适合需要精确推理的场景,比如金融分析,医学诊断,甚至自动驾驶规划。不过论文也提到准确率可能略有下降,未来需要更平衡的优化。
另外框架稍微複雜了點 部署可能有點挑戰很有啟發第四篇 When to solve, when to verify 聽起來像是 AI 在做決策前要三思那他到底在討論什麼這篇很深奧但也很實用他問了一個問題當 AI 解題時是多試幾次所謂自洽性還是少試幾次
但仔细检查所谓生成验证,直觉上大家可能觉得检查更细致会更好但论文发现在计算资源有限时多试几次反而更高效他们对比了两种方法,一种是让 AI 多生成几个答案取最常见的也就是自洽性另一种是生成几个答案后用一个评分员仔细打分,也就是生成验证结果发现前者用资源少,效果还更好
除非你有超多的计算力。" 洛伦还给出了一个黄金比例建议解题和检查的比例大概是 1.5 到 2 倍。这就像考试时是多写几个草稿还是仔细改一遍。
那对于普通用户来说这意味着什么对普通用户来说这意味着 AI 服务可能会更快更省钱尤其是在资源紧张时但如果任务超复杂可能还是需要更强的检察员未来 AI 开发可能会更注重如何聪明的分配资源而不是简单的堆计算力最后一个 token embeddings violate manifold hypothesis 听起来有点学术但一定有意思你能用简单的话解释一下吗
好的想象,AI 的词汇表示一个巨大的地图,每个词也就是 token 都有自己的位置。之前大家以为这些位置很规则,像一条平滑的路,但这篇论文发现实际情况更像是一张破洞的网,有些位置特别乱,叫起点。他们用了一种新方法,类似用显微镜检查每个词周围的环境,发现很多词的邻居并不整齐。
这可能解释为什么 AI 有时对某些词特别敏感比如银行可能指合编也可能指金融机构这几点词可能会让 AI 输出更变幻莫测这有点像我们说话时有些词特别容易让人误解那这对 AI 开发有什么启发
对这告诉开发者 AI 的词库不是完美的需要更细致的研究每个词的上下文和复杂性未来可能需要设计更灵活的模型能处理这些破洞让 AI 更稳定的理解语言这也让我们意识到 AI 的智慧还有很多未解之谜今天的内容真是让人大开眼界感谢小 T 的精彩讲解也感谢大家的收听我们下期再见下期见拜拜