Deep Dive
Shownotes Transcript
你有没有玩过数读或者走迷宫这些事我们人做起来有快有慢但总能找到点头绪可你知道吗现在那些号称特别聪明能写诗能画画的大模型你让他做个复杂的数读题他可能就彻底蒙了这是为什么呢难道是他不够大不够强吗最近有一篇叫 Hierarchical Reasoning Model 分层推理模型的论文就给了我们一个非常有启发性的视角他说
现在的大模型你看它参数千亿好像无所不能但它的核心架构用论文里的话说是悖论性的浅 Paradoxically shallow 这话什么意思就好比一个公司员工几万人但没有管理层所有人都挤在一个大平层里七嘴八舌处理点简单任务还行一遇到需要长期规划分布执行的复杂项目立马就乱成一锅粥现在 AI 解决复杂问题靠的是一种叫思维链 Chain of Thought 的办法
简单说就是你得把一个大问题像教小孩一样一步一步拆解成小问题然后让他顺着这个链条去想这法子有用但有两个大毛病第一他很脆弱中间一步想错了整个链条可能就断了前功尽弃第二他特别费劲需要大量的训练数据而且生成答案时啰里啰嗦速度很慢说白了这是一种外挂不是真正的内功
那真正的高手是怎么思考的比如我们人脑我们的大脑在处理复杂问题时可不是一根筋想到底的它有一个特别精妙的结构这篇论文就从中得到了灵感提出了一个全新的模型叫分层推理模型 Hierarchical Reasoning Model 简称 HRM 你可以把它想象成一个公司里最经典的两人搭档一个高瞻远瞩的 CEO 和一个雷厉风行的项目经理高层模块 H Module
这就是 CEO 他不关心具体细节只负责定战略做规划他的思考是慢的着眼于长远和大局第一层模块 L Module 这就是项目经理他负责执行 CEO 的指令处理各种具体繁琐的计算和操作他的工作节奏是快的要求迅速拿出结果这两个模块怎么合作呢 CEO 先定一个大方向比如我们先把数读的这一个九宫格填满然后项目经理就带着团队用各种方法去试快速计算
直到完成这个阶段性目标完成之后他把结果汇报给 CEOCEO 一看嗯这步走得不错然后基于这个新情况再制定下一个战略比如我们再去攻克那一列你看这个过程就叫分层收敛 Hierarchical Convergence 项目经理 L 模块在每个小阶段里快速收敛达成目标然后 CEO H 模块再进行一次更高层面的思考和收敛这样一来整个
整个系统就不会像普通 AI 那样算着算着就累了算不动了它能保持很强的计算活力进行非常深入的思考更有意思的是这个模型还引入了一个叫自适应计算时间 Adaptive Computational Time ACT 的机制这是什么呢就是这个 AI 会自己判断问题的难度遇到简单的 CEO 和项目经理开个短会就解决了遇到复杂的它就自己决定多开几次会多迭代几轮直到把问题想明白
这不就像我们人一样吗简单的算术题我们秒答复杂的证明题我们就得做下来多花点时间琢磨结果怎么样呢这个模型参数量只有 2700 万非常小用 1000 个例子训练一下就能在那些极难的数读和 30x30 的大型迷宫任务上达到近乎完美的表现而这些任务之前那些巨无霸模型是完全做不出来的正确率是 0 在一个衡量通用人工智能水平的权威测试 ARCAGI 上
它的表现也远超那些比它大得多用了更多数据的模型这事儿给了我们什么启发我觉得至少有两点第一复杂问题的解决之道往往在于精妙的结构而不在于蛮力我们总觉得模型越大越好数据越多越好这是一种大力出奇迹的思路但 Hierarchical Reasoning Model 这篇论文告诉我们一个好的协作机制一种像大脑一样有层次有分工的结构可能比单纯的规模扩张更有效第二
最好的创新往往源于对古老智慧的重新发现这个模型的设计灵感直接来自于我们人类大脑的工作方式一个存在了数万年的最精密的智能系统这提醒我们当我们在科技的道路上飞奔时不妨时常回头看看向自然学习向我们自身学习那里可能就藏着解决未来问题的钥匙所以你看一个好的想法就像在混沌中打开了一扇窗它告诉我们
通往真正智能的道路可能不是一条直线而是需要我们搭建起一个更立体更有层次的阶梯