Deep Dive
Shownotes Transcript
今天我们来聊一个特别有意思的话题人工智能到底是怎么思考的尤其是那些能解决复杂数学题写代码的大模型他们给出的长篇大论的解题步骤哪些是真正在起作用的真知灼见哪些又只是凑字术的废话呢过去我们总觉得 AI 是个黑箱给它一个问题它吐出一个答案中间过程神秘莫测但现在科学家们正试图打开这个黑箱看看里面到底发生了什么最近就有一篇很有启发的研究标题叫做
大语言模型的推理步骤中哪些是关键?Thought AnchorsWhich LLM 就给了我们一个全新的视角这篇研究提出了一个非常形象的概念叫思想锚点 Thought Anchors 这是什么意思呢?你可以想象一下 AI 解决问题的过程就像是在进行一场漫长的航行它的思维链 Chain of Thought 就是它的航行日志记录了每一步的思考但在这长长的日志里并非每一句话都同等重要有些话就像是
就像是航行中抛下的毛它能稳住船的方向决定了接下来整个航程的走向一旦这个毛抛错了地方整艘船可能就偏离航道驶向错误的目的地这些关键的具有决定性作用的思考步骤就是思想锚点那么科学家们是怎么找到这些思想锚点的呢他们用了三把探照灯从不同角度去照射 AI 的思维过程第一把探照灯反事实推演也就是黑箱测试
这听起来很玄乎其实道理很简单就是玩一个假如没有你的游戏研究者们会揪出 AI 推理过程中的一句话然后做个实验如果当初 AI 没说这句话或者说了一句意思完全不同的话最终的答案会受到多大影响通过反复进行上百次这样的实验他们就能量化出每一句话的重要性结果发现一个很有趣的现象那些真正重要的思想锚点往往不是进行具体计算的句子
比如 6 乘以 13 等于 78 反而是那些做规划或者纠错的句子比如我应该先做第一步再做第二步或者等一下我刚才的思路好像有问题让我重新想想这就像我们自己解决问题关键的不是埋头苦算而是抬头看路想清楚方向和策略第二把探照灯注意力追踪也就是白箱分析如果说第一种方法是在外部观察结果那这种方法就是深入 AI 的大脑内部看看它的注意力究竟放在了哪里他们发现
AI 内部有一些特殊的注意力头像聚光灯一样会把注意力高度集中在过去某些特定的句子上这些被高度关注的句子就是广播战它们不断地向后续的思考过程广播信息施加影响通过追踪这些聚光灯照亮的地方就能找到那些核心的思想锚点第三把探照灯因果抑制也就是手术刀式干预这是最直接的一种方法研究者们像做外科手术一样在 AI 思考的过程中强行让它遗忘掉某些特殊的注意力头
通过抑制对这句话的注意力然后观察后面的每一句话会受到什么直接影响这种方法能清晰地画出句子与句子之间的因果联系图揭示信息是如何在思维链中流动的最妙的地方在于这三把来自不同角度的探照灯最后都照在了同一个地方它们共同证明了思想锚点的存在并且发现这些锚点大多是关于规划、反思和自我纠错的句子论文里有一个生动的案例让我们知道
让 AI 计算一个 16 进制数转换成 2 进制后有多少位 AI 一开始的思路很简单直接乘以 4 得出了错误答案 20 位但在思考过程中出现了一个关键的思想锚点句子等一下我应该通过先转换成 10 进制来交叉验证一下正是这句话让整个推理过程掉头转向最终得出了正确的答案 19 位这个转折点如果用传统的方法去评估很容易被忽略但通过思想锚点的分析方法它的关键作用就显露无遗了那么
了解这些对我们普通人有什么启发呢首先它让我们对 AI 的智能有了更具体的认识 AI 的推理过程并非天马行空不可理解它同样有章法有重点有类似于我们人类的灵光一闪和自我怀疑的时刻其次这也为我们如何更好的与 AI 协作提供了思路当我们向 AI 提问时尤其是在处理复杂问题时或许可以引导它多做一些规划和反思比如在提问时加上一句请一步一步思考并检查你的步骤这
这可能会激发他的思想锚点从而得到更可靠的答案最后这又何尝不是对我们自身思考方式的一种反思呢在我们自己的学习和工作中是不是也存在着一些关键的思想锚点那些决定我们最终成败的往往不是我们付出的重复劳动而是最初的那个规划那个核心假设或是那个敢于推翻重来的勇敢决定看清 AI 的思想锚点其实也是在帮助我们看清自己思维的脉络这或许就是这类前沿探索带给我们的超越技术本身的最大价值