AI的“书房”与“镜子”：探索智能的基石与反思
26:04 Share

大家好,欢迎收听全新一期的《人人能懂得 AI 前言》我是陈光我们今天聊到 AI 脑子里出现的画面往往是一个无所不能的超级大脑我们惊叹于它写代码、做设计、解难题的能力仿佛它的智商正在以一种不可思议的速度飙升但你有没有想过一个人的聪明才智真的只取决于他的大脑吗?今天,我们想换一个视角我们不聊 AI 的脑子有多快

我们想聊聊他身边的那些配套设施他的书房够不够好他会不会自我反思他能不能听懂言外之意以及当他能言善辩时我们又该如何判断他是真懂还是装懂没错今天我们就要当一次 AI 世界的质检员和侦探我们将一口气拆解五篇 AI 前沿论文他们就像五块拼图拼凑出了一个关于 AI 智能更真实也更深刻的图景我们将看到

AI 的智慧不仅在于计算更在于检索、反思、洞察甚至被问责这趟旅程我们将看到一个简单到令人抓狂的方法如何给 AI 建一个精品书房我们将揭秘 AI 如何学会给自己当老师实现阿哈时刻的顿悟我们甚至还会进入 AI 犯罪现场看看如何倒推出是谁对 AI 说了谎准备好了吗让我们一起揭开 AI 智慧表象之下的真实运作逻辑

先来看第一篇高手过招拼的不是脑子而是书房我们今天总感觉人工智能越来越厉害像个超级学霸什么难题都能解我们对他的期待是只要模型够大算力够强他的脑子就会越来越聪明但你想过没有再聪明的学霸是不是也需要一个好书房一个好图书馆来支持他如果咱们一直只想着怎么让学霸的脑子赚得更快却忘了给他建一个像样的资料库会怎么样过去很多人就这么干过

他们觉得要让 AI 解决那些特别烧脑的需要深度推理的问题比如大学水平的物理题竞赛级的数学题光靠 AI 自己想是不够的得给它一些参考资料这个方法听起来很对但在实践中效果却常常不尽人意甚至有时候 AI 看了给的资料反而更糊涂了这就好比你塞给一个正在解题的数学家一堆乱七八糟的报纸他不仅找不到帮助还可能被分心于是大家慢慢形成一个印象对于真正复杂的推理任务给

给 AI 喂资料这招好像不太灵但是最近有一篇论文它的题目就很有意思叫 Frustratingly Simple Retrieval Improves Challenging Reasoning-Intensive Benchmarks 翻译过来大概是一个简单到令人抓狂的检索方法竟然提升了高难度推理任务的表现你看这题目它就透着一股哎呀我们之前可能都想复杂了的味道这篇论文说问题根本不出在给 AI 看参考书这个想法上而出在咱们给它建的那个书房上

以前的书房要么太小比如只放一套维基百科知识面太窄要么就是个巨大无比杂乱无章的废品仓库把互联网上所有的好坏信息都堆在一起 AI 想在里面找点有用的东西比登天还难光是硬件成本就高得吓人那怎么办呢这篇论文的思路就跟他的题目一样简单地让人有点不好意思第一步

咱们不求多但求精建一个精品书房他们打造了一个叫 CompactDS 的数据库这个数据库里有什么呢它就像一个精心打理过的私人图书馆里面有高质量的网页内容专业的教科书学术论文还有像知乎那样的专家问答社区的精华内容最关键的是它经过了严格的筛选和过滤把那些低质量的

没用的垃圾信息都扔掉了这样一来这个书房既保证了知识的广度和多样性又足够小巧和干净一台高性能的计算机就能装下并快速使用第二步用一种聪明的两步查找法来找资料当 AI 遇到问题时它怎么在这个精品书房里快速找到答案呢?它会先用一种近似的方法快速地扫一遍把可能相关的一整个书架的书都报过来然后

再用一种更精确的方法仔细地翻阅这几本书找到最关键的那一页这个过程既保证了速度又保证了准确性结果怎么样就是这么一个精品书房加两部查找法的简单组合让 AI 在解答 MMLUGPQAMath 这些公认的高难度推理密集型测试集时表现有了显著的提升

更让人意外的是在很多测试中这个自给自足的私人书房的表现甚至超过了我们日常使用的功能强大的商业搜索引擎好主要内容讲完了这项研究对我们普通人有什么启发呢我觉得至少有两点第一基础的重要性可能远超我们的想象我们总喜欢追求各种花哨的技巧新奇的方法希望能一朝制胜但这项研究提醒我们有时候最大的瓶颈

不在于你处理信息的能力有多强而在于你输入信息的质量有多高就像一个厨师厨艺再好如果拿到的都是不新鲜的食材也很难做出顶级美味你的知识库你的信息源头决定了你成就的上限第二在信息爆炸的时代筛选和整理本身就是一种核心能力拥有整个互联网不代表你拥有了智慧

能从海量信息中筛选出高质量的内容并把它们组织成一个属于你自己的随时可以调用的精品书房这种能力在今天变得越来越重要重要的不是能接触到多少信息而是你能真正消化和利用多少高质量信息所以下一次当你再遇到一个复杂问题感觉自己脑子不够用的时候不妨停下来想一想是不是我用来解决问题的食材和参考书出了问题我的书房是不是也该好好整理一下了

有时候一个简单到令人抓狂的改变或许就能带来最大的突破接下来是第二篇 AI 的自我反思如何让机器像高手一样思考我们平时怎么判断一个人是不是真聪明是不是某个领域的高手比如下棋初学者只会走一步看一步但高手呢他会在脑子里同时盘算好几种下法然后评估哪一种胜算最大

这个在脑子里盘算评估的过程其实就是一种自我反思它不仅会做事还会评估自己做事的思路那问题来了我们能让现在越来越强大的 AI 也学会这种自我反思的真功夫吗过去想让 AI 在解决复杂问题比如高难度的数学题使表现更好一个主流的办法是人海战术就是让 AI 针对一个问题想出成百上千种解法

像写了一堆草稿然后再找另一个专门的评审 AI 来一篇一篇地看这些草稿挑出最好的那个这个方法有用但你想想成本有多高你不仅要养一个能解题的天才还得再养一个能评审天才的宗师非常昂贵有没有更巧的办法呢最近一篇名为 Test Time Scaling with Reflective Generative Model 用反思性生成模型进行推理时扩展的论文就提供了一个极具启发性的思路这篇论文的核心思想依据

一句话就能说清不另外请老师让 AI 自己学着给自己当老师它怎么做到的呢主要靠两个巧妙的设计第一把解题的笔和打分的尺合二为一研究者们没有训练两个独立的模型而是把策略模型负责解题和过程奖励模型负责评估解题步骤整合到了一个统一的架构里你可以把它想象成这个 AI 只有一个大脑但这个大脑能同时干两件事

一边在草稿纸上奋笔疾书一边在心里默默评估我这步棋走得对不对这个思路靠不靠谱这种设计的好处是显而易见的效率极高因为它让两个模型共享了绝大部分的脑细胞也就是网络参数为评审功能增加的额外计算成本非常非常小论文里说减少了 99%以上的参数这就像一个学生不是靠老师手把手教而是自己内化出了一套学习方法和评价标准实现了自我教育第二

只看结果倒推过程的自监督学习法好现在 AI 有了自我评价的能力那这个能力怎么练出来呢难道要人类专家一行一行地去标注 AI 的思考过程告诉它哪一步好哪一步坏吗那也太费劲了论文提出了一种更聪明的方法叫自监督简单说就是只看最终答案 AI 生成了一整套解题过程后得出了一个最终答案如果

如果答案对了 AI 就给自己这套思考过程打上一个高分认为这整条路大概率是正确的如果答案错了就打一个低分认为路上肯定有坑你可能会说这不严谨啊有时候瞎猫碰上死耗子过程错了答案也可能对没错研究者也考虑到了这一点所以他们设计了一个更精妙的机制用 AI 自己的初步判断来过滤掉那些明显运气好或运气差的样本让他专注于学习那些最有代表性的正确和错误思路

这种方式就像我们普通人学习一样通过一次次考试的最终成败来反思和调整自己的学习方法最终形成正确的体感有了这套自我反思的机制效果怎么样呢在测试的时候这个 AI 可以针对一个问题生成几种几十种不同的解题思路然后用它自带的评价标准去衡量哪条路最靠谱最后选择得分最高的那个思路给出最终答案结果显示

一个只有 320 亿参数的模型在一些高难度的数学和编程基准测试中表现居然能和业界顶尖的 B 元模型比如 OpenAI O3 Mini 相媲美这证明了自我反思这条路是通往更高智能的一条高效捷径更有意思的是研究者还发现了一个现象他们称之为 AHA 时刻 AHA MomentAI 在训练时并不是平稳地一点点地学会分辨好坏思路的它会在很长一段时间里表现得很困惑好像

好像分不清但到了某个时间点它会突然开窍一下子就拉开了好思路和坏思路的得分差距仿佛顿悟了一半这和我们人类的学习过程何其相似苦思冥想不得其解突然在某一刻一切都豁然开了所以这篇论文给了我们什么样的启发呢它告诉我们提升智能的关键

可能不仅仅是靠更大的模型更多的计算资源这种暴力美学更要靠精巧的机制设计让系统具备自我反思的能力可能是一种更经济也更接近生命智能本质的方式一个能够一边执行一边评估自己执行过程的系统远比一个只会埋头干活的系统要强大得多它意味着更高的效率更强的自主性这不仅对人工智能领域对

对我们个人成长、企业管理是不是都有所启发呢一个懂得复盘和反思的团队一个善于自我审视的个人才能在复杂的环境中不断迭代、持续进化最终智能的真谛或许不止在于知道更在于知道自己知道什么不知道什么这种反思的能力正是从知道迈向智慧的关键一步好,接下来看第三篇 AI 的第六感如何听懂线索背后的言外之意咱们都玩过你画我猜的游戏吧

一个人画一群人猜如果画画的人画了一只猫有人猜是狗有人猜是老虎有人猜是兔子如果你是那个负责根据这些猜测来调整画作的人你会怎么做一个最朴素的想法可能是把所有人的意见平均一下但狗老虎兔子怎么平均呢这事就难办了一个更聪明的做法是不去平均答案而是去分析每个人为什么会这么猜

猜是狗的人可能是看到了四条腿和一个尾巴猜是老虎的人可能是注意到了身上的条纹猜是兔子的人可能是看到了长耳朵你看这些猜错的答案本身其实包含了丰富的信息它们共同描绘了你这幅画的槽点在哪指明了你该如何修改才能让它更像一只猫简单粗暴地把所有反馈信息取个平均会丢失掉大量这种宝贵的关于为什么的信息在人工智能的世界里机器的学习过程也面临同样的问题

我们通常给机器一个任务它会尝试给出一个答案我们告诉它好或者不好以及往哪个方向调整会更好一点这个调整方向的信号在专业上叫做 T 度 Gradient 它就像是我们在冷了热了游戏里收到的提示告诉我们离目标是近了还是远了过去 AI 在训练时通常会一次性看一大批数据然后把从每个数据点上得到的提示

也就是梯度全部加起来取个平均用这个平均后的总提示来更新自己这样做简单、高效、也确实管用但就像我们刚才说的它也丢掉了大量信息今天咱们要聊的一篇学术论文题为 Great MetanetAn Equivariant Architecture for Learning on Gradients 就提出了一个特别有启发性的想法它说我们能不能设计一个专门的小专家让它不再满足于接收那个被平均过的摩伦两可的总提示

而是直接去分析那一整套原始的五花八门的提示呢这篇论文的核心就在于它为 AI 设计了一套处理梯度信息的新方法这套方法遵循了三个非常精彩的原则第一要看一群提示而不是一个平均的提示这就像一个高明的医生问诊他不会只问你总体感觉怎么样而是会详细了解你所有不舒服的细节是刺痛还是顿痛

是早上疼还是晚上疼是这里疼还是那里也疼所有这些细节组合起来才能让他对你的病情有一个立体的深入的判断这篇论文的方法就是这样他把一批数据产生的所有梯度都看作一个集合去分析它们之间的分布差异和关联这样做的好处是他能更好地理解当前任务的地形也就是所谓的"曲率信息"知道哪里是平坦大道可以大步快走哪里是悬崖峭壁需要小心翼翼从而找到更优的学习路径第二

要懂得一视同仁的智慧一个神经网络内部有很多神经元你可以把它们想象成一个大公司里的员工在同一个部门里把员工 A 和员工 B 的工位换一下只要他们手头的工作流程也跟着调整好整个公司的运作是不会受影响的这在神经网络里叫做对称性传统的 AI 方法可能没意识到这一点他会觉得工位 A 的员工和工位 B 的员工是两个完全不同的东西需要分开学习

而这篇论文提出的 GradMetaNet 架构天生就理解这种对称性他知道重要的是员工的角色和连接关系而不是他的具体工位编号有了这种一视同仁的智慧 AI 就能更高效地学习因为它不会在本质相同的事情上重复浪费精力第三要用聪明的方式表达信息 T 度这个东西包含的信息量非常巨大如果原封不动地去处理计算量大得惊人这就像一张超高像素的地图细节满满

但你带着它出门可能既笨重又不方便这篇论文发现对于单个数据点产生的梯度其实可以被巧妙地拆解成两个更简单的部分就像把地图上的一个位置信息拆解成精度和纬度两个数字一样用这种拆解后的更紧凑的方式来表达梯度处理起来就变得极其高效所以你看把这三点结合起来 GradMetaNet 就像一个专门为 AI 聘请的军师当 AI 在学习路上拿到一大堆线索时

这个军师会凑上来说别急着把他们搅和在一起让我先帮你分析分析他会仔细审视每一条线索看他们之间的关联对应原则一同时他还自带行业知识知道哪些变化无关紧要对应原则二并且他还有一套速记方法能把复杂的信息高效处理对应原则三最终的结果是什么呢

在论文的实验里无论是用来优化 AI 的学习过程还是用来编辑修改一个已经训练好的 AI 模型这种新方法都表现得比传统方法和其他改进方法要好得多它让 AI 的学习速度更快效果也更好这篇论文给我们的启发是什么呢它告诉我们在解决任何复杂问题时信息的结构和信息本身同样重要我们常常倾向于简化问题对收集到的数据进行平均汇总以求的一个清晰的结论

但真正的洞察往往隐藏在那些被我们平均调的噪声和变化之中数据的分布数据的内在对称性数据的有效表达方式这些才是通往更深层次理解的关键这就像我们认识一个人不能只看他的平均表现更要看他在不同情境下的反应看他行为模式中的一致性和特殊性只有这样我们才能真正地认识他所以下一次当你面对一堆

在看一堆看似杂乱无章的信息时不妨学学 GridMetaNet 的思路别急着求平均先退一步看看这堆信息整体呈现出了一个什么样的结构也许真正的宝藏就藏在这些结构里好 接下来看第四篇 AI 的犯罪现场调查我们能倒推出你对 AI 说了什么吗咱们先想象一个场景你在网上看到一张截图说某个著名的大语言模型讲了一句非常不靠谱的话

你心里会不会犯嘀咕这是真的吗是不是有人在伪造在碰瓷这个 AI 过去这事很难说清楚 AI 公司可能会说我们的模型不会说这种话但造谣的人会说你看截图伪证这就成了一笔糊涂账但今天我们有了新工具能像侦探一样对 AI 的发言进行犯罪现场调查我们今天聊的就是一篇名为《GP》

GPT 反向 GPT 精确逆向语言模型输入的论文它要解决的就是这个问题给你一句 AI 的输出我们能不能百分之百精确地找到当初是哪个输入指令才导致了这句话的产生这可不是猜谜游戏它不是要找一个差不多的提问而是要像解开一把密码锁一样找到那把独一无二的原始的钥匙

你可能会觉得这还不简单吗让 AI 自己再试一遍不就行了问题没那么简单首先一个 AI 模型的词汇库非常庞大可能有几万甚至十几万个词如果你的提问只有五个词那排列组合的数量就是词汇库规模的五次方这是一个天文数字靠暴力破解是行不通的其次 AI 的世界里存在殊途同归的现象有时候两个完全不同的问题可能会得到一模一样的答案比如你问布拉德皮特

2022 年趋势了吗 AI 可能会回答你不该这么说但另一个看似胡言乱语的输入 Or DecreeGross Civic 也可能得到完全相同的回答如果只看最终的文字输出我们就分不清哪个才是原始提问所以这项研究的核心挑战就是如何在一个巨大的充满迷惑性的搜索空间里高效且精确地找到那个唯一的正确答案

为了解决这个难题研究者们提出了一个非常巧妙的算法叫做 Soda 我们可以把这个过程想象成一个雕刻家在工作他的目标是雕刻一把能完美匹配一把锁的钥匙也就是找到那个精确的输入传统的笨办法是把所有可能的钥匙形状都试一遍而 Soda 这个聪明的雕刻家不这么干他先拿了一块金属方块这在技术上叫连续松弛这块金属包含了所有钥匙形状的可能性然后他开始一边打磨

一边把钥匙往锁里试探每次试探锁都会给它一点反馈这叫梯度告诉它这里高了点那里要再磨掉一些搜打算法还有两个绝活周期性重置如果雕刻家发现自己钻进牛角尖怎么磨都不对劲它会停下来把工具优化器状态清零换个角度重新开始这能有效避免陷入局部最优的陷阱利用更多线索如果仅仅看 AI 输出的文字信息太少了

但如果我们能拿到 AI 在生成每个词时的犹豫数据技术上叫 logits 也就是它对下一个词所有可能选项的概率排名那破案的成功率就会大大提升论文数据显示哪怕只知道 AI 最想选的那个词的概率还原成功率都会翻倍如果能知道前 100 个被选词的概率那对于简短的输入几乎可以说是手到擒来好了技术细节我们不多聊关键是这事能给我们普通人带来什么启发第一

它提供了一种 AI 问责的新工具这项技术最重要的应用就是反击针对 AI 的诽谤攻击如果有人声称某个 AI 说了不该说的话我们可以用 Soda 算法去验证如果在巨大的计算资源投入下依然找不到任何合理的输入能产生那句话那我们就有很大概率断定这份指控是伪造的这为建立一个更可信的 AI 环境提供了技术保障第二它揭示了 AI 安全的一个新维度

我们通常关心的是如何防止 AI 被带坏也就是从输入端进行防御而这项研究提醒我们对输出端进行法证分析同样重要研究发现输入指令越长越复杂就越难被逆向破解比如包含 15 个词以上的个人隐私信息目前的技术就很难还原这也反过来告诉我们对于普通用户来说使用更长更具体的指令在某种程度上也更安全第三

它让我们看到数字世界没有绝对的无痕我们总以为和 AI 的对话输出了就结束了但这项研究表明输出结果本身就携带了输入的基因只要有足够精密的工具这些痕迹就可以被追溯这让我们对信息、数据和我们留下的每一个数字足迹都应该多一份敬畏之心

总而言之 GPT 把 backwards 这项研究不仅仅是技术上的一次突破它更像是在 AI 世界里引入了法医学和侦察学的思维它让我们从一个全新的倒推的视角去理解和审视我们正在创造的这个智能世界也为我们如何与这个世界更安全更可信地相处提供了新的思路和工具好让我们开始今天的最后一篇你的队友是真懂还是装懂人工智能辩论赛里的一个发现不知道你有没有过这样的体验

跟现在的人工智能聊天你会觉得他实在是太聪明了你让他写代码他能写你让他写文案他能写甚至你跟他聊一些复杂的话题他也能跟你辩论得有来有去逻辑清晰有时候甚至让你哑口无言这时候一个问题就冒出来了他如此能言善辩是因为他真的像人一样理解了我们正在讨论的话题吗还是说他只是一个记忆高超的文字魔术师擅长组织出看起来很有说服力的句子

最近就有一篇名为 The Thin Line Between Comprehension and Persuasion in LLMs 直译过来就是大型语言模型里理解与说服之间的那条细线的论文做了一个特别巧妙的实验试图搞清楚这个问题这个实验是怎么做的呢研究人员组织了一场特殊的人机辩论赛第一步先看 AI 当辩手的表现

他们让真人参与者和 AI 就各种话题进行辩论这些话题五花八门有猫比狗好这样轻松的也有更严肃的社会议题而且 AI 辩手还分两种一种是咱们平时用的普通聊天机器人另一种是加装了一个专业辩论规则级的高手 AI 结果你猜怎么着 AI 的表现相当出色尤其是那个装了辩论规则的高手 AI 参与者普遍觉得他逻辑性强论点连贯是个非常厉害的对手

甚至有 11%的参与者在和高手 AI 辩论之后改变了自己原先坚信的立场你看 AI 的说服力确实很强接下来是整个研究里最精彩的一步一个关于揭秘的实验研究者把这些辩论的录音放给一群观众听这群观众被分成了三组 A 组完全不知道有 AI 参与 B 组被告知辩手至少有一个是 AI 但不知道具体是谁 C 组明确知道哪一方是 AI 奇妙的现象发生了在

在 A 组也就是不知情的观众里有高达 62%的人表示自己的观点在听完辩论后被动摇了而在 B 组和 C 组也就是知道或怀疑有 AI 存在的观众里这个比例骤降到了 34%左右这个发现太有启发了这意味着 AI 的说服力在匿名状态下会翻倍一旦我们知道自己面对的是一个机器我们内心里的怀疑警报就会自动拉响我们会变得更加挑剔和审慎最后也是最关键的一步

考验 AI 到底懂不懂 AI 当辩手很厉害那让他当评委呢研究者把辩论稿交给另外几款 AI 让他们像人类裁判一样去分析和评判这些辩论比如判断论证是否有利谁是赢家等等这一下 AI 露馅了他们当评委的表现和人类专家的判断相比符合度非常低 AI 评委的打分很不稳定甚至会出现自相矛盾的情况比如他给一方的论据打分很高最后却判另一方赢

这就像一个学生能把课本背得滚瓜烂熟但你让他做一张考理解能力的卷子他就考不及格了说到这里这篇论文 The Thin Line Between Comprehension and Persuasion in LLMs 的核心洞察就浮现了一个智能体即便它并不真正理解对话的深层含义也完全有可能表现的极具说服力理解和说服之间确实只有一线之隔那么这个发现对我们普通人有什么启发呢第一它让我们看清了 AI 作为工具的本质和潜力研究发现

那个加装了辩论规则的 AI 反而成了一个极好的思想陪练参与者反应和他辩论能促使自己反思和审视自己的观点进行更有深度的批判性思考还没有和人争论时的情绪对抗这给我们打开了一扇门我们可以利用 AI 来打磨自己的思想而不是被动地接受他的观点第二他提醒我们要时刻保持清醒的头脑既然说服力不等于理解力那么当我们面对一个信息员不管他看起来多么权威多么有逻辑我们都要多问一句他说

他说的有道理是因为论证真的扎实还是仅仅因为他表达得特别漂亮尤其是在这个 AI 可能无处不在的时代主动激活我们自己的批判性思维比以往任何时候都更加重要总而言之 AI 生成漂亮话术的能力正在变得越来越廉价而我们人类自己那种深入理解独立判断的能力才因此显得愈发珍贵最终那个能做出裁决的评委还得是我们自己的大脑好了五篇论文五个切面我们完成了一次对 AI 智能的深度质检

我们从他的书房聊起看到了基础信息质量的重要性我们深入他的内心见证了自我反思如何催生智慧我们赋予他第六感让他学会洞察信息的结构我们又给他戴上了手铐用犯罪现场调查来确保问责最后我们在辩论赛中看清了他说服力与理解力之间的那条细线把这五块拼图合在一起你会

你会发现我们与 AI 的关系正在迈入一个更成熟也更理性的阶段我们不再仅仅是惊叹于它能力的观众而是开始成为能够审视理解并驾驭它的伙伴与监督者而今天所有这些研究最终都指向一个共同的结论当 AI 生成漂亮话术的能力变得越来越廉价我们人类自己那种深入理解独立判断批判性思考的能力才因此显得愈发珍贵最终那个能做出裁决的评委永远是我们自己的大脑

感谢收听本期的人人能懂的 AI 前沿如果你喜欢我们的节目别忘了分享给更多的朋友我是陈光我们下期再见