[论文品读]用大语言模型求解不等式证明
08:36 Share

你发现没有现在的人工智能啊就是咱们天天说的 AI 是越来越神了写诗画画写代码好像啥都会你扔给他一道数学题他刷子一下答案就出来了你心里是不是咯噔一下觉得完了这玩意儿比我还聪明

先别慌今天咱们就借着一篇最新的研究论文给你捅破这层窗户纸看看这些聪明的 AI 到底是真的学霸还是一个猜题高手这篇论文的名字很学术叫用大语言模型解决不等是证明别一听不等是证明就头大了这不重要你只要知道这玩意儿是数学里

头最硬的骨头之一是奥数竞赛级别的难题他考的呀不是你会不会算数而是你能不能一步一步有理有据的把一个结论给证明出来这就像破案你光说出谁是凶手没用你得把证据链啊一条一条摆出来让所有人都服气过去我们是怎么检验 AI 会不会算数学题的呢

两种方法一种叫做形式化验证就是逼着 AI 做一种比法律条文还严谨还晦涩的数学语言去证明这可太难了 AI 费劲人也费劲就好像非要让一个诗人用甲骨文写 14 行诗路子走窄了第二种方法就简单粗暴了对答案 AI 给个答案跟标准答案一对一样就算对问题就出在这儿

这篇论文的作者们问了一个直击灵魂的问题一个学生每次考试选择题都蒙对但他一步过程都写不出来你能说他真的懂了吗显然不能啊所以这帮研究人员就干了件特别漂亮的事他们说我们别逼 AI 了就让他用咱们人类能看懂的语言来证明就像一个学生在答题纸上写过程一样

但是我们得当一个史上最严格的乐卷老师不仅要看答案更要看过程而且是拿着放大镜一个词一个词的看为了干成这件事他们做了两件神兵利器第一件叫 Enigmas 提库这不是网上随便扒的题而是他们专门请了一帮拿过国际奥数奖牌的真学霸

精心设计了 200 道全新的超高难度的不等试题这就保证了考试的公平性 AI 没法刷过题并且必须要动真格第二件也是最绝的叫 LLM as judge 翻译过来就是让 AI 当考官他们没有找一个老师去从头到尾批改卷子而是组建了一个专家乐卷委员会

这个委员会有五个考官分工明确第一个考官是最终答案考官这位最省心只看最后答案对不对

第二个考官叫做耍小聪明考官 Toy Case Judge 这位专门抓那些投机取巧的啥意思呢就是有的 AI 为了证明一个结论对所有数都成立他就偷偷带入几个简单的数发现结论成立就说你看我证明完了这在数学上是绝对不允许的这个考官一旦发现这种行为直接判错了

第三个考官叫逻辑跳跃考官 Logical Gap Judge 这位是个侦探专门找你证明过程中的窟窿你从第一步直接跳到第三步中间最关键的第二步被你给省略了或者你说显而易见不证自明这位考官就会揪住你问怎么就显而易见怎么就不证自明了你给我解释清楚

第四个考官叫差不多先生考官 Numerical Approximation Judge 这位是精度狂魔数学证明要求绝对严谨你不能说根号 2 约等于 1.414 然后拿 1.414 去往下算在证明里约等于就是不等于你用一个模糊的数得出的结论自然就站不住脚第五个考官叫计算错误考官 Numerical Approximation

Numerical Computation Judge 这位最基础就是个计算器他检查你有没有犯像 2 加 3 等于 6 这种低级错误一步算错满盘皆输好了考试开始把当今世界上最牛的 29 个 AI 模型包括像 OpenAI 的 OE 这种专门搞推理的都拉过来考了一遍结果怎么样结果呀让人惊掉了下巴

只看最终答案很多 AI 都表现不错最牛的能答对 60%到 70%你会觉得哇 AI 真厉害

但是一旦让那个专业乐卷委员会上场对解题的每一步都进行严格审查奇迹发生了所有 AI 的真实成绩也就是答案和过程都完全正确的得分暴跌最牛的那个模型成绩从 60%多直接掉到了不到 10%平均下来成绩缩水高达 65.5%

这什么概念这说明今天的 AI 在解决这些高难度问题的时候本质上还是一个猜题高手他可能凭着自己强大的语感和海量数据的训练蒙对了方向但他的推理过程千疮百孔充满了逻辑漏洞和想当然他知道是什么但完全说不清为什么这篇论文给了我们几个特别重要的启发

第一 我们得到了一个 AI 智商验钞机过去我们总担心 AI 太聪明但又不知道它到底聪明在哪儿这套分布审查的评测方法就像一台验钞机它能清晰地分辨出 AI 是真的掌握了这些知识还是在凭感觉瞎蒙

这对于未来我们信任和使用 AI 至关重要你想想如果一个 AI 医生给你开药方你希不希望他的诊断过程是严谨可靠的而不仅仅是猜出来的第二打破了大力出奇迹的迷信研究发现单纯把模型搞得更大或者给他更多时间去算对提高这种严谨的一步不错的真实成绩帮助有限

这说明什么想让 AI 学会严谨的逻辑思维靠堆料堆算力这条路可能快走到头了我们需要想一些新的办法第三指明了未来的路

那该怎么办呢论文也做了一些探索他们发现啊如果在解题的时候给 AI 一点提示比如告诉他你可以试试用科兮不等式或者让 AI 完成证明以后自己扮演批评家的角色回头检查一遍自己的错误 AI 的真实成绩就能实实在在的提高

你看这多像我们人类学习的过程一个好学生不是脑子有多大而是他懂得使用工具或者定理而且懂得反思和自我修正所以今天聊的这篇论文它不仅仅是关于 AI 做数学题的它其实也在告诉我们评判智能的标准不应该仅仅是答案而更应该是论证

通往更高智能的道路不应该仅仅是算力更应该是思考力和反思力从只会给出是什么的答案到能够清晰的论证为什么这才是 AI 需要跨越的真正龙门而这篇论文就是为我们测量 AI 离那道龙门还有多远提供了一把精准的尺子