Deep Dive
Shownotes Transcript
不知道你有没有这种感觉现在的信息太多了让你看一份几万字的长篇报告然后回答一个藏在里面的问题你是不是感觉头都大了你得把每个字都记在脑子里反复琢磨生怕漏掉了什么关键信息你猜怎么着咱们天天说的人工智能大模型它也面临着一模一样的烦恼你给它的文章越长它要处理的信息就越多它的脑子
也就是计算资源也就转得越慢而且是几何级数的慢内存也吃不消这就成了一个巨大的瓶颈限制了 AI 处理真正复杂问题的能力
那怎么办呢过去工程师们想的办法很直接就是给 AI 搞断舍离让模型一边读一边猜嗯这段话看起来云里雾里的好像不那么重要扔掉这句话看起来好像是关键留着吧但问题来了他怎么知道什么重要什么不重要呢他又没看到故事的结局这就好比你追一步悬疑剧
才看了第一集就让你把所有你认为不重要的配角都划掉你怎么知道那个看似不起眼的扫地大爷不是最后的大 boss 呢你大概率是瞎猜一通操作下来很可能把关键线索给扔了最后得出一个莫名其妙的答案这时候一篇名为 Draft-Based Approximate Inference for LLMs 的论文就给我们带来了一个绝妙的脑洞大开的思路他说
咱们别瞎猜了既然不知道结局那我们就创造一个假的结局出来先赌为快具体怎么做呢他找来一个小弟这个小弟也是一个 AI 模型但个头小没那么强可优点是跑得飞快让这个小弟先不管三星二十一把长长的文章飞速的过一遍然后搜的一下写出一份非常粗糙的答案草稿这份草稿质量可能不高甚至有点离谱
但没关系关键是他提供了一个关于终点的线索这下就有意思了那个最聪明最强大的大哥模型现在拿到了这份小弟交上来的草稿他一看心里就有数了哦原来最终要回答的问题大概是关于这个方向的这像什么就像咱们自己写论文面对堆积如山的书籍资料
最聪明的做法不是一头扎进去从第一页读到最后一页而是先快速地列一个写作提纲这个提纲就是你的草稿有了这个草稿你再去书堆里翻找是不是就目标明确效率飞升了呢你知道哪本书是核心哪几章是重点其余的都可以大胆地一扫而过没错
这个大模型就是这么干的他拿着草稿再回去看那篇长长的原文时就跟开了天眼一样他能精准地识别出原文的第三段第七段和最后一段和我的答案草稿
关系最大于是他就可以把宝贵的计算资源集中火力用在这些最关键的信息上而把那些无关紧要的之前可能被误删的或者之前犹豫不决不敢删的都大胆的忽略掉结果是什么呢结果是这个大哥模型不仅处理速度大大加快而且因为抓住了核心最终给出的答案质量还出奇的高
你看,这篇论文给我们的启发绝不仅仅是一个技术上的小聪明它背后是一种深刻的处世智慧用一个粗糙的未来来指导一个精准的现在
我们做任何复杂的事情,是不是都可以先快速地构建一个草稿,一个粗糙的不完美的框架,无论是创业,做一个新产品,还是规划自己的人生,先别追求细节的完美,而是快速地勾勒出整体的样貌和方向,有了这个对终点的模糊认知,我们当下的每一步才会走得更坚定,更高效。
再进一步说这里面大哥和小弟的配合是不是也很有意思一个追求极致的精确但很慢一个追求极致的速度但很糙他俩一合作就实现了 1 加 1 大于 2 的神奇效果
这在我们的团队协作公司管理中不也是同样的道理吗让追求完美的设计师和追求效率的工程师在流程的不同阶段各自发挥最大的优势而不是互相彻着欧所以你看一篇顶尖的科技论文它解决的是机器的问题但它底层的逻辑和智慧往往能照进我们的现实生活用草稿撬动大模型
这不仅仅是 AI 偷懒的艺术更是我们每个人在这个复杂的世界里聪明地解决问题的艺术