Deep Dive
Shownotes Transcript
你有没有过这样的体验你跟那个聊天机器人说话感觉他越来越聪明不仅能写诗能编代码甚至你把模型参数搞得更大一点他突然之间就学会了做三位数的加减法这太神奇了就像一个孩子昨天还啥都不会今天突然开窍了很多人把这种现象叫做涌现 emergence 听着特高级对吧意思是量变引起了质变一堆东西堆在一起突然就产生了全新的预测不到的能力
这个词让很多人兴奋觉得我们离真正的通用人工智能不远了但是今天我想给你介绍一篇非常有意思的论文叫《大型语言模型与涌现一个复杂系统视角》Large Language Models and EmergenceA Complex Systems Perspective 它就像是一盆冷水但却是一盆能让你瞬间清醒的冷水它告诉我们先别急着激动我们今天在 AI 身上看到的涌现可能跟我们想象中的智能涌现
根本不是一回事什么是真正的涌现呢咱们先得搞清楚在科学里涌现到底是个啥论文里举了个特别好的例子水你想想一杯水是由无数个水分子组成的如果你想描述水的运动比如一个浪头怎么打过来你需不需要去追踪每一个水分子的位置和速度当然不需要
那会把人累死科学家发明了一套更简单更高效的语言来描述比如波浪压力流速你看从微观无数分子的混乱运动到宏观上清晰的有规律的波浪这个过程就是涌现
涌现的精髓不是说能力突然跳了一下而是系统内部形成了一种全新的更简洁更高效的组织方式它让你能用一套降维了的更简单的规则去理解和预测整个系统这就是科学家安德森那句名言更多就是不同 more is different 的真正含义当零件足够多它就不再是零件的简单叠加而会形成一个需要用全新理论来描述的新物种
好了回到 AI 当一个大模型突然学会了做数学题它内部是不是也发生了这样一种深刻的变化呢它是不是真的理解了加法这个概念形成了一套关于数学的简洁的内部模型呢这篇论文提出了一个尖锐的拷问我们
我们不知道我们只是看到了它外在表现的提升而它的脑子里到底是怎么想的可能是一团我们根本无法理解的极其复杂的蛮力计算为了说清楚这件事论文又给出了一个绝妙的区分叫知识输入型和知识输出型啥意思呢你看鸟群
成千上万只鸟每一只都遵循几条简单的规则别撞上邻居保持对形朝同一个方向飞就这么简单的规则却涌现出了极其壮观复杂同步的飞行动作这是知识输出型简单的内在规则产生了复杂的外在行为而大型语言模型恰恰相反
我们是把人类几乎所有的知识整个互联网都像填鸭一样喂给它它是知识输入型所以当它表现出某种能力时我们很难判断是它自己真的涌现出了新能力还是它只是在我们投喂的海量信息里找到了某种复杂的我们没发现的统计规律而已说到这儿这篇论文最精华最能启发我们的观点就来了它让我们必须区分两个词能力可不
Compatibility 和智能 Intelligence 一个计算器计算能力比地球上任何一个数学家都强但它有智能吗?没有它只是一个被塞满了各种计算规则的工具箱
他能做对无数道题但他永远无法从这些计算中提炼出一条简洁优美的数学公理更不可能把这个公理通过类比用到一个全新的领域这就是能力论文说这叫 more with more 用更多的资源更复杂的手段去解决更多的问题
那什么是智能呢?论文说,人类的智能恰恰相反,是 less is more,用更少的东西办更多的事。牛顿看到苹果落地,看到行星运转,最后总结出一条万有引力定律。你看,一个极其简洁优美的公式,解决了天上地下的无数现象,这种发现事物底层规律化繁为简并能举一反三的能力才是真正的智能。
智能的核心是理解是寻找那个最省力最根本的解释更有意思的是人与人之间传递这种智能效率极高我想教你一个道理不需要把我的脑神经连接给你可能只需要几句话一个比方一个故事你就懂了这个基于理解的低功耗的高效率的知识传递是目前 AI 还远远达不到的
所以这篇论文给了我们一个什么样的结论呢今天的大型语言模型毫无疑问展现出了惊人的涌现能力它们是超级工具是能力超人但我们几乎没有证据表明它们拥有了涌现智能它们更像是一个无所不能靠着巨大能耗和无比复杂的内部连接来解决问题的蛮力选手而不是一个能洞察本质追求简洁和优雅的智慧思想家这个洞察对我们普通人有什么启发呢
第一面对 AI 日新月异的发展咱们可以惊叹但不必神话分清楚能力和智能这两个概念我们就有了看待 AI 的定盘星它是一个极其强大的工具是一个全新的大陆但它不一定是那个能理解大陆的智慧生命
第二也让我们重新认识到人类智能的宝贵我们那种少即是多的思考方式那种以凡为简触类旁通建立心智模型的能力才是我们最独特的优势 AI 正在用更多给我们创造一个更强大的世界而我们人类的使命或许就是用我们的智慧用那个更少去理解好驾驭好这个新世界