Deep Dive
Shownotes Transcript
我问你个问题我们通常说儿子长得像爸爸很少会反过来说爸爸长得像儿子对吧就算意思差不多但听起来就是有点别扭再比如我们说某个小国是小瑞士但你听谁说过瑞士是大某某国吗你看
我们人类在判断像不像这件事上其实充满了各种不对称和偏见这可不是几何学里 A 到 B 点和 B 到 A 点距离一样的死板逻辑长久以来人工智能在学习世界时用的就是这种死板的几何逻辑它把万事万物都看成是空间里的一个点用距离远近来衡量相似度
这套方法很管用支撑了我们今天看到的几乎所有 AI 应用从人脸识别到语言翻译但问题也出在这儿因为它的底层逻辑和人不一样所以它常常是个黑箱它能给出答案却没法用我们能理解的方式解释为什么而且
他的这种机器思维有时候会让他犯一些我们觉得很可笑的错误怎么办呢有没有可能让 AI 换一种更像人的思维方式呢最近一篇名为 Psychological Plausible Deep Learning with Differentiable Tversky
Similitude 的论文就给我们打开了一扇全新的大门这篇论文干了一件识破天经的事它成功地把一个上世纪 70 年代的心理学理论转化成了现代 AI 可以学习和使用的工具这个心理学理论的核心思想正好就解释我们开头说的儿子像爸爸的现象
他认为我们判断两个东西像不像不是去测量什么抽象的距离而是在做特征清点这个过程分为三步首先看看它俩有哪些共同特征接下来看看 A 有哪些 B 没有的独特特征最后再看看 B 有哪些 A 没有的独特特征最后我们的大脑给这三项打个分加加全得出一个总的相似分比如爸爸的特征比如事业有成经验丰富等等比儿子多
所以当我们说儿子像爸爸时我们更关注儿子拥有了哪些爸爸的特征也就是共同特征而忽略了他缺少的那些爸爸独有的独特特征反过来说爸爸像儿子时爸爸身上那些儿子不具备的特征就显得格外突出所以我们感觉相似度就低了你看这套理论是不是特别符合我们的直觉但问题是
这种清点特征的逻辑听起来很文科充满了判断和取舍怎么交给只会算数的计算机呢
这正是这篇论文的绝妙之处他用一套精巧的数学方法把这种基于特征比较的非黑即白的集合运算变成了一个平滑的可计算的 AI 可以领悟的函数相当于为 AI 打造了一个全新的思考模块我们称之为特沃斯基层 Turbersky Layer 有了这个新模块 AI 就像被打通了人多二脉效果怎么样呢论文里做了几个实验结果非常惊人
首先是鸟类识别的实验在一个识别鸟类图片的任务上只是把传统 AN 模型的最后一层换上这个新的思考模块在冻结其他部分参数的情况下准确率相对提升了 24.7%这可不是个小数字
再说语言模型他们改造了著名的 GPT-2 模型结果呢新模型的性能不仅提升了 7.5%参数数量还减少了 34.8%这意味着什么 AI 不仅变得更聪明它还变得更精干更高效了再来看可解释性最直观的是一个手写数字识别的例子传统 AI 学出来的数字 9 的原型看起来就是一团乱麻我们根本看不懂它在想什么
而用新方法学出来的数字 9 的原型清晰地展现了人类写字时的笔画特征比如一个圈加上一个数我们第一次能看懂 AI 的内心世界了好说到这这篇论文带给我们的启发又是什么呢首先它是
他为 AI 的发展指出了一条新路过去我们总觉得提升 AI 能力就是靠大力出奇迹用更多的数据更大的模型去硬算而这篇论文告诉我们从根源上从 AI 思考问题的第一性原理上进行优化可能会带来事半功倍的效果我们不是要让 AI 拥有情感而是要让它掌握更符合我们人类认知规律的思想
其次这也是一个跨界智慧的胜利一个沉睡了几十年的心理学理论在今天最前沿的计算机科学领域大放异彩这提醒我们很多看似不相关的领域其底层的智慧是相通的当你自己的领域遇到瓶颈时
不妨抬头看看去别的学科别的思想宝库里转一转或许就能找到那把破解难题的钥匙最终一个更懂我们更能与我们沟通的 AI 才是一个更值得信赖也更能帮助我们的 AI 这篇论文无疑在这条路上迈出了坚实而又优雅的一大步