Deep Dive
Shownotes Transcript
朋友们,你有没有想过一个问题?你手机相册里 AI 是怎么做到能把所有关于你家猫的照片瞬间找出来的呢?它怎么就能分清哈什奇跟阿拉斯加呢?这背后其实藏着一套 AI 的社交法则过去我们教 AI 认东西,方法简单粗暴就像教一个小孩认人我们拿两张猫的照片给它看说
瞧,这俩是好朋友正样本要把他们拉得近一点然后拿一张猫和一张狗的照片说这俩是陌生人也就是负样本你要把他俩推得远一点这套拉近朋友推远陌生人的打法就是 AI 学习领域一个非常厉害的招数叫做对比学习听起来是不是挺完美的靠着这招 AI 的看图识字能力突飞猛进但时间一长问题就来了
你光顾着把陌生人往外推用力过猛了会怎么样想象一下在一个派对上你为了跟你的朋友们抱团拼命的把所有不认识的人都推到墙角结果呢整个派对的布局就变得非常奇怪有些地方空的能跑马有些地方挤的不行更糟糕的是你这么一折腾可能连你的朋友站的位置都给带歪了本来想亲密无间结果中间也合出了一条缝
这就是 AI 学习遇到的一个社交难题最近一篇名为 On the Similarities of Embeddings in Contrastive Learning 的研究就专门把这个难题给掰扯得明明白白这篇研究告诉我们 AI 的学习效果不仅仅取决于朋友有多近陌生人有多远更取决于所有陌生人之间是不是保持了一个恰到好处和谐统一的距离
研究者发现一个根本性的矛盾当 AI 把陌生人推得太远低于某个临界值的时候好朋友之间想做到完美贴合就变得不可能了这就像你为了疏远别人结果损害了和朋友的亲密关系得不偿失更有意思的在后面在现实中 AI 不可能一口气
看到所有的数据就像你不可能在派对上同时关注所有人他只能一小批一小批地看我们管这个叫小批量学习这就带来了更大的问题当你只看一小撮人时你会倾向于把这几个陌生人推得特别远换一撮人你又把他们推得特别远但从
全局来看整个陌生人群体的距离就变得极度不均匀有的远的离谱有的其实还凑合这就叫方差过高研究证明你每一批看到的样本越少这种不均匀不和谐的现象就越严重这就好比你用一个哈哈镜来看世界每次看到的都扭曲了最后你对整个世界的认识自然也是扭曲的了
那怎么办呢这篇论文最精彩的地方就是提出了一个解决方案它给 AI 的社交法则里增加了一条和谐条款也就是辅助损失这个条款说你在推远陌生人的时候别光使蛮力你要尽量让他们所有人都和你保持一个差不多的安全距离就像一个完美的原型立场不要搞特殊对待别把一些人推到天边另一些人就随便放放
加上这条规则以后奇迹发生了 AI 在学习时整个内部的社交环境变得和谐稳定多了实验证明尤其是在用小批量数据学习时这个和谐条款能显著提升 AI 的最终表现让他看东西看得更准更稳
所以这篇论文给我们带来了什么启发呢它告诉我们无论是 AI 学习还是我们做人做事光有简单粗暴的原则是不够的真正的智慧在于理解系统内部的各种微妙平衡和权衡取舍也就是我们经常说的 trade off 你追求一个目标推远负样本可能在不经意间损害了另一个目标也就是拉近正样本
高手的厉害之处就在于能洞察到这种潜在的冲突并且设计出更精妙更具平衡感的规则去化解它这不仅仅是训练一个 AI 模型更是我们理解复杂世界做出更优决策的一把钥匙你看最前沿的科学最终往往能通向最朴素的智慧