[论文品读]扩散二象性
08:25 Share

咱们现在这个人工智能时代大家都对 AI 充满了期待我们希望 AI 像个大文豪给我们写文章写诗写代码对吧可这里头有个老大难的问题现在主流的 AI 写作方式主要有两派第一派咱们叫他单线程作家

就像我们写字一样一个字一个字往外蹦这种方式写出来的东西逻辑严谨前后连贯质量也不错但它有个致命的缺点就是太慢了而且一旦写错了想改对不起跟咱们写毛笔字似的一笔下去改不了只能整段作废重来这就是所谓的自回归模型

而第二派呢叫完形填空大师他更聪明一点先把文章的架子搭好留一堆空格然后一口气把所有空格都填上这种方式速度快但也有个毛病就是有点轴一旦填上一个词就不能再改了这就像一个急性子的画家刷刷几笔画完了发现有个地方颜色不对他也懒得调和就这么着了这就叫研码扩散模型

那这时候就有人想了有没有一种 AI 能两全其美呢于是第三派选手就登场了咱们可以叫他混沌派画家简称 USDM 他的创作方式非常神奇先在画布上胡乱的涂满一片噪点啥也看不清一片混沌

然后呢他一步一步的把这些噪点抹去让清晰的图像或者通顺的文字慢慢的浮现出来你瞧这种方式的潜力多大呀因为他在任何一步都可以修改任何一个字就像是用铅笔画画随时可以擦掉重来不断的自我纠正自我完善这不就是我们想要的既快又好还能改的理想模型吗

但是啊 理想很丰满 现实很孤感长期以来 这位混沌派画家呀一直没能打败前面那两位大家觉得他虽然理论上很牛但实际上很难训练效果也不如人意这就像是个有天赋但是没摸着门道的野路子选手难道这位混沌派画家就真的不行了吗今天咱们要聊的这篇论文啊就给出了一个颠覆性的答案

这几位作者就像是武侠小说里打通了主角任督二脉的绝世高人他们发现了一个惊天大秘密这个秘密就叫扩散二象性 The Diffusion Duality

啥意思呢他们发现啊这位混沌派画家在创作的时候表面看是在处理一堆离散的非黑即白的文字比方说像你呀我呀他呀这些独立的文字一片混乱但实际上在他的底层有一股非常平滑非常连续非常有规律的暗流在驱动着他

这股暗流就是另一套非常成熟被研究的非常透彻的五共密集叫做高斯扩散 Gossing diffusion 这就好比我们看到水面结成了一块又一块奇形怪状的冰这是离散的确定的但冰是怎么形成的呢是因为水在连续不断的降温这是一个连续的平滑的过程

这篇论文的作者们就找到了连接这两个世界的桥梁一个叫 ArgMax 的操作你也不用管这词是啥意思你就把它想成是一个点石成金的魔法它能瞬间把那股平滑的暗流变成一个个确定的文字就像水在某个临界点瞬间结成冰一样这个发现一下子就把整个局面打开了

你可能会问你说了半天发现了这个二象性对我们普通人有啥用呢那用处可太大了这相当于我们给那位有天赋的野路子选手找到了正宗的内功心法这篇论文用这个发现干了两件大事直接让这位混沌派画家脱胎换骨了第一件大事就是让训练速度翻倍

以前我们训练这位画家就像教一个熊孩子画画直接把最难的蒙娜丽莎扔给他他当然画不好现在知道了他体内有股平滑的暗流我们就可以因势力导论文里提出了一种叫课程学习的训练方法啥意思呢就是我们不是一开始就让他画那么清楚而是先让他感受那股暗流

从最简单模糊的轮廓开始学这对他来说就容易多了等他慢慢上手了再逐渐让他画得越来越清晰你看这不就是一个聪明的老师在寻寻善诱吗结果就是训练效率直接翻倍原来要练一年才能出师现在半年就够了而且基本功还更扎实了第二件大事是让生成速度提高了 100 倍

这第二个用处可就更惊人了我们知道这位混沌派画家虽然能改稿但他有个毛病就是太磨叽了他要把一篇文章改上千遍才能最终定稿这谁受得了呀现在利用二象性这个秘密作者们发明了一种叫离散一致性征流的技术这个词听着也挺唬人但说白了就是给 AI 请了一个速成班老师

这个老师傅实际上是一个已经训练好的大模型他已经完全掌握了从一片混沌的噪点到一篇完美文章的最短路径不再需要一步一步改上千次而是能大跨步的前进然后他就把这个独门绝技如何用最少的步数走完最短的路传授给了学生模型

结果呢学生模型学成之后原来需要 1024 步才能写完一篇文章现在只需要 8 步速度提升了两个数量级也就是 128 倍同时啊文章的质量还几乎没下降你看这篇论文干了什么他没有去堆更多的机器用更多的数据而是另辟蹊径从一个更根本的层面去思考问题

它揭示了两种看似不同的技术路线也就是离散和连续它们之间深刻的内在联系这给了我们一个巨大的启发真正的突破往往来自于视角的转换

当我们觉得一件事混乱无序难以驾驭的时候不妨换个角度想一想在它底层是否隐藏着某种我们尚未发现的更简单更连续的规律就像这篇论文一样

一旦你找到了那个连接不同世界的桥梁那个点石成金的魔法你就能把一个领域的成熟经验和强大工具应用到另一个看似不相关的领域而产生惊人的效果

对我们普通人来说这意味着什么呢这意味着那个能快速流畅的与我们对话能随时领会我们的意图修改他的创作同时又充满创造力的 AI 助手离我们又近了一大步

所以啊下次当你再遇到复杂难题的时候不妨也学学这篇论文的思路跳出问题本身去寻找它背后那个更本质更底层的逻辑说不定啊那个能让你豁然开朗的二象性也正在那儿等着你呢