AI前沿：上下文学习、Transformer并行化和Mamba混合
12:33 Share

听众朋友们大家好欢迎收听大年初一最新一期的太快报我是主持人小爱回来拜年了给大家拜年了我是小 T 很高兴又和大家在太快报见面了最近 AI 领域又有哪些新鲜事值得我们关注呢我看到最近发布了不少新的研究论文感觉信息量有点大

能不能帮我们普通听众梳理梳理?没问题,这期太快报我就带大家一起解码 AI 新趋势看看最近有哪些有趣又前沿的研究今天我们精选了五个方向的研究涵盖了 Transformer 模型的优化、新型状态空间模型以及脑机接口等热门领域保证让大家耳目一新听起来就很精彩那我们先从哪个方向开始呢?

咱们先聊聊最近很火的 Transformer 模型吧大家都知道像 ChatGPT 这样的大模型都离不开 Transformer 架构今天的第一篇论文就深入研究了 Transformer 的核心机制、注意力机制题目是线性注意力、上下文、学习训练、动力学

上下文学习这个词听起来挺熟悉的好像现在的大模型都很强调这个能力但是线性注意力又是什么意思呢感觉有点专业上下文学习你可以理解成模型能从你给出的例子中学习然后应用到新的问题上就像我们人类看几个例题就能学会解题方法一样而线性注意力是注意力机制的一种简化版本

可以幫助我們更容易地理解 Transformer 模型的工作原理這篇論文的作者來自倫敦大學學院他們想搞清楚這種上下輪學習的能力 Transformer 模型到底是怎麼通過訓練學到的

这问题确实很有意思。就像我们想知道魔术师是怎么变魔术的一样,他们是怎么研究的呢?他们主要研究了线性注意力的两种不同实现方式,一种可以看作是合并版,一种是分离版。合并版就像把两个工具合二为一,结构更简洁,理论研究中常用,分离版就像工具是分开的,更灵活,更接近实际应用。这两种版本的学习过程有什么不一样吗?区别可大了。

他们发现合并版的学习过程就像一步到位模型的能力突然就提升了可以用顿悟来形容而分离版的学习过程则更像循序渐进模型的能力慢慢提升就像在学习主成分回归一样先学最重要的特征再慢慢学习次要的特征主成分回归听起来又有点深奥了

你可以简单理解成模型在学习的时候会先抓住最重要的信息就像我们看一篇文章先理解中心思想再看细节一样分离版的任性注意力它就是这样一步一步地学习上下文信息的原来如此

那这个研究有什么启发呢?这个研究最大的启发就是模型的设计细节比如参数化的选择会对模型的学习方式和最终能力产生很大影响选择不同的版本模型的学习过程和擅长的能力也会不一样这提醒我们在设计 AI 模型的时候要仔细考虑各种设计选择才能更好地发挥模型的潜力

明白了,感觉就像是不同的工具有不同的用法和特点。那接下来我们聊聊第二篇论文吧。题目是 Stackformer,Time-Staggering Transformer,Decoding for Running Layers in Parallel,并行运行层的时间错开 Transformer,解码。

诶,这个题目好长,感觉和速度有关。你猜对了,这篇论文来自谷歌,主要就是为了解决 Transformer 模型推理速度慢的问题。我们知道 Transformer 模型在生成文本的时候是逐字逐句进行的,速度比较慢。这篇论文就提出了一种新的架构叫 Stackformer,它可以让 Transformer 模型解码的时候并行起来。

病情是不是就像工厂的流水线一样好几个工人在同时工作是的你可以想象一下传统的 transformer 解码就像一个工人要等他把所有工序都做完才能开始下一个字的生成而 stackformer 就像一条时间错开的流水线把模型的不同层分成几个堆栈让他们可以同时工作这样就大大提高了速度

听起来好厉害那速度能提升多少呢问完李说模拟结果显示 Stackformer 可以提升高达 33%的解码速度而且性能还和传统的 Transformer 模型差不多更厉害的是他们还提出了全重共享的版本可以减少模型对内存的需求让模型更轻量级哇这简直是给 Transformer 模型装上了加速器

那这个技术有什么应用前景呢?应用前景非常广阔,比如可以应用在需要实时对话的场景,像智能客服、语音助手等等。更快的解码速度意味着更流畅的用户体验,而且更轻量级的模型也更容易部署在手机平板、电脑等设备上。

太棒了,感觉 AI 模型的速度越来越快以后用起来就更方便了。接下来我们看看第三篇论文,题目是 Mix of MEMBA Enhancing Multimodal State,Space Models with Modality, Aware Spirality, Mixture of MEMBA,用模态感知吸收性,增强多模态状态空间模型。这个题目里出现了新的词汇,MEMBA 和状态空间模型这是什么新东西。

Mamba 是最近出现的一种新型神经网络架构它基于状态空间模型也就是 SM 你可以把 SSM 理解成一种更高效的模型它在处理长序列数据时比 Transformer 更快速更节省资源而这篇论文就想把 Mamba 模型应用到多模态领域让模型能同时处理文本图像语音等多种类型的信息多模态现在也很流行

像我们现在用的很多 AI 应用都能理解图片和文字那它们是怎么用 Mamba 模型来做多模态的呢它们的创新点在于模态感知吸收性你可以理解成它们让 Mamba 模型在处理不同类型的信息时使用不同的工具

比如处理图像信息时就用图像专用的工具处理文本信息时就用文本专用的工具这样就避免了一刀切提高了模型的效率和性能听起来有点像专业的人做专业的事是的 就是这个意思他们通过实验证明这种 mixture of mamba 模型在处理多模态任务时比传统的 mamba 模型更高效可以用更少的计算资源达到更好的效果那这个研究的意义是什么呢

意义也很重大它表明正态空间模型难保在多模态领域也很有潜力可以作为 Transformer 的一种有效替代方案而且模态感知吸收性这种方法也可以应用到其他多模态模型中

提高模型的效率和性能感觉 AI 模型越来越聪明了不仅速度快效率还高接下来我们聊聊第四篇论文吧题目是 Self-Reflecting Large Language ModelsA Hegelian Dialectical Approach 基于黑格尔辩证法的自反思大型语言模型这个题目感觉有点哲学味还提到了黑格尔辩证法这是要让 AI 模型思考人生吗哈哈倒不是

思考人生,但是确实和哲学有关。这篇论文来自微软的研究者,他们想借鉴哲学思想,提升大型语言模型的创造力。他们用的是黑格尔辩证法。黑格尔辩证法听起来好高深。你可以简单理解成一种自我对话的方法。

黑点认为一个想法的产生往往要经历正题反题和题三个阶段就像我们思考问题先提出一个观点正题然后找到这个观点的反面反题最后把两个观点综合起来得到一个新的更完善的观点和题有点像反思和批判性思维的意思

是的这篇论文就把这种辩证法应用到了大型语言模型上让模型自己跟自己对话不断地反思和批判自己的想法从而产生更新颖的想法听起来好有意思那他们是怎么实现的呢他们设计了一个自反思的框架让模型先生成一个初始想法正题然后生成这个想法的反面观点反题再把正题和反题综合起来生成一个新的想法合体

为了让模型更有创造力他们还使用了动态退火温度的方法让模型在不同的阶段用不同的思考方式动态退火温度又是什么你可以理解成模型在刚开始思考的时候比较发散鼓励天马行空的想法

就像温度比较高一样随着思考的深入模型会越来越聚焦更注重细节和逻辑就像温度慢慢降低一样感觉就像是给模型装上了一个思考引擎那这个方法效果怎么样呢他们通过实验证明用这种辩证法自反思的模型在生成新颖想法方面确实比传统的模型更出色而且他们还用了一种叫做多智能体多数投票的方法

来评估想法的新颖性和有效性听起来也很高科技真是太神奇了感觉 AI 模型越来越像人类一样会思考会反思了最后一个论文题目是 Scaling Laws for Decoding Images from Brain Activity 脑活动图像解码的缩放率这个题目听起来好科幻是要读取大脑吗

是的,这篇论文就是研究脑机接口的,来自 Meta AI 的研究者,他们想探索能不能通过分析人的脑活动来解码人脑看到的图像。这不就是电影里的读心术吗?真的能实现吗?虽然还不是真正的读心术,但是已经很接近了。他们

用了四种不同的脑成像技术包括脑电图 EG 脑磁图 MEG3T 核磁共振 FMRI 和 7T 核磁共振来记录人的脑活动然后用 AI 模型来分析这些脑活动数据试图重建人脑看到的图像

这四种脑成像技术有什么区别吗?区别可大了,EG 和 MEG 比较方便经济,但是精度比较低,容易受到噪音干扰。FMI 精度比较高,但是设备比较昂贵,操作也更复杂。7TFMRI 是更高级的 FMRI 技术,精度更高,但是成本也更高。那他们比较了这四种技术的效果吗?

是的,他们做了大量的实验,使用了 8 个公开数据集,84 名志愿者,进入了 498 小时的脑活动数据规模非常大。他们发现在训练数据量差不多的情况下更精力的脑成像设备解码效果更好,7TFMRI 效果最好,其次是 3TFMRIMEG,最后是 ECEG,这也很符合直觉精度越高效果越好。

但是他们还有一个有趣的发现就是深度学习模型在噪音比较大的设备上比如 EAG 和 MAG 上提升效果更明显这说明深度学习模型更擅长从噪音中学习到有用的信息哇 深度学习模型真是太强大了

那数据量对解码效果有什么影响呢?数据量非常重要他们发现解码性能会随着脑活动数据量的增加而对数线性增长而且没有看到性能饱和的迹象也就是说数据越多解码效果越好而且还有提升空间那是不是数据越多越好呢?也不完全是

他们还发现提升解码效果更重要的是增加每个受试者的数据量而不是增加受试者的数量也就是说对同一个人进行更多的脑活动记录比对更多的人进行少量记录效果更好

明白了感觉就像是精更细作比广撒网更有效那这个研究有什么实际意义呢实际意义非常重大它为我们指明了脑机接口技术的发展方向想要提升图像解码的性能一方面要发展更精密的脑成像技术另一方面要积累更多的数据特别是个体化的数据当然他们也强调要考虑到成本效益不能一味追求高精度设备还要考虑实际应用场景和成本嗯

成本确实很重要感觉今天聊的这五个研究都非常前沿让我对 AI 的未来发展充满了期待是的 AI 技术发展日新月异每天都有新的突破和进展拍快报也会持续关注 AI 领域的最新动态为大家带来更多有趣有料的科技资讯感谢小 T 今天的精彩分享听众朋友们如果你对今天的节目有什么想法或者建议欢迎在评论区留言互动

也欢迎大家关注太快报我们下期节目再见下期见拜拜