AI前沿：深度学习的奥秘与带遗忘门的注意力机制
09:34 Share

大家好,欢迎收听太快报,我是主持人小爱。本期节目将带你走进 AI 研究的太前年探索五篇最新学术论文的精华。这些论文涉及深度学习的奥秘语言模型的内部机制,注意力机制的创新模型适配的新方法,以及如何检测语言模型的胡说八道。

大家好,我是小 T,很高兴能和大家一起聊聊 AI 领域的这些新鲜事。今天的主题非常丰富,让我们先从第一篇论文聊起。第一篇论文的标题是 Deep Learning is not so mysterious or different。很多人都觉得深度学习很神秘,比如它能在图片识别语音翻译上表现得那么好,甚至超过人类的预期。

这篇论文想告诉我们什么这篇论文的目标是揭开面纱告诉大家深度学习并没有那么神秘也不像很多人想的那样完全超出了传统理论的解释作者说深度学习里一些看似奇怪的现象比如良性过拟和双下降和过参数化其实并不只是深度学习才有其他简单的模型也能做到等等这些词听起来很专业能不能用大白话解释一下

当然良性过你和就像是考试时你把课本全背下来连错别字都记住了但考试时还是能答对新题目而不是死记硬背出问题双下降呢想象你在学骑自行车开始技术很烂摔得多加了辅助轮后反而更稳但去掉辅助轮后又摔了几次最后才彻底学会错误率先降后升再降过去

就好比你用一个超级复杂的食谱去做蛋糕材料多得吓人但最后蛋糕还是好吃得很原来如此那论文是怎么解释这些现象的论文提出了一个关键概念叫软性归纳偏制意思是深度学习模型虽然能试炼各种复杂的可能性但它更倾向于挑简单的好用的答案这种偏好不是硬性限制而是通过训练过程自然形成的

比如优化算法会悄悄引导模型往简单节走这就像你在超市挑东西虽然货架上啥都有但你还是会选性价比高的那深度学习的特别之处到底在哪呢?乐文说真正特别的是它的表示学习能力简单讲就是深度学习能自己从数据里找出重要的特征比如从照片里自动学会认出猫的胡须和耳朵而不是靠人先告诉它要找什么这点比传统模型强很多

另外他还有模式连通性和通用学习的潜力能把不同的知识串起来适应各种任务听起来很厉害这篇论文有什么新贡献吗他最大的贡献是澄清误解用实验和理论证明这些现象可以用已有的工具解释比如一个叫 PAC based 的框架而不是非要发明新理论他还提醒我们别把深度学习想得太神秘

重点应该放在他的表示学习上这对未来研究方向很有指导意义明白了深度学习其实没那么高冷接下来看第二篇吧第二篇论文叫 How do language models track state 语言模型的记住对话的上下文或者故事的时间线这叫状态追踪

对吧这篇论文发现了什么对状态追踪很重要这篇论文研究了 transformer 语言模型在处理一个简单任务置换组合时的内部机制这个任务就像洗扑克牌的记住每张牌被换到哪去了结果发现模型一致学会了两种不同的方法

一种叫关联算法另一种叫其偶关联算法这两种方法有啥不一样关联算法就像一个有条理的记账员层层把信息组合起来步步为营很优雅其偶关联算法则更狡猾先用一个简单规则看排序是奇数还是偶数快速筛掉一半可能性再细细调整答案就像你找东西先看是在左边还是右边再慢慢翻为什么模型会用两种不同的方法

这两种方法哪个更好是

实验表明关联算法更稳,能处理更长的序列,像个耐力选手奇偶关联算法,因为先用了简单规则,碰到复杂情况,容易掉链子。这说明即使简单任务,模型的解法也有优劣之分。这篇论文的亮点是什么?他首次清晰地找出了这两种机制,还用显微镜也就是可解释性技术看到了模型内部的运作细节,更快速地解决了这些问题。

它证明我们可以控制模型学哪种方法,这对未来打造更聪明更可靠的语言模型很有启发。太有趣了,下一篇是什么?第三篇论文提出了遗忘 Transformer,标题是 Forgetting Transformers Solves Max Attention with a Forget Gate,这听起来像给 Transformer 加了个新功能,能讲讲吗?

没错,这篇论文给 Transformer 的注意力机制加了个遗忘门,灵感来自循环神经网络新的模型叫遗忘 Transformer,简称 FOX。遗忘门的作用是让模型在关注信息时能自己决定哪些不重要,可以忘掉,这样处理,常文本是更灵活。为啥要加遗忘门,原来的 Transformer 不够好吗?

原来 Transformer 很强,但它对所有信息一视同仁,有时会记太多无关的东西。加了遗忘门后,模型能根据数据自动筛选,比如读长篇文章时跳过不重要的背景,直接抓住重点,这就像你听课时只记老师强调的部分。Fox 表现怎么样?

很出色,它在长文本建模、超长序列预测和短文本任务上都比标准 Transformer 强,特别在找关键信息比如大海捞针测试中,Fox 比其他模型更快更准,而且它不用位置编码设计,更简单一望注意力自己就能捕捉词与词的相对位置

不過作者也說,加位置編碼能稍微再提升一點性能但不是必須的,還有什麼特別的地方?論文還搞了個 Pro 設計,融合了循環神經網絡的一些好主意,比如輸出門和皈依化。這不僅讓 Fox 更強,連標準 Transformer 也受益匪淺。這說明改進不只靠注意力機制,整體結構也很關鍵。

听起来是个大升级,下一站是第四篇。第四篇论文标题有点长,Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks,能先解释一下编码器和解码器是什么吗?简单说,编码器和解码器是 Transformer 的两个兄弟。

编码器负责理解输入比如判断一段话是积极还是消极解码器负责生成输出比如写文章或翻译这篇论文想把擅长生成的解码器模型改造成也能干编码器的活儿

为什么要这么做解码器模型比如 Gemma 预训练时学了很多语言知识如果能用在编码器任务上就不用从头训练新模型省时省力而且解码器有时比编码器更强大特别是在处理长文本时他们是怎么改的论文提出了 Gemma Encoder 从 Gemma 解码器改来的他们试了很多办法比如把单向注意力改成双向让模型能前后看还加了 Dropout

防止过拟核还测试了不同磁化方式把输出浓缩成一个结果

"池化"是什么意思?池化,就像从一堆信息里提炼精华比如你读完一篇文章要总结一句主旨可以取开头几句的平均意思或者最后几句或者用注意力挑重点论文发现简单取平均往往效果最好尤其数据少时成果如何?Gemma Encoder 在分类排序等任务上表现很棒跟专门的编码器模型不相上下甚至有时更好

这证明解码器不仅能写还能读懂潜力很大真厉害最后一篇聊什么

最后一篇是 How to steer LM latents for hallucination detection 幻觉是语言模型瞎编乱造的意思吧这篇论文怎么解决这个问题对 幻觉就是模型胡说八道比如问他历史问题他却编了个不存在的事件这篇论文提出了真值分离向量简称 TSV 是个轻量工具能在推理时调整模型的浅空间让真话和假话分开浅空间是什么

TSV 怎么工作?潜空间是模型内部的思维空间,信息在这被处理成向量,TSV 就像个小开关,用少量标注数据训练后能推开真假内容的向量距离,比如模型说地球是方的,TSV 就能看出这根真话差距大标记为幻觉。听起来很聪明,它效果好吗?

非常好他只用 32 个标注粒子就在多个数据集上达到了顶尖水平比传统方法强得多而且他计算快不用改模型本身很实用怎么做到只用这么少的数据他们用了个数学方法叫最优传输给无标签的模型输出打上尾标签再挑靠谱的训练 TSV 这就像从一堆杂乱的笔记里找出有用的部分整理成册这篇论文的创新在哪

他把潜空间操控用在了幻觉检测上还结合了高效的尾标签技术更重要的是他发现调整模型的早期层更有效之后以后提升模型可靠性指了条路太棒了今天的五篇论文都聊完了这些研究不仅让我们更懂 AI 还可能影响未来的聊天机器人翻译工具甚至自动驾驶感谢大家的收听我们下期再见下期见拜拜