AI前沿：从指令剪枝到大脑记忆、生成增强检索
09:48 Share

大家好,欢迎收听新一期的《太快道》,我是主持人小爱。大家好,我是主持人小 T,很高兴又和大家见面了。小 T,最近 AI 领域真是太热闹了,各种新论文层出不穷,看到我眼花缭乱。今天我们要聊哪些有趣的进展呢?是的,小爱最近的 AI 研究确实非常活跃,今天我们挑选了几篇非常具有代表性的论文。

涵盖了大型语言模型、大脑记忆机制以及信息检索等多个领域我们一起深入探讨一下这些前沿进展看看它们如何改变我们对 AI 的认知听起来就让人兴奋那我们先从哪个开始呢?我们先从大型语言模型开始吧最近这方面的新进展尤其引人关注

第一篇论文是关于大型语言模型的指令遵循简知,听起来就很高级。指令遵循简知,这个名字好学术能简单解释一下它是什么意思吗?当然可以,你可以把它想象成一个非常聪明的大厨,他有非常多的食材模型参数,但是每次做菜执行任务的时候,他不会把所有食材都用上,而是会根据你点的菜指令来选择最合适的食材。

这个指令遵循简直就是让大型语言模型也像这样根据不同的指令动态的选择模型中最重要的部分进行运算而不是每次都使用全部的参数哇 听起来很像按需分配这样做有什么好处呢这样做的好处可大了

首先可以大大提高模型的运行效率你想如果每次都用全部的参数那计算量肯定非常大而动态减值只用一部分参数速度就快多了而且更省资源其次这种方法还能提高模型的性能研究表明对于不同的任务选择不同的参数子集可以达到比使用全部参数更好的效果那这个指令遵循减值是怎么实现的呢这篇论文提出了一种新的方法

训练了一个小型的吸收研码预测器这个预测器会根据你输入的指令预测出哪些参数是重要的然后只激活这些重要的参数就像一个参数选择器一样而且这个预测器本身也很小不会带来太大的开销这个想法太巧妙了这就像给每个指令都定制了一个专属的参数套餐既省力又高效

而且论文还提到这种方法在数学和编程等领域表现尤其突出是的 研究人员发现这种方法在数学和编程等需要精确计算的领域性能提升尤其明显甚至可以达到和更大的模型相媲美的效果这简直是颠覆了我们对于大模型一定比小模型好的传统认知太厉害了而且这个动态减值的方式也很环保毕竟减少了很多不必要的计算

那这种技术未来会有哪些应用前景呢?这项技术未来应用前景非常广阔,特别是在资源受限的设备上,比如手机、平板、电脑等等。它可以让这些设备也能运行强大的大型语言模型,而不会太耗电和发热。而且这种方法还可以实现按任务减值,也就是说针对特定的任务模型可以学习到最佳的参数子网络。这在一些专业领域非常有用。真的太期待了。

那我们接下来聊聊第二篇论文,关于大脑的记忆机制,这个话题我也很感兴趣。好的,这篇论文从认知科学的角度探讨了见值记忆在大脑中的作用,这跟我们平时用到的电脑里的见值对数据库有点相似。见值记忆听起来有点像我们平时用字典查单词通过索引件找到对应的解释值。

你这个类比很形象,这篇论文的核心观点是,大脑的记忆系统可能也采用了类似键值的结构,也就是说我们存储的记忆不是直接存储在某个地方,而是存储在与一个键相关联的地方,这个键就像一个地址告诉我们去哪里找到这个记忆,可是大脑的记忆不像电脑一样,可以精确寻指。

这正是这篇论文的创新之处他认为大脑的键不是一个具体的物理地址而是一种特定的神经活动模式当大脑需要回忆某个记忆的时候就会激活这个键然后就能找到与之相关联的记忆内容那这个键和纸有什么区别呢这篇论文认为键的表示被优化为可区分性

也就是说不同的键之间要尽可能的不同这样才能快速准确地找到对应的记忆值得表示被优化为保真度也就是说要尽可能准确地存储记忆内容本身听起来键更像一个索引而值才是真正的记忆内容那研究人员是如何找到这些键和值的呢

这篇论文认为我们大脑中的海马体可能主要负责键的编码和检索而新皮层可能主要负责值的存储研究人员通过分析大脑的神经活动发现这两个区域的活动模式确实符合建制记忆的特征太神奇了这完全颠覆了我对大脑记忆的理解那这个建制记忆理论对我们研究 AI 有什么启发呢

这篇论文认为我们可以把 AI 模型中的线性层看作一个隐世的见值记忆系统这意味着我们可以借鉴大脑的记忆机制来设计更高效的 AI 模型而且论文还指出很多遗忘并非是记忆内容真的丢失了而是因为我们找不到正确的键去激活它这个我们解决 AI

模型的遗忘问题提供了新的思路真是脑洞大开这就像我们有时候会话到嘴边说不出一样可能是我们没找到正确的索引那接下来我们聊聊第三篇论文关于生成增强检索听起来又是一个很厉害的技术是的这篇论文提出了一种新的信息检索方法叫做生成增强检索 Gear 生成增强检索这个名字听起来像是把检索和生成结合起来了

你说的没错,传统的检索方法主要是根据关键词之间的相似度来查找信息但这种方法往往忽略了语义层面的细微差别而这篇论文提出的 GEAR 是将检索和生成两个任务结合起来

他先用一个模型找出相关的文档然后再用另一个模型从文档中生成与用户查询相关的文本这样做有什么好处呢?这样做的好处是他可以更精准地找到用户真正想要的信息而且能更好地理解用户查询的意图

传统的检索方法只告诉你哪些文档相关但 Gear 还会告诉你这个文档里面哪些部分和你的查询最相关就像一个更聪明的搜索引擎这听起来比之前的检索方法更智能了那它是怎么实现这种生成增强的呢

它的核心思路是使用一个融合编码器来融合用户查询和文档的嵌入表示然后用一个解码器来生成相关的文本这个解码器就像一个信息提取器它会从文档中提取出最关键的信息然后用自然语言表达出来这个方法真是太巧妙了那为了训练这个模型需要很多数据吧

是的,这篇论文的另一个重要贡献是他们利用大型语言模型合成了一批高质量的训练数据因为在犀利度检索任务上往往缺乏足够的数据这个数据合成过程也是这项研究成功的关键看来大型语言模型不仅可以做生成任务还可以用来辅助其他任务的数据准备那这个 Gear 方法在实际应用中表现如何呢?

研究人员在多个数据集上进行了实验结果表明 Gear 在检索和定位任务中都取得了很好的效果

尤其是对于那些需要理解细腻度语义信息的任务,效果非常显著,而且 Gear 还可以生成与查询相关的文本,帮助用户更好的理解检索结果。这对于用户来说简直是一个福音,不仅能更准确地找到想要的信息,还能更清晰地理解信息的内容。那这项技术未来会有哪些应用前景呢?

这项技术未来在搜索引擎问答系统智能客服等领域都有很大的应用潜力它可以让这些系统更好地理解用户的意图

提供更准确更个性化的服务太棒了今天我们聊了这么多 AI 前沿进展真是让我耳目一新那我们再简单聊聊剩下的两篇论文吧好的第四篇论文是关于随机 Bandit 算法的超参数迁移学习传统的 Bandit 算法需要人工微调超参数这很费时费力这篇论文提出了一种新的方法利用离线数据来学习最优的超参数然后应用到新的任务上

就可以大大提高 Bandit 算法的性能和效率听起来很实用那第五篇论文呢第五篇论文从电路的角度来理解神经网络的训练过程他认为梯度下降不仅仅是优化权重更重要的是增强有用的计算路径简直无用的计算路径

而且它还强调了课程学习的重要性先从简单的任务开始学习可以帮助模型更快地发现有效的电路感觉这篇论文像是给神经网络做了一次电路分析那今天的讨论也差不多到尾声了小 T 你有什么总结吗

好的 今天的这几篇论文虽然研究方向不同但都指向了一个共同的目标那就是如何让 AI 更加高效智能从大型语言模型的动态剪支到大脑的见值记忆机制再到信息检索的深层增强以及 Bandit 算法的超参数迁移学习我们看到了 AI 领域在各个方向上的蓬勃发展

这些研究不仅拓展了我们对 AI 的理解,也为未来的技术进步提供了新的方向。是的,今天的讨论真的让我受益匪浅。感谢小 T 的精彩解读,也感谢大家的收听,我们下期再见。下期见,拜拜。