AI前沿：数据、对齐、信任、解释与效率
10:29 Share

观众朋友们大家好欢迎收听新一期的太快报我是主持人小爱大家好我是主持人小 T 很高兴又和大家见面了小 T 最近 AI 领域真是太热闹了各种新研究层出不穷我感觉每天都有新概念新方法冒出来看得我眼花缭乱

是 AI 发展速度太快了不过这也说明这个领域充满了活力和潜力今天我们就来一起梳理一下近期几篇重要的 AI 论文看看有哪些值得关注的新进展太棒了我这就迫不及待想了解一下了今天我们要聊的是哪几篇论文呢今天我们选择了五篇来自不同方向的论文

他们分别关注了机器人模仿学习中的数据缩放规律多人类价值观对其大型语言模型评估的可信度神经网络解释性以及强化学习的计算效率这五篇论文代表了 AI 研究的几个重要方向并且都取得了一些很有意思的新成果听起来就很厉害那我们先从哪个开始呢咱们先从机器人领域说起吧

第一篇是关于机器人操作模仿学习中的数据缩放率的论文数据缩放率听起来好像在说数据越多越好可以这么理解但又不完全是这样这篇文章的核心就是研究在机器人操作的模仿学习中是不是也像自然语言处理和计算机视觉那样存在一个数据越多模型性能就越好的规律这个很有意思那他们研究的结果是什么呢

研究结果挺颠覆认知的他们发现单纯增加演示数据的数量对机器人操作的提升效果有限关键在于增加环境和物体的多样性多样性 这什么意思就是说与其在一个固定的场景里让机器人重复做很多次不如让它在各种不同的场景和不同的

物体上都尝试一下比如让机器人学习抓取你不要只让他抓一个杯子而是要让他在不同的桌子不同光线下抓取各种形状材质的物体我明白了就像教小孩认识世界一样不能只让他看同一张图片是的而且他们还发现当环境和物体的多样性足够时

每个环境或物体的演示次数不需要太多达到一个预值后再增加演示次数带来的提升就非常有限了这说明什么呢这说明我们不需要像以前那样为了训练一个机器人就要收集海量的重复数据更重要的是数据本身的多样性以及如何高效地收集这些数据他们还提出了一种高效的数据收集策略通过强调数据多样性

仅用一下午的时间就收集到了足以让机器人策略在两个任务上在新环境和新物体中达到约 90%成功率的数据太厉害了

那这个研究对我们有什么启发呢这个研究告诉我们数据质量比数据数量更重要在机器人学习中应该更加注重数据的多样性而不是单纯追求数据的规模这就像我们平时学习一样要多接触不同的知识才能融会贯通我懂了那我们接下来聊聊下一篇

好的 接下来我们聊聊第二篇论文关于多人类价值观对齐 调色版这个名字听起来有点抽象什么叫多人类价值观对齐现在的大型语言模型比如 ChatGPT 有时候会表现出一些不符合人类价值观的行为比如生成有害信息或者过于幽默甚至讽刺而所谓的多人类价值观对齐就是让 AI 模型同时兼顾多种人类价值观比如有用无害幽默等等

价值观调色板这个概念好形象

是的,你可以想象你有一个调色盘上面有不同的颜色代表不同的价值观,你可以根据需要调整每种颜色的比例来得到一个符合你期望的最终效果。那这个方法有什么特别之处呢?它最大的特点是它不是简单地把不同的价值观加权求和,而是使用了一种更加精细的优化方法。

保证 AI 模型在多个价值维度上都能达到最优而且它还提供了一些理论上的保证比如证明了线性组合奖励函数足以达到最优状态以及多价值对齐和顺序对齐的联系那这个方法对我们有什么启发呢?

这个研究告诉我们 AI 对齐是一个非常复杂的问题需要我们深入理解不同价值观之间的权衡关系不能简单地通过单一的奖励函数来解决那方法提供了一种更加结构化可控的方法帮助我们更好地引导 AI 模型的行为我感觉 AI 对齐确实是个难题需要不断探索

我们接下来聊聊下一篇好的 接下来我们聊聊第三篇论文关于信任或升级用 LLM 评判为人类一致性提供可证明保证这个名字听起来很像一个选择题这是什么意思这篇论文主要关注的是如何让大型语言模型来评估其他 AI 模型的表现现在很多 AI 模型的评估都是通过 LLM 来打分的但是 LLM 的评估结果真的可靠吗

这确实是一个问题如果评估者本身就存在偏差那评估结果肯定不可靠是的所以这篇论文就提出了一个叫做集联选择性评估的框架这个框架的核心思想是我们不能盲目地信任 LLM 的评估结果而是要评估 LLM 的致信度并根据致信度来决定是否接受其评估结果这个想法很棒就像我们平时做决定一样要判断自己是不是真的了解情况

是的,而且他们还提出了一种新的知性度估计方法通过模拟不同的标注者偏好来提高 LLM 评判模型的校准和失败预测能力他们还提出了一种集联评估策略先用便宜的 LLM 进行评估如果知性度不够,再升级到更强大的 LLM 这样既保证了评估的可靠性,又降低了成本

没错而且这个框架还可以提供可证明的人类一致性保证也就是能够保证 LLM 评估结果与人类的评估结果在一定程度上保持一致那这个研究对我们有什么启发呢这个研究告诉我们不能盲目相信 LLM 的评估结果要关注 LLM 的致信度并且要考虑到评估者本身可能存在的偏差同时他们也揭示为一个反直觉的观点更强大的 LLM

M 如果过度自信反而可能不如较弱的 LLM 可靠这真是太颠覆认知了那我们继续下一个吧好的接下来我们聊聊第四篇论文关于基于遗忘学习的特征归因特征归因这个听起来有点专业是什么意思呢特征归因简单来说就是解释 AI 模型为什么会做出某个决策比如一个图像分类模型把一张猫的图片识别成了狗

我们想知道它到底关注了图像的哪些部分才做出了这样的错误判断我明白了就是给 AI 模型的决策过程做一个解剖是的这篇论文提出了一个新的特征归因方法他们发现现有的方法使用一些静态的基线比如黑色图片模糊图片来计算特征的重要性会引入不必要的偏差

这怎么理解的静态基线会引入偏差你可以想象你用一张黑色的背景来对比分析一张照片这个黑色背景本身就自带无内容的假设就会让模型把注意力集中在那些跟黑色最不一样的区域

这可能会误导我们原来如此那他们是怎么解决这个问题的呢他们提出了一种新的方法叫做 Uni 它会通过一种遗忘学习的方式来寻找一个自适应的无偏的基线简单来说就是让模型忘记一些东西看看哪些特征是模型决策的关键遗忘学习这个概念好心是的这个方法的好处是它可以避免人为引入偏差

并且能够更准确更鲁棒地解释 AI 模型的决策过程那这个研究对我们有什么启发呢这个研究告诉我们现有的一些 AI 解释方法本身可能就存在问题我们应该更加深入地理解这些方法的局限性并且尝试寻找更加可靠的解释方法真是防不胜防那我们最后聊聊第五篇

好的,最后一篇论文,我们来聊聊确定性动态线性贝尔曼完备性下的计算高效强化学习。这个名字也太长了,能用通俗的语言解释一下吗?简单来说,这篇论文研究的是如何让强化学习算法更高效。强化学习就像训练一个智能体,在环境中做出最优决策,比如训练机器人走路,玩游戏等等。

我有点印象,那它们是怎么提高效率的呢?它们研究了一种叫做线性贝尔曼完备性的环境,在这种环境下,价值函数可以使用线性函数来近似。它们提出了一种新的算法,在历史数据的零空间内添加随机噪声。零空间听起来好抽象。你可以简单理解为,它们只在那些对学习没有影响的空间内添加噪声,这样既保证了算法的探索性,又避免了噪声的干扰。

他们还使用了跨度论证的方法来分析算法的性能那这个方法有什么特别之处呢?这个方法可以在保证性能的同时大幅降低计算成本而且它不像以往的算法那样对价值函数的参数做一些不切实际的假设那这个研究对我们有什么启发呢?这个研究告诉我们在强化学习中探索并非总是需要盲目地进行

可以利用问题本身的结构进行更智能的探索他们的方法也为我们提供了一种更高效更实用的强化学习算法哇今天的节目真是信息量满满感谢小 T 深入浅出的讲解让我对 AI 领域的新进展有了更清晰的认识不用客气希望今天的分享能对大家

好的,听众朋友们,今天的太快报就到这里了。感谢您的收听,我们下期再见。下期见,拜拜。