AI前沿：合成数据、推理语言模型与语义漂移
07:44 Share

大家好 欢迎收听新一期的太快报我是你们的老朋友小爱大家好 我是小 T 今天我们继续聊聊最近几篇 AI 的热门论文看看 AI 研究又有哪些新突破这些论文主要关注于计算与语言方面听起来就很酷语言模型可是现在 AI 领域的大明星从聊天机器人到智能助手到处都有他们的身影没错 我们先从一篇关于合成数据的论文开始说起吧

这篇论文的标题是 Synthetic Data Can Mislead Evaluations Membership Inference as Machine Text Detection 这条有点抽象能不能先解释一下什么是合成数据还有它和成员推理有什么关系

好的,简单来说,合成数据就是人工生存的数据,而不是真实世界中收集到的数据。在 AI 领域,合成数据经常被用来训练模型或者测试模型的安全性,而成员推理攻击本来是用来判断一个数据点是不是属于某个模型的训练级。我大概明白了。也就是说研究人员想看看能不能用成员推理攻击来判断一个数据是不是某个模型的训练数据。

这是,但这篇文章发现了一个很有意思的现象成员推理攻击经常把合成数据误认为是训练数据为什么会这样呢?这就好比一个人如果模仿别人的笔迹模仿得太像了反而会被认为是假的这篇论文的作者们发现 MIR 其实更像是一个机器生成文本检测器

而不是真正的成员检测器它会根据文本的流畅度或者说像人画的程度来判断而合成数据恰恰在这方面表现得太好了所以就被误判了这还真是反直觉本来以为越像真的越好结果反而是弄巧成拙了

那这篇论文有什么实际意义呢?这篇论文提醒我们在使用合成数据评估模型时要特别小心,因为它可能会引入偏差,导致我们对模型的安全性做出错误的判断。就好比你用假币去测试验钞机,结果验钞机把假币当成了真币,那这个验钞机的测试结果就不可靠了。明白了,看来合成数据也不是万能的。那我们接着聊下一篇论文吧。

好的 接下来这篇论文更有意思它讲的是如何利用大模型的微调功能来进行攻击标题是 Computing OptimizationBased PromptInjections Against Closed-Width ModelsBy Misusing a Fine-Tuning API 等等微调功能还能用来攻击这也太不可思议了吧

是,这就像是开锁匠用开锁工具去偷东西一样。现在很多大模型都提供了微调 API,让开发者可以根据自己的需求调整模型。但这篇论文发现,攻击者可以利用这个 API 返回的一些信息来诱导模型,说出他们想让他说的话,即使他们并不能直接修改模型的内部参数。这听起来太危险了。

那它们是怎么做到的呢?它们发现微调 API 会返回一个叫做损失的值这个值可以反映模型输出的质量攻击者可以利用这个损失值来一步步的优化它们的提示最终让模型按照它们的意图输出结果它们还找到了一种方法解决了微调过程中数据顺序被打乱的问题这简直就像是在给模型下套

这篇论文有什么启示呢?这篇论文揭示了一个新的安全隐患,那些为了方便开发者而设计的 API 也可能被攻击者利用。它提醒我们,在设计 AI 系统时,要仔细权衡安全性和实用性,不能为了方便而牺牲了安全。

确实安全五小时我们继续下一篇吧好的接下来这篇论文是关于优化 RAG 的标题是 RAG Reward Optimizing Rack with Reward Modeling and RHFRJ 全称是检索增强生成简单来说就是让大圆模型在回答问题时先去检索相关的知识然后再生成答案

这样可以提高回答的准确性和可靠性这就像是让模型在考试的时候可以查资料听起来很实用没错但这篇论文指出现有的评估 REG 模型的方法还不够好特别是缺乏针对 REG 的专门的评估标准于是他们提出了一个新的数据集叫做 REG Reward 专门用来评估和优化 REG 模型他们是怎么构建这个数据集的呢

他们用了 GPT-4O 来自动标注数据主要关注四个方面幻觉、全面性、简洁性和归因然后他们用这个数据集训练了一个专门针对 RAG 的奖励模型并用强化学习的方法来优化 RAG 模型这不就是用魔法打败魔法吗用一个 AI 来训练另一个 AI 可以这么说实验结果表明他们的方法确实有效比使用通用的奖励模型效果更好

这篇论文最大的贡献就是提出了 RACReward 数据集为 RAC 的研究提供了新的工具和方向太棒了接下来这篇论文厉害了标题是 Reasoning Language Models a Blueprint 它提出了一套构建推理语言模型的蓝图推理语言模型

听起来比普通的语言模型更高级是的如果说普通的语言模型像是鹦鹉学舌那么推理语言模型就更像是举一反三它不仅能生成文本还能进行更复杂的推理和问题解决这篇论文的作者们认为 RM

IOM 是 AI 领域的一大进步,可以与 ChatGPT 相提并论那这个蓝图具体是怎么设计的呢?这个蓝图非常全面,它把 RLM 的各个组成部分像推理结构策略、强化学习概念等等都整合进了一个模块化的框架里作者们还提供了一个叫做 XE 的实验平台,方便大家进行 RLM 的原型设计和实验

这有点像搭积木把不同的模块组合起来就能搭建出不同的 RLM 没错 这个蓝图的意义在于它降低了 RLM 的开发门槛让更多人能够参与到这项研究中来作者们还强调了测试时计算的重要性也就是说在模型测试的时候也可以进行一些计算来提升性能这篇论文的格局很大它不仅提出了一个技术框架

还考虑到了如何让更多人参与进来推动整个领域的发展是的这正是一篇论文的亮点所在最后一篇论文则关注词语语义的变迁标题是 Analyzing Continuous Semantic ShiftsWith Diachronic Word Similarity Matrices 词语语义的变迁听起来很有意思

我们平时说话同一个词在不同的年代可能有不同的含义没错这篇论文提出了一种新的方法来分析词语语意在多个时间段内的连续变化他们构建了一个叫做历史词语相似度矩阵的东西

通过计算同一的词在不同时间段的词向量之间的相似度来观察语意的变化这就像是给每个词语拍了一部纪录片记录下它在不同年代的样貌非常形象的比喻他们还对这个矩阵进行剧烈分析把语意变化模式相似的词语归为一类这种方法的一个好处是计算效率比较高可以处理大规模的词汇这篇论文有什么实际应用呢

今天的论文都太精彩了

从安全工坊到模型优化再到语言的变迁 AI 领域的每一个进步都让人惊叹是 AI 的发展日新月意未来还有更多惊喜等着我们去发现好的今天的太快报就到这里了感谢大家的收听我们下期再见下期见拜拜