AI前沿：从语言适配到智能体思维
07:42 Share

大家好,欢迎收听太快报,我是小爱。大家好,我是小 T,很高兴又见面了。那咱们就从第一个研究开始吧。这是一个关于语言模型如何适配新语言的研究。很多朋友可能不知道 AI 模型通常是用英语数据训练的,

但如果要用在其他语言上比如一些小众语言该怎么办呢能给我们简单讲讲这个挑战吗没问题想象一下语言模型就像一个英语说的特别溜的学生但现在要让他学会一种完全陌生的语言比如一种只有几万人说的方言如果直接用新语言的数据去教他

可能会把原来学的东西忘掉,甚至连怎么思考都忘了。这就是所谓的灾难性遗忘,研究发现如果在训练时加入一些英语数据,奇怪的是,新语言的基本流利度没啥变化,但模型在实际任务中的表现,比如回答问题,理解上下文,却会好很多。这听起来有点反直觉,为什么加英语数据不影响流利度,但能提升任务能力呢?

关键在于一种叫上下文学习的能力简单说就是模型能不能根据给出的例子马上学会做某件事这种能力就像是模型的学习力如果在新语言训练时不加英语数据这种学习力会迅速丢失尤其在训练初期但加入英语数据就像给模型一个缓充电让它不至于忘掉怎么学习这个研究还提出了一个新工具叫 Copime

专门用来测这种学习力非常有意思那如果不想一直依赖英语数据有没有别的办法呢有研究者提出了两种替代方案一个是课程学习就像学校里循序渐进的教学生只在训练初期加一点英语数据效果就很不错

另一个是参数平滑通过一种数学方法让模型的变化不那么剧烈也能保护他的学习能力这对资源有限的小鱼种来说是个大好消息确实很实用接下来咱们聊聊第二个研究是关于如何更精准的评估语言模型能力的

很多人可能以为模型能力就是看排行榜上的分数高低,但这好像不够全面,对吗?对,排行榜只能告诉你模型整体强不强,却没法告诉你它在具体技能上怎么样。比如一个模型可能擅长逻辑推理,但写代码时老出错,研究者提出了一个叫 Skillsworth 的框架,用一种竖状结构来分析模型的各种技能,从大类到细节都能看得很清楚。

就像是給模型做了一次全面體檢樹狀結構聽起來很有畫面感 能舉個例子嗎?當然想像一棵大樹最上面是語言能力這個大類往下分叉成寫做推理等分支再細分成寫故事 解數學題等等研究者讓另一個模型對目標模型的回答進行評分

然后把这些评分聚合成树桩图就能看出模型在每个小技能上的强弱更有意思的是他们发现有些大模型反而在小细节上不如小模型比如严格遵守次数限制这种现象叫逆向规模效应大模型还不如小模型真是没想到那这个框架有什么实际用处呢

用处可大了,比如它能帮你挑选最适合的学习例子,让模型在特定任务上表现更好,效果比传统方法提升了 25%。还能预测模型在没见过的情况下的弱点,准确率很高。这就像是提前知道学生会在哪门课上挂科,老师就能针对性辅导。这真是太有帮助了。接下来我们聊第三个研究是关于 AI 智能体如何思考的。

我听说这个研究提出了一种叫 Dynasync 的框架到底是怎么回事呢小爱想象一下你要操作电脑完成一个复杂任务比如用某个软件编辑图片你会先在脑子里模拟步骤对吧这个 Dynasync 框架就是让 AI 智能体学会这种脑内模拟它结合了规划推理和一个内部的世界模型也就是对环境的预测能力让智能体能更好地完成长任务比如操作电脑软件

听起来很高级那它具体是怎么做到的呢研究者设计了两种训练方法一种是模仿学习提炼出专家模型的有效思考过程只保留跟行动相关的部分来训练智能体避免无效的胡思乱想

另一種是動態訓練讓智能體一邊在真實環境中試錯一邊改進自己的世界模型甚至還能自我批評找出預測和現實的差距這種方法讓一個小規模的模型也能達到大模型的效果而且效率更高

用的资源少了近一半这就像是教 AI 学会聪明的思考而不是盲目的想太多接下来我们聊第四个研究关于训练模型时惩罚错误的惊人效果我一直以为奖励正确答案才是王道怎么惩罚也能这么有效呢

小爱,这确实是个很意外的发现。研究者把训练信号分成两种,奖励正确的回答和惩罚错误的回答,结果发现只用惩罚错误的回答就能让模型在数学推理任务上表现得很出色,甚至比传统方法还好。

原因在于惩罚并不是简单的打压错误,而是引导模型把注意力转向其他可能的正确答案,保持了探索的多样性。这有点像老师不直接告诉你答案,而是指出你的错误方向让你自己去摸索其他路。惩罚比奖励还好,这种思路真新奇,那有没有什么改进方法呢?有研究者提出了一个叫加权强化的方法,稍微调整奖励和惩罚的比例。

让模型既能精准又能保持多样性在多个数学测试中都取得了很好的成绩这其实我们训练 AI 时不能只盯着表扬有时候批评也很关键确实让人耳目一新最后一个研究是关于通用智能体是否需要世界模型的讨论能先解释一下什么是世界模型吗当然世界模型就像是 AI 对它所处环境的地图能预测如果做某个动作会发生什么

比如你玩游戏时会预测按某个键会让角色跳起来这就是一种简单的世界模型这个研究通过数学证明任何能在复杂任务中表现良好的 AI 智能体内部都必须有一个准确的世界模型否则它无法应对多步骤的任务

这真是太有深度了

如果 AI 能更好地理解世界,会不会有一天它们能像人类一样思考呢?或者这会不会带来一些风险,比如 AI 的预测模型出错导致不可控的行为?这是一个很值得思考的问题,一方面更好的世界模型确实能让 AI 更接近人类的思维方式,解决更复杂的问题。

另一方面如果模型对世界的理解有偏差可能会导致错误的决策这也是为什么研究 AI 安全和可解释性这么重要我们需要确保 AI 的世界观是准确且可控的同时也需要公众和专家一起讨论如何平衡能力提升和潜在风险说得太好了今天的五个研究真是让我们大开眼界从语言适配到智能体思维再到训练技巧和理论突破每一个都充满了惊喜

今天的太快报就到这里感谢小 T 的精彩讲解感谢各位听众的收听我们下期再见下期见拜拜