AI前沿：从强化学习到视觉趋势探索
09:16 Share

欢迎收听太快报我是小爱大家好我是小 T 很高兴我们又见面了今天的第一篇论文叫 Rethinking the Foundations for Continual Reinforcement Learning 听起来有点学术但感觉很有量能不能先给我们讲讲什么是持续强化学习

简单来说强化学习就像教 AI 玩游戏通过失措学会怎么得分比如 CASTA 为其赢了有奖励输了就调整策略但传统强化学习有个问题它假设环境是固定的像游戏规则永远不变可现实世界不是这样环境随时在变比如自动驾驶的适应不同的天气路况这就需要持续强化学习让 AI 能一直学下去随时调整听起来像让 AI 变成一个终身学习者那

这篇论文说了什么新东西他其实是大胆的掀桌子作者说传统强化学习的理论基础不太适合持续学习他们指出了四个问题第一传统方法用马尔可夫决策过程来建模假设 AI 每次决策只看当前状态

但现实中历史也很重要,比如你开车时的记住前几秒的路况第二,他们觉得追求最优策略不现实,因为环境变来变去,哪有什么永远的最优第三,常用累积奖励来评估 AI,但这忽略了 AI 的适应能力最后那些固定的测试场景也不适合持续学习的动态需求哇,这不就是在说过去的理论,有点跟不上时代了

对作者提出了新思路比如用任意历史过程代替老模型考虑更多历史信息把目标从最优改成适应让 AI 根据经验灵活应对还建议用后见之明理性来评估 AI 看它在实际经历的环境里表现如何而不是跟某个理论上的完美答案比后见之明理性听起来挺新鲜像不像我们事后复盘的感觉

差不多他就像是问如果 AI 知道会发生什么他能多好的应对这样能更好评估 AI 的灵活性不过这方法也有争议比如怎么量化后见之明作者也承认这只是个起点还需要更多研究那这对我们普通人有什么影响

比如未来的机器人会更聪明吗?绝对会!如果这些新理论落地机器人自动驾驶甚至智能助手都能更自然地适应复杂环境想象一下你的家用机器人不仅会扫地还能根据你家每天的变化调整行为比如避开小孩的玩具这会让 AI 更像伙伴而不是死板的工具听起来很酷不过挑战传统理论是不是有点冒险?

确实冒险但科学进步就是这样作者的贡献在于他们敢问为什么逼我们重新思考 AI 学习的本质当然他们的新框架还不够成熟没给具体算法也没新的测试环境未来的看怎么落地好

接下来是 strong model collapse 这个模型崩溃听起来有点吓人像是 AI 当机了到底是怎么回事不是当机但确实是个大问题想象一下你在教 AI 识别猫狗照片如果训练数据里混了些 AI 自己生成的假照片这些照片可能有点失真 AI 学着学着就跑偏了性能不升反降这就是模型崩溃这篇论文发现哪怕只有千分之一的假数据也能让 AI 的进步停滞

千分之一这么少也能搞砸对 特别多论文用数学证明了即使数据量再大假数据都会拖后腿他们还研究了模型大小的影响发现大模型一开始可能更糟因为他们对假数据的过拟和更严重不过超过某个点后大模型又可能稍微缓解问题但也救不了全局这让我想到网上那些 AI 生成的图片有时候看着挺真但细看总有点怪这对 AI 发展会有什么影响

影响可大了,现在很多 AI 靠海量数据训练里面难免混杂,AI 生成的内容,比如网上盘的数据,如果不小心模型崩溃可能让 AI 越学越笨,论文还试了混真假数据的办法,发现效果不理想,解决这问题需要更聪明的方法,比如严格筛选数据,或者设计对假数据不敏感的算法。那有没有现实例子,比如我们用的 AI 会不会已经崩溃了?

论文提到用语言模型 GPT-2 做实验发现加了假数据后模型的进步明显变慢现实中像聊天机器人翻译工具如果训练数据没管好可能也会受到影响不过别慌研究者已经在想办法比如强调用高质量的真数据或者开发检测假数据的技术看来以后得给 AI 验明证身才行

这研究是不是在提醒我们,数据质量比数量更重要。完全正确论文的亮点就是敲响了警钟,AI 再强也得吃好粮食。未来保护真实数据可能跟保护环境一样重要。下一站,CEO's Steerable Reasoning,Calibration of Large Language Models for Free。这个标题有点长,但校准推理,听起来很高级,这是在干嘛?

简单说这是在帮语言模型少走弯路你知道像 Chad GPT 这样的模型回答复杂问题时会一步步推理叫恋事思维但有时候他想的太多绕来绕去反而答错了这篇论文就想让模型更高效直奔正确答案

像我们在考试时脑子转太多反而选错答案对他们把模型的推理分成三种执行直接当活比如算术反思检查自己对不对过度扯歇无关的发现反思和过度太多答案往往错他们还发现这三种思维在模型内部的思维空间里分得很清楚哇

模型还有思维空间就怎么操作他们发明了个叫 CO 的方法不用重新训练模型只在推理时推一把具体是先分析模型的思维模式找出执行为主的方向

然后在回答问题时引导模型往这方向走结果准确率最高涨了 11%废话少了 50%这不就是让 AI 专注干活别瞎想我们平时聊天会用到吗当然想像你问 AI 数学题它以前可能啰嗦一堆让我想想是不是这样现在直接给你答案省时又准诺文还说这方法用在不同任务上比如写代码解逻辑题潜力很大听起来很实用有没有什么缺点

有比如怎么精准区分思维类循环的改进不然可能误导模型调整的力度也得小心弄不好会让模型太死板但整体看这是个很聪明的方向说明我们对 AI 的内部机制理解更深了

第四篇 Swan GPTan efficient and scalable approachfor long context language modeling 这是在让 AI 读长篇小说吗差不多现在的语言模型处理长文本有点吃力比如几百页的文档他们容易忘前面说了啥 Swan GPT 是个新架构专门解决这问题它能轻松处理几十万字的文本

还不用特意为长文本重新训练几十万字那不得是一整本书对他们用了两种注意力机制一种看全局像快速浏览全书大意一种看局部像仔细读每章还加了个动态调整的技巧让模型在超长文本里也能抓住重点实验发现它能处理 32 倍于训练时的文本长度效率还更高这对我们有什么用比如我能拿它干嘛

想像你有堆法律文件要分析,雖然 GPT 能快速讀完,總結重點或者公司開會錄下幾個小時的討論,它能整理出會議機要論文還說現有模型稍改就能用這技術成本很低,未來可能普及到各種 AI 助手

听起来像个超级秘书,有没有啥局限?有,比如短文本任务上,它可能没传统模型那么极致,一些参数也在手动调,麻烦了点。但它的长文本能力真是独一无二,特别适合大数据时代。最后一天,Visual Chronicles Using Multimodal LLs Analyze Massive Collections of Images,这是在用 AI 当程式侦探吗?

太贴切了,这系统叫 Visual Chronicles,用多模态语言模型分析海量街景照片,比如谷歌街景,找出城市的变化趋势,比如纽约多乐户外餐厅,旧金山某个桥被重新粉刷,他能处理几千万张照片,还不用预先告诉他找什么?几千万张怎么做到的?

他们把任务拆成两部先看小范围的照片找出局部变化比如一条街的店面变了再把这些变化剧类提炼全局趋势比如户外用餐变多模型还能回答开放问题像城市里有什么怪事特别灵活这不就像城市的历史纪录片能帮我们干啥

用处多着城市规划者能用它看交通建筑的变化社会学家能研究生活方式的演变比如他发现疫情后户外用餐激增这不就反映了人们的生活习惯未来还能扩展到监控自然灾害分析文化变迁听起来好有画面感有没有啥问题

有比如它依赖照片质量和覆盖范围偏远地区可能数据不够还有模型可能会把节日装饰当场走变化的加点防雾盘的机制不过能从照片里挖出这么多故事已经很了不起了哇今天这五篇论文真是脑洞大开今天的太快报就到这感谢小 T 带我们 OUA 太前沿也谢谢大家的收听下期再会下期见拜拜