Deep Dive
Shownotes Transcript
大家好,欢迎收听本期《财快报》,我是小爱。大家好,我是小 T。今天我们要讨论的内容既有深度又有意思,我会尽量用生活中的例子让大家轻松听懂。太好了,那我们马上开始吧。第一个话题是关于 AI 如何更聪明地思考。
我听说有个方法叫圆强化微调这是什么意思呢你提到的是论文 Optimizing Test TimeCompute via Meta-reinforcement Fine-tuning 简单来说这项研究是想让 AI 在解决问题时更高效的像你在考试只有 10 分钟答题你会先挑简单的题做再公然题对吧 AI 也需要学会这种时间管理但它管理的不是时间而是计算能力那它是怎么做到的呢
研究者用了一种叫原强化微调的方法强化学习大家可能听过比如下期的 AI 会通过试错来提高水平这里的原是指 AI 不仅要学会解题还要学会如何分配计算资源他们发现传统方法只看答案对不对
对太粗糙了而这个方法会关注 AI 在每一步的进步就像老师不仅看你的最终得分还看你解题的过程有没有进步听起来很聪明那效果如何效果很惊人在数学推理任务中这个方法让 AI 的准确率提高了二到三倍而且用更少的计算资源就能达到同样的效果
举个例子 传统 AI 可能像个磨蹭的学生算半天还不一定对而这个 AI 就像个高校学霸 算得又快又准这让我想到能不能用它来优化手机上的 AI 助手让它反应更快完全有可能如果 AI 助手能更聪明地分配计算资源不仅反应快 还能省电未来可能会让我们的设备更智能接下来是物理推理看到有个去造哈密顿网络听起来很高深 这是什么
这是论文 Denosing Hamiltonian Network for Physical Reasoning 提出的方法简单说它让 AI 学会预测物理世界的运动比如钟摆怎么摆动传统的 AI 模拟物理时间一长误差就变大就像你用劣质相机拍视频越拍越糊这个方法通过去造技术让 AI 的预测更清晰更准确去造是怎么回事
就像你用软件修模糊照片去掉杂点这个方法借鉴了类似的思路 AI 在模拟时会清理误差比如预测一个球的滚动轨迹它能更好地抓住规律而不是被小误差带偏那它能用来做什么
应用前景很广比如机器人控制 AI 能更精确的预测动作让机器人走得更稳或者在天气预报中模拟大气变化是更靠谱未来我们可能看到更聪明的机器人甚至更准的天气预报哇
AI 还能帮我们预测天气真是脑洞大开第三个话题是文档重排我听说有个叫 RankR1 的方法能让 AI 更好的理解搜索需求对 RankR1Enhance Reasoning in LLM-based Document Rerankers via Reinforcement Learning 是想让 AI 在搜索引擎中更聪明搜索时 AI 要把最相关的结果排在前面
传统方法可能只看关键词比如你搜苹果他不知道你是想找水果还是公司而 Ren1 让 AI 先推理理解你的意图再排序他是怎么学会这个的
通过强化学习如果用户点了某个结果 AI 就知道这个排序是对的像得了奖励一样慢慢就学会了比如你搜苹果它会根据上下文猜你是想买手机还是了解营养然后把合适的网页排前面那效果怎么样很不错它用很少的数据就能达到传统方法的效果
甚至在复杂问题上超过了大模型的零样本表现举个例子一个 14 亿参数的 Rank R1 模型在某些测试中比 GPT-4 还强这意味着未来搜索可能会更贴近我们的想法这让我很好奇 AI 会不会有一天完全猜中我在想什么有可能但也得小心隐私问题技术进步的同时平衡用户体验和数据保护会是个大课题
接下來是 AI 的協作和記憶我聽說有個研究讓多個 AI 一起工作還用記憶幫忙對 Enhancing Reasoning with Collaboration and Memory 探索了多個 AI 智能體像團隊一樣合作每個智能體有自己的專長和記憶他們分享經驗一起解決問題就像人類團隊有人擅長分析有人擅長總結記憶是怎麼幫上忙的記憶就像個共享筆記本記錄過去的經驗
AI 遇到问题时可以翻看笔记找到类似的情况来参考有趣的是研究发现随机挑过去的例子有时比特异选相关的还好为什么呢有点意外可能是随机性带来了更多样的思路避免 AI 钻牛角尖就像团队头脑风暴来自不同背景的意见往往更能激发灵感实验中这种方法在逻辑推理任务上表现很好那未来能用在哪儿
可以想象一群 AI 协作处理复杂任务比如城市交通优化多个 AI 分工预测流量调整信号灯效率会大大提高多样性和记忆让 AI 团队更强大最后一个话题是程序执行轨迹我听说有个方法让 AI 学代码的运行过程
是的 What I cannot executeI do not understand training and evaluatingoans on program execution traces 提出了执行条优它让 AI 模拟程序运行理解每一步发生了什么就像你看食谱做态 AI 通过跑代码来学代码这有什么用比如预测程序的输出或者找 bug
传统 AI 只看代码文字像读菜谱但不试做而这个方法让 AI 动态理解运行过程他们设计了一种动态淘高纸每部更新状态不用记下所有历史即使程序跑一万四千步也能处理效果如何在预测程序输出上准确率达到 80%比传统方法强很多它还能处理超长程序未来可能帮程序员调试代码甚至自动写更可靠的程序
这让我想到 AI 会不会有一天完全取代程序员取代还不一定但肯定会成为程序员的超级助手提升效率不过它在生成复杂代码时还有局限可能更擅长理解和优化感谢小 T 的精彩讲解这期我们聊了五项 AI 研究从推理优化到程序执行真是收获满满
是的,这些研究展示了 AI 的多样潜力,未来它可能会在教育、医疗、工程等领域带来更多惊喜。感谢大家的收听,我们下期再见。下期见,拜拜。