Deep Dive
Shownotes Transcript
大家好 欢迎收听太快报 我是小爱大家好 我是小 T 今天的第一篇是关于语言模型隐藏知识的研究想象一下 AI 可能比我们看到的更聪明只是它不会轻易说出来这种反差特别有意思好主意 那隐藏知识到底是怎么回事听起来有点像 AI 在藏私房钱你这个比喻挺形象这篇论文叫 Inside Out Hidden Factual Knowledge in ALM
研究的是大型语言模型内部到底藏了多少我们看不到的事实知识简单说研究者发现这些模型的参数里编码了很多知识但它们生成的回答却不一定能完全展现出来比如问他法国的首都是哪儿他内部可能百分之百知道是巴黎但输出的答案却可能出错
甚至反复是一千次都憋不出来正确答案这也太神奇了吧那他为什么知道却不说呢是故意耍我们吗不是故意而是能力有限研究者提出了一个框架把知识分成外部知识和内部知识外部知识是模型直接通过输出概率表现出来的比如它生成霸力的可能性有多高而内部知识藏得更深是通过分析模型中间层的计算状态发现的
他们用了一种叫探针分类器的工具去偷看模型的内心结果发现内部知识比外部知识高出 40%左右这说明模型其实知道很多但生成答案是卡住了就像一个人明明知道答案却紧张的说不出来原来是这样那这个发现有什么用呢能让我们更好的用 AI 吗当然有比如在需要精准答案的场景像医疗问答或者法律咨询这个隐藏知识就能派上用场
研究者嘗試通過增加計算量比如多採樣幾次或者直接用內部評分來挑答案能讓正確率再提高 40%不過瓶頸還是生成能力未來如果能改進這部分 AI 可能會變得更誠實把知道的都告訴我們
听起来像是给 AI 装个真心话大冒险开关,接下来咱们聊聊第二篇吧,好像是用 AI 画人的价值观画像,这听起来就很人性化。对,这篇叫 Value Profiles for Encoding Human Variation,研究的是怎么用 AI 理解人类的差异性。想象一下我们每个人评分东西时,比如给电影打分,标准都不一样,有人喜欢剧情,有人看特效。
这篇论文提出了一种价值观画像用自然语言描述每个人的偏好比如重视情感共鸣或者喜欢视觉冲击然后用这些画像预测评分这也太酷了吧那他是怎么知道我喜欢什么的
研究者先收集了一堆評分數據比如你給哪些電影打了高分再用 AI 把這些信息壓縮成一段話這就是你的價值觀畫像然後他們設計了一個模型能根據這個畫像預測你對新東西的評分關鍵是他們發現這種畫像比傳統的性別年齡這些統計信息更能抓住你的個性
预测准确率高了不少那我以后是不是可以用这个给朋友推荐电影直接说你的画像告诉我你会喜欢这部悬疑片完全可以而且它还有更大的用处比如在社交平台上 AI 可以用这些画像调整内容推荐让你看到的东西更符合你的价值观甚至在研究人类行为时也能模拟一群人的评分倾向
分析大家为什么对某些事看法不一样这让我想到 AI 以后会不会比我自己还了解我有点期待又有点怕怕的感觉接下来第三篇是什么可能跟检索有关是的第三篇叫 RCO Systematic Performance Optimization for RetrievalAugmented Generation Survey
讲的是如何优化检索增强生成系统你可以把这种系统想象成一个超级图书馆员他先从数据库里找资料再用语言模型生成答案现在这种技术很火但效率不高这篇论文提出了一个叫 RAGO 的优化框架能让他跑得更快更省力具体是怎么快起来的
我平时用 AI 搜东西确实有时候挺慢的 RAGO 的秘诀是英才师教研究者发现不同的检索任务差别很大有的需要找海量数据有的处理超长文本他们先用一个叫 RED schema 的工具把任务拆解成小块再根据每块的特点调整策略比如找资料多的时候就优化检索文本长的时候就调数据库编码
结果呢 每芯片的查询量翻倍回答的第一句话出来的也快了 55%哇 这不就是 AI 界的时间管理大师吗那我们日常用到的 AI 助手会不会也变快很有可能像智能客服搜索引擎这些背后用检索增强的系统用上 RAGO 就能更高效不过他现在还在实验阶段要普及环的解决硬件适配和成本问题期待那一天最后一篇是什么
最后一篇是 Robustness of Nonlinear Representation Learning 研究的是非线性表示学习的鲁莽性简单说就是 AI 在面对不完美数据时能不能依然学到有用的东西比如我们给 AI 一堆杂乱的照片它能不能分辨出猫和狗
即使有些照片模糊了或者角度怪怪的这不就是现实生活吗数据哪有那么完美的正是如此研究者用数学证明即使数据里混了点小错误 AI 还是能大致还原出关键信息他们研究了一种叫独立成分分析的方法
发现只要错误不太离谱 AI 就能把有用的部分剥离出来这对真实世界的应用很有意义因为数据总是有噪音的那这对我们有什么帮助呢比如我拍的照片老是糊能不能靠这个救回来
所以期待比如图像修复或者自动驾驶里识别模糊路标这些都需要鲁莽性强的 AI 不过论文还停在理论阶段要变成实用工具还得再努力看来 AI 的未来真是充满可能今天的四篇论文从隐藏知识到人性化画像再到效率和鲁莽性真是脑洞大开
小 T 你觉得这些研究会怎么影响我们的生活我觉得它们会让 AI 更贴近人类的需求隐藏知识能提升 AI 的可靠性价值观画像让它更懂我们 RAGO 提高效率鲁棒性则让它更适应现实这些加起来可能让我们未来的 AI 助手既聪明又实用还能因人而异说得太好了
那今天的太快报就到这儿感谢小 T 带我们走进 AI 的奇妙世界也谢谢大家的收听下期见下期见拜拜