Deep Dive
- 扩展流形学习到度量空间
- 提出一致近似和误差控制条件
- 改进图拉普拉斯算子
- 应用于医学影像和社交网络分析
Shownotes Transcript
欢迎收听本期太快报我是小爱大家好我是很高兴又和大家见面了那咱们就从第一篇开始吧这篇叫度量空间中的流行学习听起来有点抽象能不能先给我们讲讲这是什么意思当然可以
想像你有一堆雜亂的數據,比如照片、聲音或者基因序列這些數據表面上亂糟糟,但其實可能藏著某種規律流行學習就像是個整理大師,他能把這些數據想像成一張彎曲的紙,攤平後找出隱藏的結構傳統方法用的是歐吉里德距離,就是直線距離像量尺那樣簡單但這篇研究說有時候直線距離不夠好用,得換個更靈活的尺
比如 Wutherstein 距離你可以把它想成比較兩堆沙子形狀的差異而不是簡單測直線長度換個尺子就能讓數據更有條理那他們具體是怎麼做的呢?他們提出了兩個關鍵條件確保新尺子能準確抓住數據的內在形狀一個是一致近似意思是新尺子測出的距離的跟真實曲面上的距離
差不多,另一个是控制误差,不能差太多。他们用数学证明了,只要满足这两个条件,就能把复杂的图拉普拉斯算子,你可以理解成一个分析数据的工具,调整得更精准。举个例子,他们发现用 Wasserstein 距离分析概率分布数据或者用 LE 距离处理旋转球数据时,比传统的直线距离效果好得多。
旋转球是什么我有点好奇旋转球是个有趣的反例想象一个球在转表面上点在动如果你用直线距离去分析可能会觉得两个点很近但实际上它们在球面上隔得很远这篇研究用实验证明直线距离在这会出错而换成 LE 或者 Wasserstein 距离就能更好地抓住球面上的真实结构这告诉我们选对尺子有多重要明白了选对工具就能看到隐藏的真相
那这对我们普通人有什么用呢?用处可大了,比如在医学影像分析中,数据不是简单的平面点,而是复杂的形状,用这种方法能更准确地找出病灶特征,或者在社交网络分析中,能更好地理解人与人之间的关系网。
这研究就像给 AI 装了个更聪明的眼睛让他看清复杂世界的本质真厉害接下来咱们看看第二篇关于语言模型位置泛化的计算机制这又是啥意思好咱们聊聊这个语言模型比如那些能聊天写文的 AI 特别擅长处理文字顺序的灵活性比如你把句子猫追老鼠改成老鼠被猫追他还能明白意思这就是位置泛化这篇研究想搞清楚这种本事是怎么来的
他们发现 AI 内部的注意力机制你可以想象成 AI 的大脑在决定关注什么其实没我们想的那么复杂它把位置信息和语义信息分开了像两列火车跑在不同轨道上分开不是应该混在一起才更聪明吗
这正是有趣的地方他们发现注意力机制的输出可以拆成两部分一部分看词语之间的距离另一部分看词语的意思两者简单相加就行了相关性高达 0.95 以上他们还找到了一种慢速主导模式就是 AI 内部的某些计算维度变化很慢
专门负责位置信息这种分开的好处是即使句子顺序乱了或者文章变得很长 AI 也能稳稳地抓住重点那这怎么解释他能读长文章呢因为位置信息被单独拎出来像个定位导航不会因为文章变长就迷路实验还发现把词序打乱 AI 的理解力也没怎么下降这说明他的聪明不是靠死记硬背而是学会了灵活处理
这对开发更强大的聊天 AI 或者翻译工具来说是个大启发原来如此 AI 的灵活性还有这种秘密那第三篇呢关于学习率和损失曲线的多密率听起来像数学魔法确实有点像魔法这篇研究是关于训练大模型时怎么让损失就是模型预测的误差降得更快更好
他们提出了一个叫多重密率的方法能预测不同学习率策略下的损失变化学习率就像条油门的力度控制模型学习的速度传统方法是来是去很费时间但这个方法通过数学公式就能预估出恒定余弦或者阶梯式学习率会怎么影响结果
它是怎么做到的呢?他们发现,损失的下降跟学习率的累积和一些额外的规律有关。他们先用简单实验推导出公式,再用大模型验证发现只跑几次实验,就能预测没试过的策略。而且,他们还用这方法找到了比传统策略更好的学习率,方案损失更低,效果更好。
这就像给模型训练找了个捷径指南这不就能省很多时间和电费吗没错 训练大模型很费资源这方法能少走弯路 找到最佳方案对企业和研究者来说是真金白银的节省未来要是能推广开可能 AI 训练会变得更高效 更环保太棒了 第四篇是关于用语言模型辅助因果发现的听起来像是侦探股
这有点像 GK 研究把语言模型变成了科学侦探,帮助科学家搞清楚材料科学里的因果关系。比如他们研究一种叫 SMBFO 的铁电材料,想知道合成条件结构和性能之间是怎么影响的。
傳統方法只靠數據分析容易出錯他們就讓語言模型讀文獻提取專家知識再結合數據用算法畫出因果圖語言模型還能幹這個我以為他只會聊天呢對他很全能他們先讓模型在材料科學論文上
学会找变量间的关系比如成分变了会导致结构变之类然后用这些线索优化算法得到的因果图比纯数据分析靠谱多了比如他们发现 SMBFO 里 A 位点的成分变化会直接影响集化性能
这能指导实验设计新材料那这对材料科学有什么帮助帮助可大了材料研发通常靠试错很慢很贵这方法能预测因果关系告诉科学家哪些条件值得试比如他们推测某种合成条件能调低角完成实验验证后果然行这就像给材料科学家配了个智能助手加速新材料发现真酷最后一篇是机器人包装纸张这听起来像圣诞节的魔法吧
確實有點節日氣氛這篇研究讓機器人學會包禮物但不是隨便包而是要避免紙張撕裂或起皺他們用了一種混合方法先模仿人類動作學軌跡再用強化學習條例的包裝分成三個步驟折疊壓邊壓腳每步多的控制的恰到好處機器人包禮物還得這麼細緻
对 因为纸张很娇气力大了 撕力小了 皱他们设计了个控制器能动态调整位置和力道还用网络判断当前是哪一步自动切换策略实验发现这种方法成功率高还能适应不同厚度的纸和盒子大小那以后是不是能让机器人帮我包生日礼物了完全可能这技术不仅能包礼物还能用到工业包装物流自动化理关键是它证明了精确的力控制是处理软东西的关键
这对机器人研究来说是个大突破太有趣了这五篇研究真是脑洞大开今天的播客就到这感谢小 T 的精彩讲解也谢谢大家的收听我们下期再见下期见拜拜