Deep Dive
Shownotes Transcript
听众朋友们大家好,欢迎收听最新一期的太快报,我是主持人小爱大家好,我是小 T 今天我们要聊聊人工智能领域最近的一些有趣进展这些研究不仅刷新了我们对 AI 的认知还为未来的技术发展打开了新的大门是的,我看到今天的内容非常丰富包括了大型语言模型在蛋白质优化中的应用机器写作的新方法
这真是太厉害了
语言模型不是处理文字的吗怎么跟蛋白质扯上关系了是的这正是这篇论文最有趣的地方研究人员发现大型语言模型虽然只是在大量的文本数据上训练的但它实际上已经学会了某种训练模式的理解能力
这使得它可以用一种类似于定向进化的方式去生成新的蛋白质序列就像我们平时写作文不断修改润色一样我好像有点明白了那它是怎么做的呢简单来说研究人员让 LLM 生成一些蛋白质序列的变种然后根据这些变种的适应性也就是它们在特定环境下的表现来选择并保留那些表现更好的
这个过程就像大自然中的物竞天择一样迭代进行不断优化最终就能得到更好的蛋白质序列感觉好神奇那这种方法有什么实际应用吗当然比如说我们可以利用这种方法来设计新的酶用于生物催化或者开发新的抗体用于集定治疗这为生物医药领域打开了新的可能性而且最重要的是它
不需要像传统方法那样进行大量的实验成本大大降低了太棒了这项研究真是让人大开眼界那接下来我们看看第二篇论文 Ownly Think 通过思考扩展机器写作的知识边界这又是什么意思呢
这篇论文是关于如何让机器写作更深入更有原创性我们都知道现在的机器写作很多时候都是从网上扒一些信息然后拼凑起来缺乏深度和新意我经常觉得 AI 写出来的文章都差不多缺少灵魂没错这篇论文提出的 Omitink 方法就像给机器写作装了一个大脑它不仅会检索信息还会像人类一样对这些信息进行思考和反思
从而更深入地理解主题并提出新的观点思考 机器怎么思考这个思考不是指机器像人一样进行主观思考而是指它会反复地扩展和反思自己已有的知识它会根据自己对主题的理解动态的调整检索信息的策略而不是死板地按照固定的方式搜索听起来就像一个孜孜不倦的学习者
那这样做有什么好处呢?这样做最直接的好处就是可以提高文章的知识密度,也就是在相同篇幅的文章里能提供更多有价值、有深度的信息,这样机器写出来的文章就不再是水文了。确实很有意义。那接下来我们聊聊扩散模型的新玩法吧。扩散模型的推理时扩展超越,去造步骤扩展,这个标题有点绕。
确实这个论文稍微有点技术性简单来说,扩散模型是一种用于生成图像的 AI 模型。比如我们平时看到的 AI 绘画,很多就是用扩散模型做的。以前我们想提高扩散模型的图像生成质量,通常都是增加模型的去造步骤。去造步骤这是什么概念呢?你可以想象一下,图像生成的过程就像是把一张原本充满噪点的模糊图像逐渐变得清晰,去造步骤就是这个过程中的清晰化的次数。
但是研究人员发现当去造步骤增加到一定程度后再增加就没什么效果了那就是说遇到了瓶颈是的所以这篇论文就提出与其在去造步骤上死磕不如去优化扩散过程中的初始噪声他们把噪声采样看成是一个搜索问题通过设计一些验证器和搜索算法来找到更好的初始噪声从而生成更高质量的图像哇 这有点像磨刀不误砍柴工的感觉
可以这么理解,这篇论文最大的贡献就是告诉我们,扩散模型的潜力远不止增加,去造步骤,我们还可以通过优化其他的环节来提升它的性能。好,那我们最后来聊聊外推的问题,因果视角,理解外推,这个外推又是什么意思呢?
外推其实是机器学习领域一个很重要的概念简单来说就是指模型要能够处理训练数据之外的情况比如你用猫的照片训练了一个识别猫的模型如果它不仅能识别你训练过的猫还能识别没见过的猫甚至识别不同角度不同光线下的猫这就是模型的外推能力
我好像明白了但这个因果视角又是什么意思呢这篇论文从因果的角度把外推问题看成是一个引电量识别的问题也就是说模型应该去识别那些导致猫的本质特征的因素而不是仅仅学习猫的表象听起来有点玄乎是的
但它背后是有理论支撑的研究人员提出了一个英国影变量模型将我们观察到的数据分解成不变的部分和变化的部分不变的部分就是那些真正代表猫的本质特征的东西而变化的部分则是那些不重要的东西比如光线角度等等
那这样有什么好处呢这样就可以帮助模型更好的识别那些没有在训练数据中出现的猫即使这些猫在光线角度上和训练数据有很大差异这个研究还给测试时的模型自适应方法提供了理论指导可以提升模型的泛化性能听起来今天的这几篇论文都挺有意思而且都很有启发性是的
每一篇论文都从不同的角度探索了 AI 技术的边界让我们看到了 AI 更多的可能性没错感谢小 T 今天的精彩分享听众朋友们今天的开拍报就到这里我们下期再见下期见拜拜