We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Misha Laskin, Reflection.ai — From Physics to SuperIntelligence

Misha Laskin, Reflection.ai — From Physics to SuperIntelligence

2025/3/13
logo of podcast Manifold

Manifold
AI Deep Dive AI Chapters Transcript
People
M
Misha Laskin
Topics
Misha Laskin: 我拥有理论物理学的背景，先后在耶鲁大学和芝加哥大学学习，之后转向人工智能研究并创立了自己的AI公司。我曾在伯克利大学、谷歌DeepMind以及谷歌Gemini项目中从事强化学习研究，对人工智能领域，特别是强化学习和大型语言模型的发展变化有深入的了解。我目睹了AlphaGo的成功，以及大型语言模型的快速发展，这让我意识到大型语言模型已经解决了强化学习中普遍存在的泛化问题。大型语言模型的通用性令人惊讶，它们可以回答各种问题。通过对互联网数据的预训练，大型语言模型实现了快速学习和少量样本学习，构建了一个关于世界的知识模型。然而，目前的强化学习方法比较弱，大型语言模型在生成新知识方面仍然存在困难。我认为，未来AI系统应该能够自主地帮助人们完成工作，甚至帮助人们发现新的知识。当前的推理模型的改进并非增强了预训练模型本身，而是改变了模型的行为方式，使其在新的行为模式下更强大、更有用。预训练和指令微调可以看作是模仿学习，而强化学习则在此基础上进行自我改进。推理模型在强化学习阶段学习了预训练模型不知道的新知识。我们目前正处于强化学习在大型语言模型上开始发挥作用的早期阶段，尚未达到大型语言模型的“AlphaGo时刻”。我相信在未来几年内，我们可能会看到在某些知识工作领域出现超级智能的语言模型。让模型在计算机上采取行动（例如使用浏览器）进行强化学习，是一个非常有前景的方向。强化学习的成功很大程度上取决于能否获得可验证的、高质量的数据集。强化学习算法与训练环境耦合，这既是其局限性，也是其优势。大型语言模型擅长查找和总结信息，但在解决实际研究问题方面存在局限性。当前的强化学习方法比较弱，大型语言模型在生成新知识方面仍然存在困难。物理学背景赋予了我独特的视角，让我倾向于从第一性原理出发，寻找简单的解决方案。与AI领域中常见的增加复杂性以提高性能的做法不同，我更倾向于简化问题，寻找核心原理。物理学家在AI领域的一些有影响力的工作，例如对缩放定律的研究，体现了这种简化问题并寻找核心原理的思路。 Steve Hsu: 作为理论物理学和计算数学、科学与工程学教授，我对人工智能领域的发展变化也有着持续的关注。我与Misha Laskin就人工智能的挑战与未来进行了深入的探讨，特别关注强化学习、大型语言模型以及推理模型的进展。我们讨论了大型语言模型的局限性，以及如何通过强化学习来改进模型的推理能力。我们还探讨了如何利用大型语言模型来解决实际问题，以及如何应对人工智能带来的挑战。Misha Laskin的物理学背景为他带来了独特的视角，这有助于他更好地理解和解决人工智能领域的问题。

Deep Dive

Shownotes Transcript

Misha Laskin is CEO of Reflection.ai). He was trained in theoretical physics at Yale and Chicago before becoming an AI scientist. He made important contributions in Reinforcement Learning as a researcher at Berkeley, Google DeepMind, and on the Google Gemini project.

https://x.com/MishaLaskin)

Steve and Misha discuss:

  • (00:00) - Introduction

  • (00:47) - Misha's Early Life and Education

  • (03:50) - Transition from Physics to AI

  • (05:47) - First Startup Experience

  • (07:19) - Discovering Deep Learning

  • (08:06) - Academic Postdoc at Berkeley

  • (14:31) - Joining Google DeepMind

  • (16:36) - Reinforcement Learning and Language Models

  • (26:42) - Challenges and Future of AI

  • (48:30) - Unique Perspective from Physics

Music used with permission from Blade Runner Blues Livestream improvisation by State Azure.

–

Steve Hsu is Professor of Theoretical Physics and of Computational Mathematics, Science, and Engineering at Michigan State University. Previously, he was Senior Vice President for Research and Innovation at MSU and Director of the Institute of Theoretical Science at the University of Oregon. Hsu is a startup founder (SuperFocus.ai, SafeWeb, Genomic Prediction, Othram) and advisor to venture capital and other investment firms. He was educated at Caltech and Berkeley, was a Harvard Junior Fellow, and has held faculty positions at Yale, the University of Oregon, and MSU.

Please send any questions or suggestions to [email protected] or Steve on X @hsu_steve.