We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
J
Jimmy
李
李钟毓
李钟毓：我认为过去六年我在伯克利的研究，目标是真正做出机器人的小脑，虽然还有很多未来的工作要做。我希望将机器人的小脑与更多的感知和环境信息相结合，实现更复杂的任务。我的研究主要关注足式机器人的灵活性、智能性和安全性。我首先使用基于模型的方法，构建结构化的优化框架，使机器人能够执行优化后的结果。我们也利用纯优化方法，让二足机器人实现具有表现力的动作。此外，我们还通过调整控制器参数的方法，进一步优化基于模型的控制器。然而，基于模型的方法存在模型与机器人本体不一致的问题，模型与真实机器人硬件之间存在较大的误差。解决模型误差的方法之一是提高优化求解的频率，但难以实现。另一种方法是在真机上调整参数，但这种方法开发速度慢，且参数易失效。真机调参的方法对于整个开发非常慢，只适合停留在做出非常好的控制器的demo阶段，难以扩展。
李钟毓：因此，我尝试使用强化学习方法，完全丢弃模型，让机器人自主学习各种高动态动作和通用动作。当时大家普遍认为强化学习只能在仿真中进行，难以应用于真机。我与多个团队合作，探索将强化学习应用于真机的方法。我们在Cassie机器人上实现了基于强化学习的运动控制，并发表了相关文章。我们的研究突破在于强化学习在真机上具有很强的鲁棒性。强化学习控制器在机器人处于不稳定状态时，仍能使其恢复稳定，这对于基于模型的方法是难以想象的。强化学习方法控制器在不稳定状态下，只要拉回来，还能回到比较回正的状态，这令人印象深刻。我们在强化学习方面做了很多工作，例如从走路到跳跃，并尝试用一个控制器实现多种跳跃动作。我希望通过一个通用控制器，将二足运动控制的通用性推向极限。我们实现了一个控制器，只需给定落点，机器人就能跳过去，无需预编程或预优化。区分阶段训练，并使控制器具有自适应功能，利用长短历史信息，使机器人能快速自适应本体动力学参数。我们通过系统性的强化学习方法，使机器人能够学习各种动力学控制器，如走路、跑步、跳跃，且非常稳定。
Deep Dive
本章节探讨了李钟毓博士在足式机器人运动控制领域的开创性工作，从基于模型的优化控制方法，到基于强化学习的无模型控制方法，以及两者之间的过渡。着重介绍了模型与实际硬件之间的差距，以及如何利用强化学习提高机器人的自适应能力和稳定性。
- 基于模型的优化控制方法存在模型与实际硬件之间的差距
- 强化学习方法能够提高机器人的自适应能力和稳定性
- 结合模型和强化学习的混合方法可以实现高性能的运动控制
Shownotes Transcript