We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
朱
朱哲清 Bill
领导Pokee AI开发下一代AI代理，前Meta AI应用强化学习组负责人。
我曾在Meta带领应用强化学习团队，将强化学习应用于广告投放和基础设施建设。在真实环境中应用强化学习的挑战在于获取持续的交互和结果反馈。近年来，强化学习的再次兴起源于在复杂规划和推理问题上，单纯的经验学习和模仿学习已不足够。强化学习擅长探索未知路径，寻找现有数据或预训练模型未曾覆盖的能力。强化学习与大模型并非平行关系，而是垂直关系，强化学习作为一种学习方式，可以与Transformer框架结合，增强规划能力。大模型的出现为强化学习提供了更强大的世界理解能力，扩大了其发展空间。有效的Agent架构应以强化学习为核心，大模型负责翻译和解释。Agent选择行动步骤的方式取决于其所处环境和行动是否被完整定义。单纯使用大模型进行探索效率低下，因为它缺乏对世界不确定性的理解。人类探索基于对世界的不确定性，而大模型的探索方式是完全随机的。强化学习的优势在于能够识别并探索不确定性，从而更高效地找到最优路径。强化学习解决的是平行宇宙问题，它通过计算条件概率下的期望值来规划行动，而大模型缺乏这种推理能力。目前尚无统一结论，但将大模型与强化学习结合是主流方案之一。我们的Agent架构类似于人类大脑，不同区域采用不同的思维方式。在缺乏明确目标的场景中，强化学习通过优化整体结果来处理人类反馈。强化学习的探索能力在不确定性高的场景中尤为重要，例如推荐系统。多层规划问题需要搜索能力，而大模型缺乏这种能力。强化学习能够评估行动对未来结果的影响，从而做出更优决策。大模型可以帮助强化学习理解人类数据，并进行抽象和决策。我们最新的产品架构中，强化学习负责所有决策，大模型负责输入输出。我们的目标是创建一个能够自主调用大量API，并完成复杂规划和推理任务的Agent。我们已经开发了一个电商领域的通用型Agent，它可以在Shopify平台上运行，并能快速掌握多种API。我们的Agent可以替代多个插件，并提供统一的控制和交互。使用我们的Agent就像雇佣了一个资深的网站负责人。我们的Agent学习的是Shopify底层的API，而不是插件本身。通过self-play，Agent学习如何调用API以及选择合适的参数。大模型在Agent中扮演着理解结果好坏和生成需求的重要角色。当前Agent发展阶段面临的主要问题是编码能力和通用性。目前缺乏能够横跨多个领域的通用型Agent。未来的Agent将主要与各种API打交道，并进行整合和决策。在现实世界中，真正需要编写代码的情况越来越少。大多数场景不需要Agent从零开始编写代码，只需整合现有的API即可。我们的Agent与其他Agent的区别在于，我们专注于基于现有业务进行排列组合，解决问题。我们正在进行电商Agent的公测，并计划扩展其功能。未来的Agent可以帮助商家自动化完成各种营销活动。未来，各种领域的企业都将拥有自己的Agent。Agent将在供应链、制造业等领域发挥重要作用。我们的强化学习技术路线使得训练和推理成本非常低。我们专注于Agent，而非大模型本身。未来一年，我们将继续发展电商Agent，并扩展到其他领域。我们的Agent目标是成为各个领域的API杀手。美国投资人对Agent很感兴趣，但准确性和盈利模式是关键问题。AI投资市场活跃，但优质标的较难寻找。明年将是Agent真正落地的一年。
Deep Dive
本节探讨了强化学习(RL)和大型语言模型(LLM)的结合，以及它们在解决复杂规划和推理问题中的优势。强化学习能够处理不确定性，探索多种可能性，而大型语言模型则提供了强大的世界理解能力，两者结合可以构建更强大的AI智能体。
- 强化学习和大型语言模型的结合是构建更强大AI智能体的一种新技术路线。
- 大型语言模型为强化学习提供了强大的世界理解能力。
- 强化学习能够处理不确定性，探索多种可能性，找到最优路径。