吴
吴翼
前OpenAI研究员，清华大学交叉信息研究院助理教授，边塞科技创始人，专注于强化学习和人机协同。
曲
曲凯
专注于推动AI应用创业领域的发展和分享行业见解的“42章经”创始人。
@曲凯 : 当前Agent领域，具备强化学习算法能力的人才非常稀缺，市场对其需求旺盛。
@吴翼 : 我长期从事强化学习研究，我的博士论文就关注强化学习的泛化性和多智能体强化学习。我将在课程中讲解强化学习的原理、其与大语言模型的结合方式、目前领域内的非共识以及未来的发展趋势。强化学习与传统机器学习的关键区别在于，强化学习处理的是一系列决策问题，且没有标准答案，只有最终结果的好坏之分。人生本身就是一个强化学习的过程，但人生没有明确的奖励函数，需要不断探索以找到自己的奖励函数。强化学习的前提是已知奖励函数，而人生中奖励函数往往未知，需要不断探索。大语言模型通过强化学习实现指令遵从，这是强化学习与大模型结合的关键。InstructGPT 使用强化学习来解决大语言模型的指令遵从问题，这标志着强化学习与大语言模型结合的开端。RLHF (Reinforcement Learning from Human Feedback) 的核心是利用人类反馈来训练奖励模型，因为难以定义精确的奖励函数。预训练模型的扩展定律放缓，强化学习为提升大模型能力提供了新的途径。OpenAI 通过“慢思考”（Thinking Tokens）机制，让模型在生成答案前进行更多思考，从而提升答案准确性，并用强化学习来训练这一机制。Anthropic 在强化学习模型的“慢思考”方面做得特别好，但其具体方法尚不清楚。DeepSeek 的成功在于其专注和早期的投入，证明了强化学习在提升大模型能力上的可行性。目前行业内对于强化学习提升大模型能力的最佳路径尚未形成完全共识，各团队仍在探索不同的方向。Agent 的核心在于对现实世界或虚拟世界产生影响，而不仅仅是文本输出。Agent 的关键在于对外部世界产生影响，而不仅仅是文本生成。强大的决策模型可以减少对 prompt engineering 的依赖，这是强化学习对 Agent 的影响之一。强化学习需要强大的预训练模型作为基础，才能发挥其决策能力。早期强化学习的失败，正是因为缺乏强大的预训练模型。预训练和强化学习相辅相成，两者相乘才能产生真正的智能。预训练的收益递减，强化学习成为提升大模型能力的新方向，但其扩展定律仍在早期阶段。强化学习仍处于早期阶段，未来可能出现模型能力的分化，例如专注于泛化、代码或 Agent 的不同模型。强化学习模型的训练效果评估，主要依赖于指标和实际使用体验。大模型团队的组织架构可以根据预训练和强化学习两个方向进行划分，但团队成员需要具备跨领域知识。理解比生成更难，理解一张图片所需的 token 比生成图片更多。强化学习的泛化能力受限于训练数据，早期强化学习在复杂任务（如买机票）上失败，是因为缺乏足够的泛化能力。构建人工智能需要先解决理解问题，再解决决策问题，强化学习主要解决决策问题。