进阶教程

进阶教程覆盖深度强化学习的主流算法与前沿方向：基于价值的 DQN 家族，基于策略梯度的 REINFORCE、Actor-Critic、TRPO 与 PPO，面向连续控制的 DDPG、TD3、SAC 与目标导向 RL（HER），以及基于模型的 RL（MPC、MBPO）、离线 RL、多智能体 RL、模仿学习和大语言模型中的 RL。阅读前建议先掌握 入门教程 中的 MDP、贝尔曼方程与 Q-learning。

目录

基于价值的方法

• DQN
• DQN 改进：Double / Dueling / PER / Rainbow

策略梯度与 Actor-Critic

• 策略梯度：REINFORCE
• Actor-Critic：A2C / A3C
• TRPO
• PPO

连续控制

• DDPG
• TD3
• SAC
• 目标导向强化学习与 HER

前沿方向

• 基于模型的强化学习
• 模型预测控制：随机打靶、CEM 与 PETS
• MBPO：基于模型的策略优化
• 离线强化学习
• 多智能体强化学习
• 模仿学习
• RLHF 与大模型中的 RL（PPO / DPO / GRPO）

前置知识

• PyTorch 基础：张量、自动求导、nn.Module
• 入门教程中的 MDP、贝尔曼方程、TD 学习与 Q-learning

学习建议

• 主线：DQN → DQN 改进 → REINFORCE → Actor-Critic → TRPO → PPO → DDPG → TD3 → SAC。每一节都在前一节的基础上解决一个具体问题，建议按顺序阅读。
• 前沿方向：基于模型（总览 → MPC → MBPO）、离线、多智能体、模仿学习、RLHF 五个专题相对独立，可以按兴趣选读；目标导向 RL 与 HER 建议在读完 DDPG 后阅读。
• 记号：沿用入门教程的记号；策略参数记为 $\theta$，价值网络参数记为 $w$ 或 $\varphi$，目标网络参数加上标 ${}^{-}$。

代码与实测结果

每个算法页面都附有完整、可直接运行的 PyTorch 代码（位于仓库的 examples/advanced/ 目录），并在本站环境（CPU、单线程、短训练预算）中实际运行过。页面中给出的都是真实输出，没有挑选“最好看”的结果；不稳定、未复现论文结论的情况也如实写明。汇总见 代码实战。

pip install torch gymnasium numpy