# 进阶教程 > 来源：https://dqn.cn/advanced/ ｜作者：DQN.CN 编辑部｜发布：2026-10-31 ｜更新：2026-10-31 ｜许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

进阶教程覆盖深度强化学习的主流算法与前沿方向：基于价值的 DQN 家族，基于策略梯度的 REINFORCE、Actor-Critic、TRPO 与 PPO，面向连续控制的 DDPG、TD3、SAC 与目标导向 RL（HER），以及基于模型的 RL（MPC、MBPO）、离线 RL、多智能体 RL、模仿学习和大语言模型中的 RL。阅读前建议先掌握 [入门教程](https://dqn.cn/basics/) 中的 MDP、贝尔曼方程与 Q-learning。

## 目录 ### 基于价值的方法

DQN经验回放 + 目标网络，用神经网络近似 Q 函数

DQN 改进Double / Dueling / PER / Rainbow 各解决什么问题

### 策略梯度与 Actor-Critic

策略梯度：REINFORCE策略梯度定理与基线，直接优化策略

Actor-Critic：A2C / A3C用价值网络降低方差，GAE 优势估计

TRPO信任域约束，让每次策略更新更稳

PPO裁剪目标，最常用的策略优化算法

### 连续控制

DDPG确定性策略梯度，连续动作的 Actor-Critic

TD3双 Q、延迟更新与目标平滑，修正高估

SAC最大熵 RL，自动调节温度系数

目标导向 RL 与 HER稀疏奖励下用事后经验回放学会达成目标

### 前沿方向

基于模型的强化学习学习环境模型，用想象的经验提升样本效率

模型预测控制随机打靶、CEM 与 PETS

MBPO模型生成短轨迹，配合 SAC 训练

离线强化学习只用固定数据集：BC、CQL 等

多智能体强化学习IPPO、MAPPO 与集中训练分散执行

模仿学习行为克隆、DAgger 与 GAIL

RLHF 与大模型中的 RLPPO、DPO 与 GRPO

## 前置知识 - PyTorch 基础：张量、自动求导、`nn.Module` - 入门教程中的 MDP、贝尔曼方程、TD 学习与 Q-learning ## 学习建议 - **主线**：DQN → DQN 改进 → REINFORCE → Actor-Critic → TRPO → PPO → DDPG → TD3 → SAC。每一节都在前一节的基础上解决一个具体问题，建议按顺序阅读。 - **前沿方向**：基于模型（总览 → MPC → MBPO）、离线、多智能体、模仿学习、RLHF 五个专题相对独立，可以按兴趣选读；目标导向 RL 与 HER 建议在读完 DDPG 后阅读。 - **记号**：沿用入门教程的记号；策略参数记为 $\theta$，价值网络参数记为 $w$ 或 $\phi$，目标网络参数加上标 $^-$。 ## 代码与实测结果每个算法页面都附有完整、可直接运行的 PyTorch 代码（位于仓库的 `examples/advanced/` 目录），并在本站环境（CPU、单线程、短训练预算）中实际运行过。页面中给出的都是真实输出，没有挑选“最好看”的结果；不稳定、未复现论文结论的情况也如实写明。汇总见 [代码实战](https://dqn.cn/code/)。 ```bash pip install torch gymnasium numpy ```