# 学习路线

> 来源：https://dqn.cn/roadmap/ ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-31 ｜ 更新：2026-10-31 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

强化学习的知识点多、门槛不低，最常见的问题是“不知道从哪开始、下一步学什么”。本页按三类读者给出分阶段路线，每一步都链接到站内对应教程。你可以根据自己的基础直接跳到合适的起点。

## 总览

```mermaid
flowchart TB
  A[基础概念<br/>老虎机 / MDP / 贝尔曼方程] --> B[表格方法<br/>DP / MC / TD / Q-learning]
  B --> C[深度价值方法<br/>DQN 及改进]
  B --> D[策略梯度<br/>REINFORCE / A2C]
  D --> E[PPO / TRPO]
  C --> F[连续控制<br/>DDPG / TD3 / SAC]
  E --> F
  E --> G[前沿方向<br/>基于模型 / 离线 / 多智能体 / RLHF]
  F --> G
```

## 路线一：零基础

适合：会一点 Python，但没有系统学过机器学习的读者。建议先补齐概率论、线性代数和 Python/NumPy 基础，再按顺序学习。

1. [什么是强化学习](https://dqn.cn/basics/what-is-rl)
2. [智能体与环境](https://dqn.cn/basics/agent-environment)
3. [多臂老虎机](https://dqn.cn/basics/bandit)：先在只有一个状态的问题上理解探索与利用，可配合 [老虎机模拟器](https://dqn.cn/tools/bandit)
4. [马尔可夫决策过程（MDP）](https://dqn.cn/basics/mdp)
5. [贝尔曼方程](https://dqn.cn/basics/bellman)
6. [动态规划](https://dqn.cn/basics/dynamic-programming)
7. [蒙特卡洛方法](https://dqn.cn/basics/monte-carlo)
8. [时序差分（TD）学习](https://dqn.cn/basics/td-learning)
9. [Q-learning 与 SARSA](https://dqn.cn/basics/q-learning-sarsa)
10. [Gymnasium 上手](https://dqn.cn/basics/gymnasium)：亲手跑通 FrozenLake 和 CartPole

## 路线二：有机器学习基础

适合：熟悉 PyTorch、了解神经网络训练的读者。可以快速过一遍入门概念，把重点放在深度强化学习算法上。

1. 快速浏览：[多臂老虎机](https://dqn.cn/basics/bandit)、[MDP](https://dqn.cn/basics/mdp)、[贝尔曼方程](https://dqn.cn/basics/bellman)、[Q-learning 与 SARSA](https://dqn.cn/basics/q-learning-sarsa)
2. 价值方法：[DQN](https://dqn.cn/advanced/dqn) → [DQN 改进](https://dqn.cn/advanced/dqn-improvements)
3. 策略方法：[REINFORCE](https://dqn.cn/advanced/reinforce) → [Actor-Critic](https://dqn.cn/advanced/actor-critic) → [TRPO](https://dqn.cn/advanced/trpo) → [PPO](https://dqn.cn/advanced/ppo)
4. 连续控制：[DDPG](https://dqn.cn/advanced/ddpg) → [TD3](https://dqn.cn/advanced/td3) → [SAC](https://dqn.cn/advanced/sac) → [目标导向 RL 与 HER](https://dqn.cn/advanced/goal-conditioned)
5. 动手：[代码实战](https://dqn.cn/code/) 与 [算法对照表](https://dqn.cn/code/algorithm-comparison)

## 路线三：科研 / 工程

适合：准备做强化学习研究，或在业务中落地强化学习、大模型对齐的读者。

- **研究方向入门**：[基于模型的 RL](https://dqn.cn/advanced/model-based)（→ [MPC / PETS](https://dqn.cn/advanced/mpc) → [MBPO](https://dqn.cn/advanced/mbpo)）、[离线 RL](https://dqn.cn/advanced/offline-rl)、[多智能体 RL](https://dqn.cn/advanced/multi-agent)、[模仿学习](https://dqn.cn/advanced/imitation-learning)
- **大模型方向**：[RLHF 与大模型中的 RL（PPO / DPO / GRPO）](https://dqn.cn/advanced/rlhf-llm)
- **读论文**：[必读论文](https://dqn.cn/resources/papers) 与 [论文速递](https://dqn.cn/papers/)
- **工程工具**：[开源库](https://dqn.cn/resources/libraries)（Stable-Baselines3、CleanRL、RLlib 等）
- **动手**：每个示例脚本都有对应的 Jupyter notebook，可在教程页顶部下载（见 [代码实战](https://dqn.cn/code/)）

## 预计学时与检验标准

以下学时按每周 5–8 小时估算，仅供参考：

| 路线 | 阶段 | 预计时间 | 检验标准 |
| --- | --- | --- | --- |
| 零基础 | 概念（前 5 节） | 1–2 周 | 能解释懊悔并实现 UCB，能手算两状态 MDP 的价值，能写出贝尔曼期望 / 最优方程 |
| 零基础 | 表格方法（后 5 节） | 2–3 周 | 能独立实现价值迭代和 Q-learning，在 FrozenLake 上成功率达到 0.7 左右 |
| 有 ML 基础 | 深度价值方法 | 1–2 周 | 能从零写出 DQN，在 CartPole 上达到 500 分 |
| 有 ML 基础 | 策略梯度到 PPO | 2–3 周 | 能解释 PPO 裁剪目标的每一项，自己实现的 PPO 在 CartPole 上稳定满分 |
| 有 ML 基础 | 连续控制 | 1–2 周 | SAC / TD3 在 Pendulum 上平均回报达到约 −200 以上 |
| 科研 / 工程 | 每个前沿专题 | 1–2 周 | 读完专题中的 2–3 篇核心论文，复现或改写本站的玩具实验 |

## 落地挑战与展望

学完算法之后，真正把强化学习用到实际问题中，还会遇到一批教材里较少展开的挑战。下面列出最常见的几类，并指向站内相关内容：

| 挑战 | 表现 | 常见对策 | 站内相关 |
| --- | --- | --- | --- |
| 样本效率 | 真实系统交互昂贵、慢、可能有风险 | 基于模型的方法、离线数据预训练、仿真 | [MPC](https://dqn.cn/advanced/mpc)、[MBPO](https://dqn.cn/advanced/mbpo)、[离线 RL](https://dqn.cn/advanced/offline-rl) |
| 奖励设计 | 稀疏奖励难学，稠密奖励容易被“钻空子” | 目标重标注、从示范或偏好中学习奖励 | [HER](https://dqn.cn/advanced/goal-conditioned)、[模仿学习](https://dqn.cn/advanced/imitation-learning)、[RLHF](https://dqn.cn/advanced/rlhf-llm) |
| 仿真到现实（sim-to-real） | 仿真中训练好的策略在真实环境中失效 | 域随机化、系统辨识、在真实数据上微调 | [基于模型的 RL](https://dqn.cn/advanced/model-based) |
| 安全与约束 | 训练中的探索可能造成损失；部署要满足约束 | 约束 MDP、保守策略、离线评估后再上线 | [MDP 中的占用度量](https://dqn.cn/basics/mdp)、[离线 RL](https://dqn.cn/advanced/offline-rl) |
| 离线评估 | 上线前很难可靠估计新策略的效果 | 离策略评估（OPE）、A/B 测试、保守估计 | [离线 RL](https://dqn.cn/advanced/offline-rl) |
| 可复现性 | 结果对随机种子、超参数和实现细节敏感 | 多种子报告均值与离散程度、固定实现与版本 | [PPO 的调参经历](https://dqn.cn/advanced/ppo)、[代码实战](https://dqn.cn/code/) |
| 多智能体与非平稳 | 其他智能体（或用户、市场）也在变化 | CTDE、自博弈、持续学习 | [多智能体 RL](https://dqn.cn/advanced/multi-agent) |
| 部署与延迟 | 规划类方法每步计算量大，难以满足实时性 | 把规划结果蒸馏为策略网络、模型压缩 | [MPC](https://dqn.cn/advanced/mpc) |

几个值得关注的发展方向（按本站的理解归纳，供参考）：

- **大模型与强化学习的结合**：用 RL 做偏好对齐与推理能力训练（RLHF、DPO、GRPO 等），以及把大模型作为智能体的策略或世界模型。
- **离线到在线**：先在大规模历史数据上做离线学习，再用少量在线交互安全地微调。
- **世界模型与通用智能体**：在学到的模型中“想象”训练（如 Dreamer 系列），追求一套超参数适用于大量任务。
- **机器人基础模型**：大规模示范数据上的模仿学习（扩散策略、Transformer 策略）配合强化学习微调。
- **评测与可复现**：更严格的统计报告方法（多种子、置信区间）和标准化基准，正在成为研究的基本要求。

## 配套练习

- 每个教程页面末尾都有 5 道左右的练习题，涵盖推导、代码修改和实验分析。
- 建议把每一节的示例代码**亲手重写一遍**，而不是只运行；然后完成至少一个“修改超参数并解释结果”的练习。
- 进阶阶段，尝试在同一个环境上用 3–5 个随机种子比较两种算法，并报告均值和标准差——这是做强化学习实验的基本功。