学习路线

强化学习的知识点多、门槛不低，最常见的问题是“不知道从哪开始、下一步学什么”。本页按三类读者给出分阶段路线，每一步都链接到站内对应教程。你可以根据自己的基础直接跳到合适的起点。

总览

flowchart LR
  A[基础概念<br/>老虎机 / MDP / 贝尔曼方程] --> B[表格方法<br/>DP / MC / TD / Q-learning]
  B --> C[深度价值方法<br/>DQN 及改进]
  B --> D[策略梯度<br/>REINFORCE / A2C]
  D --> E[PPO / TRPO]
  C --> F[连续控制<br/>DDPG / TD3 / SAC]
  E --> F
  E --> G[前沿方向<br/>基于模型 / 离线RL / 多智能体 / RLHF]
  F --> G

路线一：零基础

适合：会一点 Python，但没有系统学过机器学习的读者。建议先补齐概率论、线性代数和 Python/NumPy 基础，再按顺序学习。

路线二：有机器学习基础

适合：熟悉 PyTorch、了解神经网络训练的读者。可以快速过一遍入门概念，把重点放在深度强化学习算法上。

快速浏览：多臂老虎机、MDP、贝尔曼方程、Q-learning 与 SARSA
价值方法：DQN → DQN 改进
策略方法：REINFORCE → Actor-Critic → TRPO → PPO
连续控制：DDPG → TD3 → SAC → 目标导向 RL 与 HER
动手：代码实战与算法对照表

路线三：科研 / 工程

适合：准备做强化学习研究，或在业务中落地强化学习、大模型对齐的读者。

研究方向入门：基于模型的 RL（→ MPC / PETS → MBPO）、离线 RL、多智能体 RL、模仿学习
大模型方向：RLHF 与大模型中的 RL（PPO / DPO / GRPO）
读论文：必读论文与论文速递
工程工具：开源库（Stable-Baselines3、CleanRL、RLlib 等）
动手：每个示例脚本都有对应的 Jupyter notebook，可在教程页顶部下载（见代码实战）

预计学时与检验标准

以下学时按每周 5–8 小时估算，仅供参考：

路线	阶段	预计时间	检验标准
零基础	概念（前 5 节）	1–2 周	能解释懊悔并实现 UCB，能手算两状态 MDP 的价值，能写出贝尔曼期望 / 最优方程
零基础	表格方法（后 5 节）	2–3 周	能独立实现价值迭代和 Q-learning，在 FrozenLake 上成功率达到 0.7 左右
有 ML 基础	深度价值方法	1–2 周	能从零写出 DQN，在 CartPole 上达到 500 分
有 ML 基础	策略梯度到 PPO	2–3 周	能解释 PPO 裁剪目标的每一项，自己实现的 PPO 在 CartPole 上稳定满分
有 ML 基础	连续控制	1–2 周	SAC / TD3 在 Pendulum 上平均回报达到约 −200 以上
科研 / 工程	每个前沿专题	1–2 周	读完专题中的 2–3 篇核心论文，复现或改写本站的玩具实验

落地挑战与展望

学完算法之后，真正把强化学习用到实际问题中，还会遇到一批教材里较少展开的挑战。下面列出最常见的几类，并指向站内相关内容：

挑战	表现	常见对策	站内相关
样本效率	真实系统交互昂贵、慢、可能有风险	基于模型的方法、离线数据预训练、仿真	MPC、MBPO、离线 RL
奖励设计	稀疏奖励难学，稠密奖励容易被“钻空子”	目标重标注、从示范或偏好中学习奖励	HER、模仿学习、RLHF
仿真到现实（sim-to-real）	仿真中训练好的策略在真实环境中失效	域随机化、系统辨识、在真实数据上微调	基于模型的 RL
安全与约束	训练中的探索可能造成损失；部署要满足约束	约束 MDP、保守策略、离线评估后再上线	MDP 中的占用度量、离线 RL
离线评估	上线前很难可靠估计新策略的效果	离策略评估（OPE）、A/B 测试、保守估计	离线 RL
可复现性	结果对随机种子、超参数和实现细节敏感	多种子报告均值与离散程度、固定实现与版本	PPO 的调参经历、代码实战
多智能体与非平稳	其他智能体（或用户、市场）也在变化	CTDE、自博弈、持续学习	多智能体 RL
部署与延迟	规划类方法每步计算量大，难以满足实时性	把规划结果蒸馏为策略网络、模型压缩	MPC

几个值得关注的发展方向（按本站的理解归纳，供参考）：

大模型与强化学习的结合：用 RL 做偏好对齐与推理能力训练（RLHF、DPO、GRPO 等），以及把大模型作为智能体的策略或世界模型。
离线到在线：先在大规模历史数据上做离线学习，再用少量在线交互安全地微调。
世界模型与通用智能体：在学到的模型中“想象”训练（如 Dreamer 系列），追求一套超参数适用于大量任务。
机器人基础模型：大规模示范数据上的模仿学习（扩散策略、Transformer 策略）配合强化学习微调。
评测与可复现：更严格的统计报告方法（多种子、置信区间）和标准化基准，正在成为研究的基本要求。

配套练习

每个教程页面末尾都有 5 道左右的练习题，涵盖推导、代码修改和实验分析。
建议把每一节的示例代码亲手重写一遍，而不是只运行；然后完成至少一个“修改超参数并解释结果”的练习。
进阶阶段，尝试在同一个环境上用 3–5 个随机种子比较两种算法，并报告均值和标准差——这是做强化学习实验的基本功。

学习路线 ​

总览 ​

路线一：零基础 ​

路线二：有机器学习基础 ​

路线三：科研 / 工程 ​

预计学时与检验标准 ​

落地挑战与展望 ​

配套练习 ​