# 强化学习术语表

> 来源：https://dqn.cn/glossary/ ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-31 ｜ 更新：2026-10-31 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

本页收录强化学习中最常用的术语，给出**中文名、英文名、常见缩写和一句话定义**，并链接到本站的详细讲解。同一个英文术语在不同中文资料中可能有不同译法（例如 off-policy 常译作“异策略”或“离策略”），本站统一采用下表的译法。

每个术语都有固定锚点，可以直接链接，例如 `https://dqn.cn/glossary/#td-error`。

## 基础概念

| 中文 | 英文 | 缩写 / 符号 | 定义 |
| --- | --- | --- | --- |
| <span id="reinforcement-learning"></span>[强化学习](https://dqn.cn/basics/what-is-rl) | Reinforcement Learning | RL | 智能体通过与环境交互、根据奖励信号试错学习，以最大化长期累积回报的机器学习方法。 |
| <span id="agent"></span>[智能体](https://dqn.cn/basics/agent-environment) | Agent | — | 强化学习中做出决策并执行动作的学习者。 |
| <span id="environment"></span>[环境](https://dqn.cn/basics/agent-environment) | Environment | — | 智能体之外的一切，接收动作并返回下一个状态和奖励。 |
| <span id="state"></span>[状态](https://dqn.cn/basics/agent-environment) | State | s | 对环境当前情况的完整描述，包含决定未来所需的信息。 |
| <span id="observation"></span>[观测](https://dqn.cn/basics/agent-environment) | Observation | o | 智能体实际获得的关于环境的信息，可能只是状态的一部分。 |
| <span id="action"></span>[动作](https://dqn.cn/basics/agent-environment) | Action | a | 智能体在某一时刻可以做出的选择；动作空间分为离散和连续两类。 |
| <span id="reward"></span>[奖励](https://dqn.cn/basics/agent-environment) | Reward | r | 环境在每一步返回的标量反馈信号，定义了任务的目标。 |
| <span id="episode"></span>[回合](https://dqn.cn/basics/agent-environment) | Episode | — | 从初始状态到终止状态的一次完整交互过程。 |
| <span id="return"></span>[回报](https://dqn.cn/basics/mdp) | Return | G_t | 从某一时刻开始的（折扣）奖励之和：G_t = R_{t+1} + γR_{t+2} + …。 |
| <span id="discount-factor"></span>[折扣因子](https://dqn.cn/basics/mdp) | Discount Factor | γ | 取值在 [0,1] 的系数，决定未来奖励相对即时奖励的重要程度。 |
| <span id="mdp"></span>[马尔可夫决策过程](https://dqn.cn/basics/mdp) | Markov Decision Process | MDP | 由状态、动作、转移概率、奖励函数和折扣因子组成的序贯决策数学模型。 |
| <span id="markov-process"></span>[马尔可夫过程](https://dqn.cn/basics/mdp) | Markov Process | MP | 只有状态和转移概率、满足马尔可夫性的随机过程，也称马尔可夫链。 |
| <span id="mrp"></span>[马尔可夫奖励过程](https://dqn.cn/basics/mdp) | Markov Reward Process | MRP | 在马尔可夫过程上加入奖励函数和折扣因子；固定策略后的 MDP 就是一个 MRP。 |
| <span id="markov-property"></span>[马尔可夫性](https://dqn.cn/basics/mdp) | Markov Property | — | 未来只依赖当前状态和动作，而与更早的历史无关的性质。 |
| <span id="pomdp"></span>[部分可观测马尔可夫决策过程](https://dqn.cn/basics/agent-environment) | Partially Observable MDP | POMDP | 智能体只能获得状态的部分观测时的 MDP 扩展。 |
| <span id="policy"></span>[策略](https://dqn.cn/basics/mdp) | Policy | π | 从状态到动作（或动作概率分布）的映射，决定智能体如何行动。 |
| <span id="state-value-function"></span>[状态价值函数](https://dqn.cn/basics/mdp) | State-Value Function | V(s) | 从状态 s 出发、遵循策略 π 所能获得的期望回报。 |
| <span id="action-value-function"></span>[动作价值函数](https://dqn.cn/basics/mdp) | Action-Value Function | Q(s,a) | 在状态 s 执行动作 a、之后遵循策略 π 所能获得的期望回报，也称 Q 函数。 |
| <span id="occupancy-measure"></span>[占用度量](https://dqn.cn/basics/mdp) | Occupancy Measure | ρ^π(s,a) | 策略在状态—动作对上的折扣访问分布；期望回报等于它与奖励的内积除以 (1−γ)。 |
| <span id="advantage-function"></span>[优势函数](https://dqn.cn/advanced/actor-critic) | Advantage Function | A(s,a) | A(s,a) = Q(s,a) − V(s)，衡量某个动作比该状态下的平均水平好多少。 |
| <span id="bellman-equation"></span>[贝尔曼方程](https://dqn.cn/basics/bellman) | Bellman Equation | — | 把价值函数写成即时奖励与后继状态折扣价值之和的递归方程。 |
| <span id="model"></span>[模型](https://dqn.cn/advanced/model-based) | Model | — | 对环境转移概率和奖励函数的描述或近似，可用于规划。 |
| <span id="exploration-exploitation"></span>[探索与利用](https://dqn.cn/basics/bandit) | Exploration vs. Exploitation | — | 在尝试新动作获取信息与选择当前已知最好动作之间的权衡。 |
| <span id="epsilon-greedy"></span>[ε-贪心](https://dqn.cn/basics/bandit) | ε-Greedy | — | 以概率 ε 随机选动作、否则选当前价值最高动作的探索策略。 |
| <span id="multi-armed-bandit"></span>[多臂老虎机](https://dqn.cn/basics/bandit) | Multi-Armed Bandit | MAB | 只有一个状态的简化强化学习问题，用来研究探索与利用。 |
| <span id="regret"></span>[懊悔](https://dqn.cn/basics/bandit) | Regret | R(T) | 与始终选择最优动作相比，算法累计少获得的期望奖励；衡量探索策略的样本效率。 |
| <span id="ucb"></span>[置信上界算法](https://dqn.cn/basics/bandit) | Upper Confidence Bound | UCB | 为每个动作计算“估计值 + 置信半径”的乐观上界，选上界最大的动作来兼顾探索与利用。 |
| <span id="thompson-sampling"></span>[汤普森采样](https://dqn.cn/basics/bandit) | Thompson Sampling | TS | 从各动作价值的后验分布中采样、选样本最大的动作的贝叶斯探索方法。 |

## 经典算法

| 中文 | 英文 | 缩写 / 符号 | 定义 |
| --- | --- | --- | --- |
| <span id="dynamic-programming"></span>[动态规划](https://dqn.cn/basics/dynamic-programming) | Dynamic Programming | DP | 在模型已知时反复应用贝尔曼方程求解价值函数和最优策略的方法。 |
| <span id="policy-iteration"></span>[策略迭代](https://dqn.cn/basics/dynamic-programming) | Policy Iteration | — | 交替进行策略评估和策略改进，直到策略不再变化。 |
| <span id="value-iteration"></span>[价值迭代](https://dqn.cn/basics/dynamic-programming) | Value Iteration | — | 反复应用贝尔曼最优方程更新价值函数，再从中提取最优策略。 |
| <span id="gpi"></span>[广义策略迭代](https://dqn.cn/basics/dynamic-programming) | Generalized Policy Iteration | GPI | 策略评估与策略改进相互作用、交替推进的一般框架。 |
| <span id="monte-carlo"></span>[蒙特卡洛方法](https://dqn.cn/basics/monte-carlo) | Monte Carlo Methods | MC | 用完整回合的实际回报的平均值估计价值函数的无模型方法。 |
| <span id="importance-sampling"></span>[重要性采样](https://dqn.cn/basics/monte-carlo) | Importance Sampling | — | 用两个策略的概率比对样本加权，以便用一个策略的数据评估另一个策略。 |
| <span id="td-learning"></span>[时序差分学习](https://dqn.cn/basics/td-learning) | Temporal-Difference Learning | TD | 用“即时奖励 + 下一状态价值估计”作为目标、逐步更新价值的方法。 |
| <span id="td-error"></span>[TD 误差](https://dqn.cn/basics/td-learning) | TD Error | δ | δ_t = R_{t+1} + γV(S_{t+1}) − V(S_t)，新旧价值估计之差。 |
| <span id="bootstrapping"></span>[自举](https://dqn.cn/basics/td-learning) | Bootstrapping | — | 用当前的价值估计来构造更新目标的做法。 |
| <span id="eligibility-trace"></span>[资格迹](https://dqn.cn/basics/td-learning) | Eligibility Trace | — | TD(λ) 中记录各状态近期被访问程度、用于分配 TD 误差的机制。 |
| <span id="q-learning"></span>[Q 学习](https://dqn.cn/basics/q-learning-sarsa) | Q-learning | — | 以下一状态最大 Q 值为目标更新动作价值的异策略 TD 控制算法。 |
| <span id="sarsa"></span>[SARSA](https://dqn.cn/basics/q-learning-sarsa) | SARSA | — | 以实际执行的下一个动作的 Q 值为目标的同策略 TD 控制算法。 |
| <span id="n-step-sarsa"></span>[n 步 SARSA](https://dqn.cn/basics/q-learning-sarsa) | n-step SARSA | — | 用 n 步真实奖励加第 n 步的 Q 值作为目标的同策略 TD 控制算法，在偏差与方差之间折中。 |
| <span id="on-policy"></span>[同策略](https://dqn.cn/basics/q-learning-sarsa) | On-Policy | — | 用当前正在优化的策略自己产生的数据来学习。 |
| <span id="off-policy"></span>[异策略（离策略）](https://dqn.cn/basics/q-learning-sarsa) | Off-Policy | — | 用另一个行为策略产生的数据来学习目标策略。 |

## 深度强化学习

| 中文 | 英文 | 缩写 / 符号 | 定义 |
| --- | --- | --- | --- |
| <span id="dqn"></span>[深度 Q 网络](https://dqn.cn/advanced/dqn) | Deep Q-Network | DQN | 用神经网络近似 Q 函数，并结合经验回放和目标网络的深度强化学习算法。 |
| <span id="experience-replay"></span>[经验回放](https://dqn.cn/advanced/dqn) | Experience Replay | — | 把交互数据存入回放池并随机采样训练，以打破数据相关性。 |
| <span id="target-network"></span>[目标网络](https://dqn.cn/advanced/dqn) | Target Network | — | 参数延迟更新的网络副本，用来计算稳定的 TD 目标。 |
| <span id="double-dqn"></span>[双重 DQN](https://dqn.cn/advanced/dqn-improvements) | Double DQN | DDQN | 用在线网络选动作、目标网络评估动作，以减少过估计。 |
| <span id="per"></span>[优先经验回放](https://dqn.cn/advanced/dqn-improvements) | Prioritized Experience Replay | PER | 按 TD 误差大小优先采样经验的回放机制。 |
| <span id="policy-gradient"></span>[策略梯度](https://dqn.cn/advanced/reinforce) | Policy Gradient | PG | 直接沿期望回报对策略参数的梯度方向优化策略的方法。 |
| <span id="reinforce"></span>[REINFORCE](https://dqn.cn/advanced/reinforce) | REINFORCE | — | 用蒙特卡洛回报估计策略梯度的基础策略梯度算法。 |
| <span id="baseline"></span>[基线](https://dqn.cn/advanced/reinforce) | Baseline | b(s) | 从回报中减去的只依赖状态的量，用于降低策略梯度的方差。 |
| <span id="actor-critic"></span>[演员-评论家](https://dqn.cn/advanced/actor-critic) | Actor-Critic | AC | 同时学习策略（Actor）和价值函数（Critic）的方法。 |
| <span id="gae"></span>[广义优势估计](https://dqn.cn/advanced/actor-critic) | Generalized Advantage Estimation | GAE | 用 (γλ) 加权的多步 TD 误差之和估计优势函数的方法。 |
| <span id="entropy-regularization"></span>[熵正则化](https://dqn.cn/advanced/actor-critic) | Entropy Regularization | — | 在目标中加入策略熵以鼓励探索的技巧。 |
| <span id="trpo"></span>[信赖域策略优化](https://dqn.cn/advanced/trpo) | Trust Region Policy Optimization | TRPO | 在 KL 散度约束下最大化代理目标的策略优化算法。 |
| <span id="ppo"></span>[近端策略优化](https://dqn.cn/advanced/ppo) | Proximal Policy Optimization | PPO | 通过裁剪新旧策略概率比来限制更新幅度的策略梯度算法。 |
| <span id="ddpg"></span>[深度确定性策略梯度](https://dqn.cn/advanced/ddpg) | Deep Deterministic Policy Gradient | DDPG | 面向连续动作的异策略 Actor-Critic 算法，Actor 输出确定性动作。 |
| <span id="td3"></span>[双延迟深度确定性策略梯度](https://dqn.cn/advanced/td3) | Twin Delayed DDPG | TD3 | 在 DDPG 上加入双 Q 截断、延迟更新和目标策略平滑的算法。 |
| <span id="sac"></span>[柔性演员-评论家](https://dqn.cn/advanced/sac) | Soft Actor-Critic | SAC | 在最大熵框架下同时最大化回报与策略熵的异策略算法。 |
| <span id="maximum-entropy-rl"></span>[最大熵强化学习](https://dqn.cn/advanced/sac) | Maximum Entropy RL | — | 在奖励之外同时最大化策略熵的强化学习框架。 |
| <span id="goal-conditioned-rl"></span>[目标导向强化学习](https://dqn.cn/advanced/goal-conditioned) | Goal-Conditioned RL | GCRL | 策略与价值函数以目标为额外输入、一个网络学会到达多个目标的强化学习。 |
| <span id="her"></span>[后见经验回放](https://dqn.cn/advanced/goal-conditioned) | Hindsight Experience Replay | HER | 把轨迹中实际到达的状态当作替代目标重新计算奖励，使稀疏奖励下也有成功样本的技巧。 |

## 前沿方向

| 中文 | 英文 | 缩写 / 符号 | 定义 |
| --- | --- | --- | --- |
| <span id="model-based-rl"></span>[基于模型的强化学习](https://dqn.cn/advanced/model-based) | Model-Based RL | MBRL | 先学习环境模型，再利用模型规划或生成数据的方法。 |
| <span id="world-model"></span>[世界模型](https://dqn.cn/papers/2026-10-dreamerv3) | World Model | — | 在潜在空间中预测环境未来的学习模型，如 Dreamer。 |
| <span id="mpc"></span>[模型预测控制](https://dqn.cn/advanced/mpc) | Model Predictive Control | MPC | 每一步用模型优化一段动作序列、只执行第一个动作，然后在新状态重新规划的控制方法。 |
| <span id="cem"></span>[交叉熵方法](https://dqn.cn/advanced/mpc) | Cross-Entropy Method | CEM | 反复采样候选解、用得分最高的精英样本重新拟合采样分布的无梯度优化方法，常用于 MPC。 |
| <span id="pets"></span>[概率集成与轨迹采样](https://dqn.cn/advanced/mpc) | Probabilistic Ensembles with Trajectory Sampling | PETS | 用概率神经网络集成作为模型、以粒子传播不确定性并结合 CEM 规划的基于模型方法。 |
| <span id="mbpo"></span>[基于模型的策略优化](https://dqn.cn/advanced/mbpo) | Model-Based Policy Optimization | MBPO | 用模型集成从真实状态出发做短视界展开生成数据，并以高更新比训练 SAC 的方法。 |
| <span id="offline-rl"></span>[离线强化学习](https://dqn.cn/advanced/offline-rl) | Offline Reinforcement Learning | — | 只用固定数据集学习策略、不与环境交互的强化学习。 |
| <span id="extrapolation-error"></span>[外推误差](https://dqn.cn/advanced/offline-rl) | Extrapolation Error | — | 价值函数对数据中未出现的动作估计错误的现象。 |
| <span id="cql"></span>[保守 Q 学习](https://dqn.cn/advanced/offline-rl) | Conservative Q-Learning | CQL | 通过压低分布外动作 Q 值学到价值下界的离线 RL 算法。 |
| <span id="marl"></span>[多智能体强化学习](https://dqn.cn/advanced/multi-agent) | Multi-Agent Reinforcement Learning | MARL | 多个智能体在共享环境中同时学习的强化学习。 |
| <span id="ctde"></span>[集中式训练分散式执行](https://dqn.cn/advanced/multi-agent) | Centralized Training with Decentralized Execution | CTDE | 训练时用全局信息、执行时只用局部观测的多智能体范式。 |
| <span id="ippo"></span>[独立近端策略优化](https://dqn.cn/advanced/multi-agent) | Independent PPO | IPPO | 每个智能体用只看局部观测的价值函数独立运行 PPO（常配合参数共享）的多智能体方法。 |
| <span id="mappo"></span>[多智能体近端策略优化](https://dqn.cn/advanced/multi-agent) | Multi-Agent PPO | MAPPO | 策略只用局部观测、价值函数在训练时使用全局信息的多智能体 PPO。 |
| <span id="imitation-learning"></span>[模仿学习](https://dqn.cn/advanced/imitation-learning) | Imitation Learning | IL | 从专家示范中学习策略的方法。 |
| <span id="behavior-cloning"></span>[行为克隆](https://dqn.cn/advanced/imitation-learning) | Behavior Cloning | BC | 把模仿学习当作监督学习，直接拟合专家的状态-动作对。 |
| <span id="inverse-rl"></span>[逆强化学习](https://dqn.cn/advanced/imitation-learning) | Inverse Reinforcement Learning | IRL | 从专家示范中推断奖励函数的方法。 |
| <span id="gail"></span>[生成对抗模仿学习](https://dqn.cn/advanced/imitation-learning) | Generative Adversarial Imitation Learning | GAIL | 用判别器区分专家与学生的状态—动作对，并以判别器输出作为奖励训练策略的模仿学习方法。 |
| <span id="rlhf"></span>[基于人类反馈的强化学习](https://dqn.cn/advanced/rlhf-llm) | Reinforcement Learning from Human Feedback | RLHF | 用人类偏好训练奖励模型、再用强化学习优化语言模型的方法。 |
| <span id="reward-model"></span>[奖励模型](https://dqn.cn/advanced/rlhf-llm) | Reward Model | RM | 从人类偏好数据中学习、为模型输出打分的网络。 |
| <span id="dpo"></span>[直接偏好优化](https://dqn.cn/advanced/rlhf-llm) | Direct Preference Optimization | DPO | 无需奖励模型、直接在偏好对上优化策略的对齐方法。 |
| <span id="grpo"></span>[组相对策略优化](https://dqn.cn/advanced/rlhf-llm) | Group Relative Policy Optimization | GRPO | 用同一问题多个回答的组内奖励归一化作为优势、省去价值网络的 PPO 变体。 |
| <span id="rlvr"></span>[基于可验证奖励的强化学习](https://dqn.cn/advanced/rlhf-llm) | Reinforcement Learning with Verifiable Rewards | RLVR | 用答案正确性、单元测试等可自动验证的规则作为奖励的强化学习。 |
| <span id="reward-hacking"></span>[奖励欺骗](https://dqn.cn/advanced/rlhf-llm) | Reward Hacking | — | 智能体利用奖励函数漏洞获得高奖励、却不符合设计者意图的行为。 |

## 相关页面

- [学习路线](https://dqn.cn/roadmap/)：按顺序学习上面这些概念
- [入门教程](https://dqn.cn/basics/) 与 [进阶教程](https://dqn.cn/advanced/)
- [算法对照表](https://dqn.cn/code/algorithm-comparison)：各算法的适用场景对比

## 如何引用本文

DQN.CN 编辑部. 强化学习术语表[EB/OL]. DQN.CN, 2026-10-31（更新于 2026-10-31）. https://dqn.cn/glossary/.