主题

作者：DQN.CN 编辑部发布：更新：Markdown 原文

强化学习术语表 ​

本页收录强化学习中最常用的术语，给出中文名、英文名、常见缩写和一句话定义，并链接到本站的详细讲解。同一个英文术语在不同中文资料中可能有不同译法（例如 off-policy 常译作“异策略”或“离策略”），本站统一采用下表的译法。

每个术语都有固定锚点，可以直接链接，例如 https://dqn.cn/glossary/#td-error。

基础概念 ​

中文英文缩写 / 符号定义
强化学习Reinforcement LearningRL智能体通过与环境交互、根据奖励信号试错学习，以最大化长期累积回报的机器学习方法。
智能体Agent—强化学习中做出决策并执行动作的学习者。
环境Environment—智能体之外的一切，接收动作并返回下一个状态和奖励。
状态States对环境当前情况的完整描述，包含决定未来所需的信息。
观测Observationo智能体实际获得的关于环境的信息，可能只是状态的一部分。
动作Actiona智能体在某一时刻可以做出的选择；动作空间分为离散和连续两类。
奖励Rewardr环境在每一步返回的标量反馈信号，定义了任务的目标。
回合Episode—从初始状态到终止状态的一次完整交互过程。
回报ReturnG_t从某一时刻开始的（折扣）奖励之和：G_t = R_{t+1} + γR_{t+2} + …。
折扣因子Discount Factorγ取值在 [0,1] 的系数，决定未来奖励相对即时奖励的重要程度。
马尔可夫决策过程Markov Decision ProcessMDP由状态、动作、转移概率、奖励函数和折扣因子组成的序贯决策数学模型。
马尔可夫过程Markov ProcessMP只有状态和转移概率、满足马尔可夫性的随机过程，也称马尔可夫链。
马尔可夫奖励过程Markov Reward ProcessMRP在马尔可夫过程上加入奖励函数和折扣因子；固定策略后的 MDP 就是一个 MRP。
马尔可夫性Markov Property—未来只依赖当前状态和动作，而与更早的历史无关的性质。
部分可观测马尔可夫决策过程Partially Observable MDPPOMDP智能体只能获得状态的部分观测时的 MDP 扩展。
策略Policyπ从状态到动作（或动作概率分布）的映射，决定智能体如何行动。
状态价值函数State-Value FunctionV(s)从状态 s 出发、遵循策略 π 所能获得的期望回报。
动作价值函数Action-Value FunctionQ(s,a)在状态 s 执行动作 a、之后遵循策略 π 所能获得的期望回报，也称 Q 函数。
占用度量Occupancy Measureρ^π(s,a)策略在状态—动作对上的折扣访问分布；期望回报等于它与奖励的内积除以 (1−γ)。
优势函数Advantage FunctionA(s,a)A(s,a) = Q(s,a) − V(s)，衡量某个动作比该状态下的平均水平好多少。
贝尔曼方程Bellman Equation—把价值函数写成即时奖励与后继状态折扣价值之和的递归方程。
模型Model—对环境转移概率和奖励函数的描述或近似，可用于规划。
探索与利用Exploration vs. Exploitation—在尝试新动作获取信息与选择当前已知最好动作之间的权衡。
ε-贪心ε-Greedy—以概率 ε 随机选动作、否则选当前价值最高动作的探索策略。
多臂老虎机Multi-Armed BanditMAB只有一个状态的简化强化学习问题，用来研究探索与利用。
懊悔RegretR(T)与始终选择最优动作相比，算法累计少获得的期望奖励；衡量探索策略的样本效率。
置信上界算法Upper Confidence BoundUCB为每个动作计算“估计值 + 置信半径”的乐观上界，选上界最大的动作来兼顾探索与利用。
汤普森采样Thompson SamplingTS从各动作价值的后验分布中采样、选样本最大的动作的贝叶斯探索方法。

经典算法 ​

中文英文缩写 / 符号定义
动态规划Dynamic ProgrammingDP在模型已知时反复应用贝尔曼方程求解价值函数和最优策略的方法。
策略迭代Policy Iteration—交替进行策略评估和策略改进，直到策略不再变化。
价值迭代Value Iteration—反复应用贝尔曼最优方程更新价值函数，再从中提取最优策略。
广义策略迭代Generalized Policy IterationGPI策略评估与策略改进相互作用、交替推进的一般框架。
蒙特卡洛方法Monte Carlo MethodsMC用完整回合的实际回报的平均值估计价值函数的无模型方法。
重要性采样Importance Sampling—用两个策略的概率比对样本加权，以便用一个策略的数据评估另一个策略。
时序差分学习Temporal-Difference LearningTD用“即时奖励 + 下一状态价值估计”作为目标、逐步更新价值的方法。
TD 误差TD Errorδδ_t = R_{t+1} + γV(S_{t+1}) − V(S_t)，新旧价值估计之差。
自举Bootstrapping—用当前的价值估计来构造更新目标的做法。
资格迹Eligibility Trace—TD(λ) 中记录各状态近期被访问程度、用于分配 TD 误差的机制。
Q 学习Q-learning—以下一状态最大 Q 值为目标更新动作价值的异策略 TD 控制算法。
SARSASARSA—以实际执行的下一个动作的 Q 值为目标的同策略 TD 控制算法。
n 步 SARSAn-step SARSA—用 n 步真实奖励加第 n 步的 Q 值作为目标的同策略 TD 控制算法，在偏差与方差之间折中。
同策略On-Policy—用当前正在优化的策略自己产生的数据来学习。
异策略（离策略）Off-Policy—用另一个行为策略产生的数据来学习目标策略。

深度强化学习 ​

中文英文缩写 / 符号定义
深度 Q 网络Deep Q-NetworkDQN用神经网络近似 Q 函数，并结合经验回放和目标网络的深度强化学习算法。
经验回放Experience Replay—把交互数据存入回放池并随机采样训练，以打破数据相关性。
目标网络Target Network—参数延迟更新的网络副本，用来计算稳定的 TD 目标。
双重 DQNDouble DQNDDQN用在线网络选动作、目标网络评估动作，以减少过估计。
优先经验回放Prioritized Experience ReplayPER按 TD 误差大小优先采样经验的回放机制。
策略梯度Policy GradientPG直接沿期望回报对策略参数的梯度方向优化策略的方法。
REINFORCEREINFORCE—用蒙特卡洛回报估计策略梯度的基础策略梯度算法。
基线Baselineb(s)从回报中减去的只依赖状态的量，用于降低策略梯度的方差。
演员-评论家Actor-CriticAC同时学习策略（Actor）和价值函数（Critic）的方法。
广义优势估计Generalized Advantage EstimationGAE用 (γλ) 加权的多步 TD 误差之和估计优势函数的方法。
熵正则化Entropy Regularization—在目标中加入策略熵以鼓励探索的技巧。
信赖域策略优化Trust Region Policy OptimizationTRPO在 KL 散度约束下最大化代理目标的策略优化算法。
近端策略优化Proximal Policy OptimizationPPO通过裁剪新旧策略概率比来限制更新幅度的策略梯度算法。
深度确定性策略梯度Deep Deterministic Policy GradientDDPG面向连续动作的异策略 Actor-Critic 算法，Actor 输出确定性动作。
双延迟深度确定性策略梯度Twin Delayed DDPGTD3在 DDPG 上加入双 Q 截断、延迟更新和目标策略平滑的算法。
柔性演员-评论家Soft Actor-CriticSAC在最大熵框架下同时最大化回报与策略熵的异策略算法。
最大熵强化学习Maximum Entropy RL—在奖励之外同时最大化策略熵的强化学习框架。
目标导向强化学习Goal-Conditioned RLGCRL策略与价值函数以目标为额外输入、一个网络学会到达多个目标的强化学习。
后见经验回放Hindsight Experience ReplayHER把轨迹中实际到达的状态当作替代目标重新计算奖励，使稀疏奖励下也有成功样本的技巧。

前沿方向 ​

中文英文缩写 / 符号定义
基于模型的强化学习Model-Based RLMBRL先学习环境模型，再利用模型规划或生成数据的方法。
世界模型World Model—在潜在空间中预测环境未来的学习模型，如 Dreamer。
模型预测控制Model Predictive ControlMPC每一步用模型优化一段动作序列、只执行第一个动作，然后在新状态重新规划的控制方法。
交叉熵方法Cross-Entropy MethodCEM反复采样候选解、用得分最高的精英样本重新拟合采样分布的无梯度优化方法，常用于 MPC。
概率集成与轨迹采样Probabilistic Ensembles with Trajectory SamplingPETS用概率神经网络集成作为模型、以粒子传播不确定性并结合 CEM 规划的基于模型方法。
基于模型的策略优化Model-Based Policy OptimizationMBPO用模型集成从真实状态出发做短视界展开生成数据，并以高更新比训练 SAC 的方法。
离线强化学习Offline Reinforcement Learning—只用固定数据集学习策略、不与环境交互的强化学习。
外推误差Extrapolation Error—价值函数对数据中未出现的动作估计错误的现象。
保守 Q 学习Conservative Q-LearningCQL通过压低分布外动作 Q 值学到价值下界的离线 RL 算法。
多智能体强化学习Multi-Agent Reinforcement LearningMARL多个智能体在共享环境中同时学习的强化学习。
集中式训练分散式执行Centralized Training with Decentralized ExecutionCTDE训练时用全局信息、执行时只用局部观测的多智能体范式。
独立近端策略优化Independent PPOIPPO每个智能体用只看局部观测的价值函数独立运行 PPO（常配合参数共享）的多智能体方法。
多智能体近端策略优化Multi-Agent PPOMAPPO策略只用局部观测、价值函数在训练时使用全局信息的多智能体 PPO。
模仿学习Imitation LearningIL从专家示范中学习策略的方法。
行为克隆Behavior CloningBC把模仿学习当作监督学习，直接拟合专家的状态-动作对。
逆强化学习Inverse Reinforcement LearningIRL从专家示范中推断奖励函数的方法。
生成对抗模仿学习Generative Adversarial Imitation LearningGAIL用判别器区分专家与学生的状态—动作对，并以判别器输出作为奖励训练策略的模仿学习方法。
基于人类反馈的强化学习Reinforcement Learning from Human FeedbackRLHF用人类偏好训练奖励模型、再用强化学习优化语言模型的方法。
奖励模型Reward ModelRM从人类偏好数据中学习、为模型输出打分的网络。
直接偏好优化Direct Preference OptimizationDPO无需奖励模型、直接在偏好对上优化策略的对齐方法。
组相对策略优化Group Relative Policy OptimizationGRPO用同一问题多个回答的组内奖励归一化作为优势、省去价值网络的 PPO 变体。
基于可验证奖励的强化学习Reinforcement Learning with Verifiable RewardsRLVR用答案正确性、单元测试等可自动验证的规则作为奖励的强化学习。
奖励欺骗Reward Hacking—智能体利用奖励函数漏洞获得高奖励、却不符合设计者意图的行为。

相关页面 ​

如何引用本文

欢迎在学习笔记、论文或其他文章中引用本页内容，请注明作者、标题与链接（文字内容采用 CC BY-NC-SA 4.0 许可）。

GB/T 7714 格式 

DQN.CN 编辑部. 强化学习术语表[EB/OL]. DQN.CN, 2026-10-30（更新于 2026-10-30）. https://dqn.cn/glossary/.

BibTeX 

@misc{dqncn-glossary,
  author       = {{DQN.CN 编辑部}},
  title        = {强化学习术语表},
  howpublished = {\url{https://dqn.cn/glossary/}},
  year         = {2026},
  note         = {DQN.CN，更新于 2026-10-30}
}

最后更新于: