# 什么是强化学习

> 来源：https://dqn.cn/basics/what-is-rl ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-29 ｜ 更新：2026-10-30 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

> **要点速览**
>
> - 强化学习（Reinforcement Learning，RL）是一种让智能体通过与环境交互、根据奖励信号试错学习，以最大化长期累积回报的机器学习方法。
> - 与监督学习不同，强化学习没有“标准答案”标签，只有延迟的、标量的奖励反馈；智能体自己的动作还会影响后续收到的数据。
> - 核心概念包括：智能体、环境、状态、动作、奖励、策略、价值函数和模型。
> - 典型应用有棋类与电子游戏（AlphaGo、Atari）、机器人控制、推荐系统，以及大语言模型的 RLHF 与推理训练。

强化学习（Reinforcement Learning，RL）研究的是：**一个智能体如何通过与环境不断交互、根据获得的奖励来学习做决策**，使长期累积奖励最大。它不像监督学习那样有人告诉你“正确答案”，智能体只能从“做了某个动作之后得到多少奖励”这种评价性反馈中自己摸索。下棋、玩游戏、机器人控制、推荐系统，以及大语言模型的对齐训练，都可以用强化学习来建模。

## 一个直观的例子

想象训练一只小狗坐下：你发出口令，小狗做出某个动作；如果它坐下了，你就给它零食（正奖励），否则什么也不给。经过多次尝试，小狗会学到“听到口令就坐下”这一**策略**。

这里已经包含了强化学习的全部要素：

| 要素 | 小狗例子 | 一般含义 |
| --- | --- | --- |
| 智能体（Agent） | 小狗 | 做决策、执行动作的学习者 |
| 环境（Environment） | 你和周围的一切 | 智能体之外、对动作做出响应的部分 |
| 状态（State） | 听到口令时的情境 | 对当前情况的描述 |
| 动作（Action） | 坐下、趴下、跑开…… | 智能体可以做出的选择 |
| 奖励（Reward） | 零食 | 环境给出的标量反馈信号 |
| 策略（Policy） | “听到口令就坐下” | 从状态到动作的映射 |

## 强化学习与其他机器学习范式的区别

- **监督学习**：每个样本都带有正确标签，目标是拟合输入到标签的映射。反馈是“指导性”的：直接告诉你正确答案。
- **无监督学习**：没有标签，目标是发现数据中的结构（聚类、降维、生成）。
- **强化学习**：没有正确答案，只有奖励。反馈是“评价性”的：只告诉你这个动作好不好、好多少。

此外，强化学习还有几个独特的难点：

1. **延迟奖励**：一个动作的后果可能很久以后才显现，例如围棋中某步棋的好坏要到终局才知道。这带来了**信用分配**（credit assignment）问题。
2. **探索与利用的权衡**（exploration vs. exploitation）：是选择当前已知最好的动作，还是尝试新动作以发现更好的选择？
3. **数据不是独立同分布的**：智能体的策略决定了它会看到什么数据，策略一变，数据分布也跟着变。

## 目标：最大化累积回报

智能体在每个时间步 $t$ 观察状态 $S_t$，选择动作 $A_t$，环境返回奖励 $R_{t+1}$ 和下一状态 $S_{t+1}$。强化学习的目标不是最大化某一步的奖励，而是最大化**回报**（return），即未来奖励的折扣和：

$$
G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
$$

其中 $\gamma \in [0, 1]$ 是**折扣因子**。$\gamma$ 越接近 0，智能体越“短视”；越接近 1，越重视长期收益。

## 强化学习的核心概念速览

- **策略** $\pi(a \mid s)$：在状态 $s$ 下选择动作 $a$ 的概率。
- **状态价值函数** $v_\pi(s)$：从状态 $s$ 出发、按策略 $\pi$ 行动所能获得的期望回报。
- **动作价值函数** $q_\pi(s, a)$：在状态 $s$ 先执行动作 $a$、之后按策略 $\pi$ 行动的期望回报。
- **模型**：对环境的刻画，即状态转移概率 $p(s', r \mid s, a)$。有模型的方法利用它做规划，无模型的方法直接从交互经验中学习。

这些概念会在 [马尔可夫决策过程](https://dqn.cn/basics/mdp) 和 [贝尔曼方程](https://dqn.cn/basics/bellman) 两节中严格定义。

## 强化学习的典型应用

- **游戏**：DQN 在 Atari 游戏上达到人类水平；AlphaGo / AlphaZero 在围棋上击败顶尖棋手。
- **机器人与控制**：机械臂抓取、四足机器人行走、自动驾驶中的决策规划。
- **推荐与广告**：把用户长期留存、长期价值作为优化目标。
- **大语言模型**：RLHF 用人类偏好训练奖励模型，再用 PPO 等算法微调模型；GRPO 等方法被用于提升模型的推理能力。详见 [RLHF 与大模型中的 RL](https://dqn.cn/advanced/rlhf-llm)。

## 小结与下一步

强化学习 = 智能体在环境中试错 + 根据奖励改进策略 + 目标是长期累积回报。下一节 [智能体与环境](https://dqn.cn/basics/agent-environment) 会详细讲解两者之间的交互循环。

## 练习题

1. 举出一个你生活或工作中可以用强化学习建模的问题，分别指出其中的智能体、环境、状态、动作和奖励。
2. 设 $\gamma = 0.9$，奖励序列为 $R_1 = 1, R_2 = 0, R_3 = 2$，之后全为 0。计算 $G_0$ 和 $G_1$，并验证 $G_0 = R_1 + \gamma G_1$。
3. 若每一步奖励恒为 1，求 $\gamma = 0.9$ 和 $\gamma = 0.99$ 时的回报 $G_t$。这对“有效规划视野”意味着什么？
4. 为什么说监督学习的反馈是“指导性”的，而强化学习的反馈是“评价性”的？各举一例。
5. 在围棋中，如果只在终局给出 +1/−1 奖励，会带来什么学习上的困难？

**延伸阅读**

交互工具：[多臂老虎机模拟器](https://dqn.cn/tools/bandit)——亲手对比几种探索策略

## 参考文献

- Sutton, R. S., & Barto, A. G. (2018). *Reinforcement Learning: An Introduction* (2nd ed.), 第 1 章. MIT Press.
- Mnih, V. et al. (2015). Human-level control through deep reinforcement learning. *Nature*, 518, 529–533.
- Silver, D. et al. (2016). Mastering the game of Go with deep neural networks and tree search. *Nature*, 529, 484–489.
- Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. *NeurIPS*.

## 常见问题速查（FAQ）

**问：强化学习和监督学习有什么区别？**

答：监督学习从带标签的样本中学习输入到输出的映射；强化学习没有标签，只能通过与环境交互获得奖励，并且奖励往往是延迟的，需要在探索与利用之间权衡。

**问：学习强化学习需要哪些前置知识？**

答：需要 Python 编程、基础概率论（期望、条件概率）和线性代数；学习深度强化学习还需要了解神经网络和 PyTorch 的基本用法。

**问：强化学习和大模型有什么关系？**

答：大语言模型的对齐和推理训练大量使用强化学习，例如基于人类反馈的强化学习（RLHF）、DPO 以及 DeepSeek 使用的 GRPO。

## 如何引用本文

DQN.CN 编辑部. 什么是强化学习[EB/OL]. DQN.CN, 2026-10-29（更新于 2026-10-30）. https://dqn.cn/basics/what-is-rl.