强化学习和监督学习有什么区别？

监督学习从带标签的样本中学习输入到输出的映射；强化学习没有标签，只能通过与环境交互获得奖励，并且奖励往往是延迟的，需要在探索与利用之间权衡。

学习强化学习需要哪些前置知识？

需要 Python 编程、基础概率论（期望、条件概率）和线性代数；学习深度强化学习还需要了解神经网络和 PyTorch 的基本用法。

强化学习和大模型有什么关系？

大语言模型的对齐和推理训练大量使用强化学习，例如基于人类反馈的强化学习（RLHF）、DPO 以及 DeepSeek 使用的 GRPO。

什么是强化学习

强化学习（Reinforcement Learning，RL）研究的是：一个智能体如何通过与环境不断交互、根据获得的奖励来学习做决策，使长期累积奖励最大。它不像监督学习那样有人告诉你“正确答案”，智能体只能从“做了某个动作之后得到多少奖励”这种评价性反馈中自己摸索。下棋、玩游戏、机器人控制、推荐系统，以及大语言模型的对齐训练，都可以用强化学习来建模。

一个直观的例子

想象训练一只小狗坐下：你发出口令，小狗做出某个动作；如果它坐下了，你就给它零食（正奖励），否则什么也不给。经过多次尝试，小狗会学到“听到口令就坐下”这一策略。

这里已经包含了强化学习的全部要素：

要素	小狗例子	一般含义
智能体（Agent）	小狗	做决策、执行动作的学习者
环境（Environment）	你和周围的一切	智能体之外、对动作做出响应的部分
状态（State）	听到口令时的情境	对当前情况的描述
动作（Action）	坐下、趴下、跑开……	智能体可以做出的选择
奖励（Reward）	零食	环境给出的标量反馈信号
策略（Policy）	“听到口令就坐下”	从状态到动作的映射

强化学习与其他机器学习范式的区别

监督学习：每个样本都带有正确标签，目标是拟合输入到标签的映射。反馈是“指导性”的：直接告诉你正确答案。
无监督学习：没有标签，目标是发现数据中的结构（聚类、降维、生成）。
强化学习：没有正确答案，只有奖励。反馈是“评价性”的：只告诉你这个动作好不好、好多少。

此外，强化学习还有几个独特的难点：

延迟奖励：一个动作的后果可能很久以后才显现，例如围棋中某步棋的好坏要到终局才知道。这带来了信用分配（credit assignment）问题。
探索与利用的权衡（exploration vs. exploitation）：是选择当前已知最好的动作，还是尝试新动作以发现更好的选择？
数据不是独立同分布的：智能体的策略决定了它会看到什么数据，策略一变，数据分布也跟着变。

目标：最大化累积回报

智能体在每个时间步 $t$ 观察状态 $S_{t}$ ，选择动作 $A_{t}$ ，环境返回奖励 $R_{t + 1}$ 和下一状态 $S_{t + 1}$ 。强化学习的目标不是最大化某一步的奖励，而是最大化回报（return），即未来奖励的折扣和：

G_{t} = R_{t + 1} + γ R_{t + 2} + γ^{2} R_{t + 3} + \dots = \sum_{k = 0}^{\infty} γ^{k} R_{t + k + 1}

其中 $γ \in [0, 1]$ 是折扣因子。 $γ$ 越接近 0，智能体越“短视”；越接近 1，越重视长期收益。

强化学习的核心概念速览

策略 $π (a ∣ s)$ ：在状态 $s$ 下选择动作 $a$ 的概率。
状态价值函数 $v_{π} (s)$ ：从状态 $s$ 出发、按策略 $π$ 行动所能获得的期望回报。
动作价值函数 $q_{π} (s, a)$ ：在状态 $s$ 先执行动作 $a$ 、之后按策略 $π$ 行动的期望回报。
模型：对环境的刻画，即状态转移概率 $p (s^{'}, r ∣ s, a)$ 。有模型的方法利用它做规划，无模型的方法直接从交互经验中学习。

这些概念会在马尔可夫决策过程和贝尔曼方程两节中严格定义。

强化学习的典型应用

游戏：DQN 在 Atari 游戏上达到人类水平；AlphaGo / AlphaZero 在围棋上击败顶尖棋手。
机器人与控制：机械臂抓取、四足机器人行走、自动驾驶中的决策规划。
推荐与广告：把用户长期留存、长期价值作为优化目标。
大语言模型：RLHF 用人类偏好训练奖励模型，再用 PPO 等算法微调模型；GRPO 等方法被用于提升模型的推理能力。详见 RLHF 与大模型中的 RL。

小结与下一步

强化学习 = 智能体在环境中试错 + 根据奖励改进策略 + 目标是长期累积回报。下一节智能体与环境会详细讲解两者之间的交互循环。

练习题

举出一个你生活或工作中可以用强化学习建模的问题，分别指出其中的智能体、环境、状态、动作和奖励。
设 $γ = 0.9$ ，奖励序列为 $R_{1} = 1, R_{2} = 0, R_{3} = 2$ ，之后全为 0。计算 $G_{0}$ 和 $G_{1}$ ，并验证 $G_{0} = R_{1} + γ G_{1}$ 。
若每一步奖励恒为 1，求 $γ = 0.9$ 和 $γ = 0.99$ 时的回报 $G_{t}$ 。这对“有效规划视野”意味着什么？
为什么说监督学习的反馈是“指导性”的，而强化学习的反馈是“评价性”的？各举一例。
在围棋中，如果只在终局给出 +1/−1 奖励，会带来什么学习上的困难？

参考文献

Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.), 第 1 章. MIT Press.
Mnih, V. et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.
Silver, D. et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529, 484–489.
Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. NeurIPS.

什么是强化学习 ​

一个直观的例子 ​

强化学习与其他机器学习范式的区别 ​

目标：最大化累积回报 ​

强化学习的核心概念速览 ​

强化学习的典型应用 ​

小结与下一步 ​

练习题 ​

参考文献 ​