# 【论文速递】PPO：近端策略优化算法

> 来源：https://dqn.cn/papers/2026-10-ppo ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-08 ｜ 更新：2026-10-30 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

## 论文信息

| 项目 | 内容 |
| --- | --- |
| 标题 | *Proximal Policy Optimization Algorithms* |
| 作者 | John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov |
| 机构 | OpenAI |
| 发表 | arXiv 预印本，2017 |
| 链接 | [arXiv:1707.06347](https://arxiv.org/abs/1707.06347) |
| 关键词 | 策略梯度、信赖域、裁剪代理目标 |

## 一句话总结

用一个简单的**裁剪（clipped）代理目标**代替 TRPO 的硬约束，使得同一批数据可以安全地做多轮小批量梯度更新；PPO 保留了信赖域方法的稳定性，实现却只需几行代码，此后成为最常用的同策略深度 RL 算法，也是 RLHF 的默认优化器。

## 背景：为什么需要 PPO

标准策略梯度（如 REINFORCE、A2C）每批数据只能做一次梯度更新：如果在同一批数据上反复优化 $\hat{\mathbb{E}}_t[\log \pi_\theta(a_t|s_t)\hat A_t]$，策略会走得太远，性能可能崩溃。

TRPO 通过 KL 约束 $\hat{\mathbb{E}}_t[\mathrm{KL}[\pi_{\theta_\text{old}}(\cdot|s_t), \pi_\theta(\cdot|s_t)]] \le \delta$ 限制每步更新幅度，理论优美，但需要共轭梯度和线搜索，实现复杂，并且与参数共享（策略和价值共用网络）、dropout 等结构不兼容。PPO 的目标是：**拿到 TRPO 的稳定性，只用一阶优化**。

## 核心方法

### 1. 概率比与代理目标

记概率比 $r_t(\theta) = \dfrac{\pi_\theta(a_t \mid s_t)}{\pi_{\theta_\text{old}}(a_t \mid s_t)}$，TRPO 最大化的代理目标（CPI 目标）为 $L^{CPI}(\theta) = \hat{\mathbb{E}}_t[r_t(\theta)\hat A_t]$。不加约束地最大化它会导致过大的更新。

### 2. 裁剪代理目标

$$
L^{CLIP}(\theta) = \hat{\mathbb{E}}_t\Big[\min\big(r_t(\theta)\hat A_t,\ \mathrm{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat A_t\big)\Big]
$$

取未裁剪项与裁剪项的**最小值**，得到原目标的一个悲观下界：

- 当 $\hat A_t > 0$（动作比预期好），$r_t$ 超过 $1+\epsilon$ 后目标不再增加，没有动力继续提高该动作概率；
- 当 $\hat A_t < 0$（动作比预期差），$r_t$ 低于 $1-\epsilon$ 后同样不再有梯度；
- 但如果更新让目标**变差**（例如 $\hat A_t>0$ 时 $r_t$ 变小），最小值会选中未裁剪项，梯度照常把它拉回来。

### 3. 备选方案：自适应 KL 惩罚

论文也提出了 $L^{KLPEN}(\theta) = \hat{\mathbb{E}}_t[r_t(\theta)\hat A_t - \beta\,\mathrm{KL}[\pi_{\theta_\text{old}}, \pi_\theta]]$，并根据实测 KL 与目标值 $d_\text{targ}$ 的比较把 $\beta$ 加倍或减半。实验中它不如裁剪版本，但这一思路在 RLHF 中以“KL 惩罚”的形式被广泛使用。

### 4. 完整目标与算法

与价值函数共享网络时，联合优化

$$
L_t^{CLIP+VF+S}(\theta) = \hat{\mathbb{E}}_t\big[L_t^{CLIP}(\theta) - c_1 L_t^{VF}(\theta) + c_2 S[\pi_\theta](s_t)\big]
$$

其中 $L^{VF}_t = (V_\theta(s_t) - V_t^\text{targ})^2$，$S$ 为熵奖励。优势估计使用截断的 GAE。

```text
for iteration = 1, 2, ...:
    N 个并行 actor 各用 π_old 运行 T 步，收集 NT 条数据
    用 GAE 计算优势估计 Â_1, ..., Â_T
    在这批数据上，以小批量（大小 M ≤ NT）对 L 做 K 轮优化
    θ_old ← θ
```

## 关键实验结论

- **代理目标对比（MuJoCo 7 个环境，每种设置 21 次运行）**：平均归一化分数中，“不裁剪也不惩罚”为 −0.39（在 HalfCheetah 上甚至比初始随机策略还差），裁剪 $\epsilon = 0.1/0.2/0.3$ 分别为 0.76 / **0.82** / 0.70，各种自适应或固定 KL 惩罚在 0.62–0.74 之间。$\epsilon=0.2$ 的裁剪最好，这也是今天的默认值。
- **连续控制**：在 100 万步的 MuJoCo 基准上，PPO 在几乎所有环境上优于 TRPO、CEM、自适应步长的 vanilla PG、A2C 及带信赖域的 A2C 等对比算法。论文还展示了 Roboschool 3D 人形机器人的奔跑、转向和起身任务。
- **Atari（49 款游戏）**：与调好参数的 A2C、ACER 比较“获胜”游戏数。按整个训练期的平均回报（偏向学得快）：A2C 1 款、ACER 18 款、PPO **30 款**；按最后 100 回合的平均回报（偏向最终性能）：A2C 1 款、ACER **28 款**、PPO 19 款。即 PPO 学得更快，最终性能与 ACER 互有胜负，但实现简单得多。

## 优点与局限

**优点**

- 实现简单、对超参数相对不敏感，在离散和连续动作上都能用；
- 支持多轮小批量更新，比 A2C 更省样本；
- 易于大规模并行，OpenAI Five、早期 RLHF（InstructGPT）都基于 PPO。

**局限**

- 仍是同策略算法，数据用完即弃，样本效率不如 SAC、TD3 等离策略方法；
- 裁剪并不能严格保证信赖域：后续研究（如 Engstrom 等人 2020 年的 *Implementation Matters in Deep Policy Gradients*）发现，PPO 的性能很大程度上依赖优势归一化、价值裁剪、学习率退火、观测归一化等“代码级优化”；
- 在大语言模型场景中需要额外的价值网络，显存开销大，这正是后来 GRPO 等方法要解决的问题。

## 与本站教程的联系

- [PPO 教程](https://dqn.cn/advanced/ppo)：从零实现 PPO-Clip（GAE、并行环境、多轮小批量），在 CartPole 上实测，并讨论了 epoch 数对稳定性的影响。
- [TRPO](https://dqn.cn/advanced/trpo)：PPO 要简化的前身。
- [Actor-Critic：A2C / A3C](https://dqn.cn/advanced/actor-critic)：GAE 与并行采样的基础。
- [RLHF 与大模型中的 RL](https://dqn.cn/advanced/rlhf-llm)：PPO 在大模型对齐中的应用。
- 站内论文速递：[DeepSeekMath / GRPO](https://dqn.cn/papers/2026-10-deepseekmath-grpo)。

## 参考文献

- Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal Policy Optimization Algorithms. [arXiv:1707.06347](https://arxiv.org/abs/1707.06347)
- Schulman, J., Levine, S., Moritz, P., Jordan, M., & Abbeel, P. (2015). Trust Region Policy Optimization. *ICML*. [arXiv:1502.05477](https://arxiv.org/abs/1502.05477)
- Schulman, J., Moritz, P., Levine, S., Jordan, M., & Abbeel, P. (2016). High-Dimensional Continuous Control Using Generalized Advantage Estimation. *ICLR*. [arXiv:1506.02438](https://arxiv.org/abs/1506.02438)
- Engstrom, L., Ilyas, A., Santurkar, S., et al. (2020). Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO. *ICLR*. [arXiv:2005.12729](https://arxiv.org/abs/2005.12729)

## 如何引用本文

DQN.CN 编辑部. 【论文速递】PPO：近端策略优化算法[EB/OL]. DQN.CN, 2026-10-08（更新于 2026-10-30）. https://dqn.cn/papers/2026-10-ppo.