# 【论文速递】SAC：最大熵框架下的离策略 Actor-Critic

> 来源：https://dqn.cn/papers/2026-10-sac ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-12 ｜ 更新：2026-10-30 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

## 论文信息

| 项目 | 内容 |
| --- | --- |
| 标题 | *Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor* |
| 作者 | Tuomas Haarnoja, Aurick Zhou, Pieter Abbeel, Sergey Levine |
| 机构 | UC Berkeley |
| 发表 | ICML 2018 |
| 链接 | [arXiv:1801.01290](https://arxiv.org/abs/1801.01290) · 后续版本 *Soft Actor-Critic Algorithms and Applications* [arXiv:1812.05905](https://arxiv.org/abs/1812.05905) |
| 关键词 | 最大熵 RL、随机策略、离策略、连续控制 |

## 一句话总结

在“最大化回报的同时最大化策略熵”的框架下，SAC 把离策略学习（经验回放，样本效率高）和随机策略的 Actor-Critic（训练稳定）结合起来，在 MuJoCo 连续控制基准上同时取得了高样本效率、高最终性能和跨随机种子的稳定性；后续版本加入了温度参数的自动调节，使它几乎“开箱即用”。

## 背景：两个老问题

论文开篇指出无模型深度 RL 的两大障碍：**样本复杂度高**和**收敛脆弱、需要精细调参**。

- 同策略方法（TRPO、PPO）稳定，但每批数据用完即弃，样本效率低；
- 离策略方法 DDPG 样本效率高，但对超参数极其敏感、不同种子之间结果差异大；
- 已有的最大熵方法（如 Soft Q-learning）采用 Q-learning 形式，需要近似采样，实现复杂。

## 核心方法

### 1. 最大熵目标

$$
J(\pi) = \sum_{t=0}^{T} \mathbb{E}_{(s_t,a_t)\sim\rho_\pi}\big[r(s_t,a_t) + \alpha\,\mathcal{H}(\pi(\cdot \mid s_t))\big]
$$

温度 $\alpha$ 决定熵相对于奖励的权重。直观上，智能体要“在完成任务的前提下尽可能随机地行动”。好处包括：更充分的探索、能够学到多种近似最优的行为模式、对模型误差和扰动更鲁棒。

### 2. 软策略迭代（表格情形的理论）

软贝尔曼备份算子为

$$
\mathcal{T}^\pi Q(s_t,a_t) = r(s_t,a_t) + \gamma\,\mathbb{E}_{s_{t+1}}\big[V(s_{t+1})\big],\qquad V(s_t) = \mathbb{E}_{a_t\sim\pi}\big[Q(s_t,a_t) - \alpha\log\pi(a_t \mid s_t)\big]
$$

策略改进步把策略投影到 Q 的玻尔兹曼分布上：

$$
\pi_\text{new} = \arg\min_{\pi'\in\Pi} \mathrm{D_{KL}}\Big(\pi'(\cdot \mid s_t)\ \Big\|\ \frac{\exp(Q^{\pi_\text{old}}(s_t,\cdot)/\alpha)}{Z^{\pi_\text{old}}(s_t)}\Big)
$$

论文证明在表格情形下，交替进行软策略评估和软策略改进会收敛到策略集合 $\Pi$ 中的最优最大熵策略。

### 3. 函数逼近下的 SAC

- **Critic**：两个独立训练的 Q 网络，计算目标时取最小值，以抑制过估计（与 TD3 的思路相同）；软目标网络用 Polyak 平均更新。
- **Actor**：用重参数化技巧 $a_t = f_\phi(\epsilon_t; s_t)$（高斯采样后经过 $\tanh$ 压缩），最小化
$$
J_\pi(\phi) = \mathbb{E}_{s_t\sim D,\ \epsilon_t\sim\mathcal{N}}\big[\alpha\log\pi_\phi(f_\phi(\epsilon_t;s_t)\mid s_t) - Q_\theta(s_t, f_\phi(\epsilon_t;s_t))\big]
$$
- 2018 年 ICML 版本还单独学习一个状态价值网络 $V_\psi$；后续版本把它去掉了，直接用 Q 网络和策略计算软价值。

### 4. 温度自动调节（arXiv:1812.05905）

原始版本中 $\alpha$ 是固定的（等价于调节奖励尺度），论文发现性能对它很敏感：奖励尺度太小，策略接近均匀分布、学不到东西；太大则过早变得确定、探索不足。后续版本把问题改写为带熵约束的优化：最大化回报，同时要求期望熵不低于目标值 $\bar{\mathcal{H}}$，由对偶推导得到

$$
J(\alpha) = \mathbb{E}_{a_t\sim\pi_t}\big[-\alpha\log\pi_t(a_t \mid s_t) - \alpha\bar{\mathcal{H}}\big]
$$

实践中常取 $\bar{\mathcal{H}} = -\dim(\mathcal{A})$（动作维度的负数）。

## 关键实验结论

- **MuJoCo 基准**（Hopper、Walker2d、HalfCheetah、Ant、Humanoid 以及 rllab Humanoid）：与 DDPG、PPO、Soft Q-learning 以及同期的 TD3 相比，SAC 在较简单的任务上与基线相当，在较难的任务上无论学习速度还是最终性能都大幅领先。论文特别指出，DDPG 在 Ant-v1、Humanoid-v1 和 rllab Humanoid 上几乎没有进展；SAC 也比 PPO 学得快得多。具体曲线见原文图 1。
- **跨种子稳定性**：与其他离策略算法相比，SAC 在不同随机种子下的表现非常接近。
- **消融**：随机策略 + 熵最大化比确定性变体更稳定；奖励尺度（即温度）是最敏感的超参数，这直接促成了后续的自动调温。
- **真实机器人**（后续版本）：在 Minitaur 四足机器人上直接在真实世界中学会行走，以及用灵巧手根据 RGB 图像转动阀门。

## 优点与局限

**优点**

- 离策略，样本效率高；随机策略 + 熵正则带来稳定性和良好的探索；
- 自动调温后，超参数在许多任务上可以共享，是连续控制任务的首选基线之一。

**局限**

- 主要面向连续动作；离散动作版本（SAC-Discrete）需要额外处理；
- 两个 Q 网络 + 策略网络，计算开销高于 PPO；
- 目标熵 $-\dim(\mathcal{A})$ 是启发式选择，对一些任务未必合适；
- 与所有离策略方法一样，不能直接用于纯离线数据（会遇到外推误差，见 [CQL 解读](https://dqn.cn/papers/2026-10-cql)）。

## 与本站教程的联系

- [SAC 教程](https://dqn.cn/advanced/sac)：从零实现带自动调温的 SAC，在 Pendulum-v1 上实测，并观察温度 $\alpha$ 的变化。
- [DDPG](https://dqn.cn/advanced/ddpg)、[TD3](https://dqn.cn/advanced/td3)：同属离策略连续控制方法，便于对比。
- [算法对照表](https://dqn.cn/code/algorithm-comparison)：如何在 PPO、SAC、TD3 之间选择。

## 参考文献

- Haarnoja, T., Zhou, A., Abbeel, P., & Levine, S. (2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. *ICML*. [arXiv:1801.01290](https://arxiv.org/abs/1801.01290)
- Haarnoja, T., Zhou, A., Hartikainen, K., et al. (2018). Soft Actor-Critic Algorithms and Applications. [arXiv:1812.05905](https://arxiv.org/abs/1812.05905)
- Haarnoja, T., Tang, H., Abbeel, P., & Levine, S. (2017). Reinforcement Learning with Deep Energy-Based Policies. *ICML*. [arXiv:1702.08165](https://arxiv.org/abs/1702.08165)
- Fujimoto, S., van Hoof, H., & Meger, D. (2018). Addressing Function Approximation Error in Actor-Critic Methods. *ICML*. [arXiv:1802.09477](https://arxiv.org/abs/1802.09477)

## 如何引用本文

DQN.CN 编辑部. 【论文速递】SAC：最大熵框架下的离策略 Actor-Critic[EB/OL]. DQN.CN, 2026-10-12（更新于 2026-10-30）. https://dqn.cn/papers/2026-10-sac.