【论文速递】SAC：最大熵框架下的离策略 Actor-Critic

论文信息

项目	内容
标题	Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
作者	Tuomas Haarnoja, Aurick Zhou, Pieter Abbeel, Sergey Levine
机构	UC Berkeley
发表	ICML 2018
链接	arXiv:1801.01290 · 后续版本 Soft Actor-Critic Algorithms and Applications arXiv:1812.05905
关键词	最大熵 RL、随机策略、离策略、连续控制

一句话总结

在“最大化回报的同时最大化策略熵”的框架下，SAC 把离策略学习（经验回放，样本效率高）和随机策略的 Actor-Critic（训练稳定）结合起来，在 MuJoCo 连续控制基准上同时取得了高样本效率、高最终性能和跨随机种子的稳定性；后续版本加入了温度参数的自动调节，使它几乎“开箱即用”。

背景：两个老问题

论文开篇指出无模型深度 RL 的两大障碍：样本复杂度高和收敛脆弱、需要精细调参。

• 同策略方法（TRPO、PPO）稳定，但每批数据用完即弃，样本效率低；
• 离策略方法 DDPG 样本效率高，但对超参数极其敏感、不同种子之间结果差异大；
• 已有的最大熵方法（如 Soft Q-learning）采用 Q-learning 形式，需要近似采样，实现复杂。

核心方法

1. 最大熵目标

$$J(\pi )=\sum _{t=0}^T{\mathbb{E}}_{(s_t,a_t)\sim {\rho }_{\pi }}[r(s_t,a_t)+\alpha \mathcal{H}(\pi (\cdot \mid s_t))]$$

温度 $\alpha$ 决定熵相对于奖励的权重。直观上，智能体要“在完成任务的前提下尽可能随机地行动”。好处包括：更充分的探索、能够学到多种近似最优的行为模式、对模型误差和扰动更鲁棒。

2. 软策略迭代（表格情形的理论）

软贝尔曼备份算子为

$${\mathcal{T}}^{\pi }Q(s_t,a_t)=r(s_t,a_t)+\gamma {\mathbb{E}}_{s_{t+1}}[V(s_{t+1})],V(s_t)={\mathbb{E}}_{a_t\sim \pi }[Q(s_t,a_t)-\alpha \log \pi (a_t\mid s_t)]$$

策略改进步把策略投影到 Q 的玻尔兹曼分布上：

$${\pi }_{\text{new}}=\arg \underset{{\pi }^{\prime }\in \mathrm{\Pi }}{min}{\mathrm{D}}_{\mathrm{KL}}({\pi }^{\prime }(\cdot \mid s_t)\Vert \frac{\exp (Q^{{\pi }_{\text{old}}}(s_t,\cdot )/\alpha )}{Z^{{\pi }_{\text{old}}}(s_t)})$$

论文证明在表格情形下，交替进行软策略评估和软策略改进会收敛到策略集合 $\mathrm{\Pi }$ 中的最优最大熵策略。

3. 函数逼近下的 SAC

• Critic：两个独立训练的 Q 网络，计算目标时取最小值，以抑制过估计（与 TD3 的思路相同）；软目标网络用 Polyak 平均更新。
• Actor：用重参数化技巧 $a_t=f_{\varphi }({ϵ}_t;s_t)$（高斯采样后经过 $\tanh$ 压缩），最小化

$$J_{\pi }(\varphi )={\mathbb{E}}_{s_t\sim D,{ϵ}_t\sim \mathcal{N}}[\alpha \log {\pi }_{\varphi }(f_{\varphi }({ϵ}_t;s_t)\mid s_t)-Q_{\theta }(s_t,f_{\varphi }({ϵ}_t;s_t))]$$

• 2018 年 ICML 版本还单独学习一个状态价值网络 $V_{\psi }$；后续版本把它去掉了，直接用 Q 网络和策略计算软价值。

4. 温度自动调节（arXiv:1812.05905）

原始版本中 $\alpha$ 是固定的（等价于调节奖励尺度），论文发现性能对它很敏感：奖励尺度太小，策略接近均匀分布、学不到东西；太大则过早变得确定、探索不足。后续版本把问题改写为带熵约束的优化：最大化回报，同时要求期望熵不低于目标值 $\overline{\mathcal{H}}$，由对偶推导得到

$$J(\alpha )={\mathbb{E}}_{a_t\sim {\pi }_t}[-\alpha \log {\pi }_t(a_t\mid s_t)-\alpha \overline{\mathcal{H}}]$$

实践中常取 $\overline{\mathcal{H}}=-\dim (\mathcal{A})$（动作维度的负数）。

关键实验结论

• MuJoCo 基准（Hopper、Walker2d、HalfCheetah、Ant、Humanoid 以及 rllab Humanoid）：与 DDPG、PPO、Soft Q-learning 以及同期的 TD3 相比，SAC 在较简单的任务上与基线相当，在较难的任务上无论学习速度还是最终性能都大幅领先。论文特别指出，DDPG 在 Ant-v1、Humanoid-v1 和 rllab Humanoid 上几乎没有进展；SAC 也比 PPO 学得快得多。具体曲线见原文图 1。
• 跨种子稳定性：与其他离策略算法相比，SAC 在不同随机种子下的表现非常接近。
• 消融：随机策略 + 熵最大化比确定性变体更稳定；奖励尺度（即温度）是最敏感的超参数，这直接促成了后续的自动调温。
• 真实机器人（后续版本）：在 Minitaur 四足机器人上直接在真实世界中学会行走，以及用灵巧手根据 RGB 图像转动阀门。

优点与局限

优点

• 离策略，样本效率高；随机策略 + 熵正则带来稳定性和良好的探索；
• 自动调温后，超参数在许多任务上可以共享，是连续控制任务的首选基线之一。

局限

• 主要面向连续动作；离散动作版本（SAC-Discrete）需要额外处理；
• 两个 Q 网络 + 策略网络，计算开销高于 PPO；
• 目标熵 $-\dim (\mathcal{A})$ 是启发式选择，对一些任务未必合适；
• 与所有离策略方法一样，不能直接用于纯离线数据（会遇到外推误差，见 CQL 解读）。

与本站教程的联系

• SAC 教程：从零实现带自动调温的 SAC，在 Pendulum-v1 上实测，并观察温度 $\alpha$ 的变化。
• DDPG、TD3：同属离策略连续控制方法，便于对比。
• 算法对照表：如何在 PPO、SAC、TD3 之间选择。

参考文献

• Haarnoja, T., Zhou, A., Abbeel, P., & Levine, S. (2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. ICML. arXiv:1801.01290
• Haarnoja, T., Zhou, A., Hartikainen, K., et al. (2018). Soft Actor-Critic Algorithms and Applications. arXiv:1812.05905
• Haarnoja, T., Tang, H., Abbeel, P., & Levine, S. (2017). Reinforcement Learning with Deep Energy-Based Policies. ICML. arXiv:1702.08165
• Fujimoto, S., van Hoof, H., & Meger, D. (2018). Addressing Function Approximation Error in Actor-Critic Methods. ICML. arXiv:1802.09477