【论文速递】CQL：保守 Q 学习与离线强化学习

论文信息

项目	内容
标题	Conservative Q-Learning for Offline Reinforcement Learning
作者	Aviral Kumar, Aurick Zhou, George Tucker, Sergey Levine
机构	UC Berkeley、Google Research
发表	NeurIPS 2020
链接	arXiv:2006.04779
关键词	离线 RL、分布偏移、价值下界、正则化

一句话总结

离线 RL 中，标准离策略算法会高估数据集中没出现过的动作的价值，策略又恰好去追逐这些被高估的动作；CQL 在 Bellman 误差之外加一个简单的正则项，压低（当前策略认为好的）任意动作的 Q 值、抬高数据集中动作的 Q 值，从理论上保证学到的策略价值是真实价值的下界，在 D4RL 和离线 Atari 上大幅超过已有方法。

背景：外推误差

离线强化学习只能使用固定数据集 $D$ （由某个行为策略 $π_{β}$ 收集），不能再与环境交互。直接把 DQN、SAC 等离策略算法用在 $D$ 上通常会失败：

Bellman 目标 $r + γ E_{a^{'} \sim π} [Q (s^{'}, a^{'})]$ 需要评估策略 $π$ 选出的动作 $a^{'}$ ，而这些动作可能从未在数据中出现（分布外，OOD）；
网络对 OOD 动作的 Q 值预测没有任何数据约束，误差可能很大；策略优化又专门挑 Q 值高的动作，于是被高估的 OOD 动作被选中，误差通过自举不断累积；
在线 RL 中，智能体去尝试这些动作就能纠正错误；离线时没有这个机会。

此前的方法（BEAR、BRAC 等）主要通过约束策略接近行为策略来缓解，但需要估计 $π_{β}$ ，且约束过紧会限制改进。CQL 换了一个思路：直接让 Q 函数本身变得保守。

核心方法

1. 逐点下界（式 1）

在标准 Bellman 误差上加一项，最小化某个分布 $μ$ 下的 Q 值：

{\hat{Q}}^{k + 1} \leftarrow \arg min_{Q} α E_{s \sim D, a \sim μ (a | s)} [Q (s, a)] + \frac{1}{2} E_{s, a, s^{'} \sim D} [(Q (s, a) - {\hat{B}}^{π} {\hat{Q}}^{k} (s, a))^{2}]

论文证明，对足够大的 $α$ ，得到的 ${\hat{Q}}^{π}$ 是 $Q^{π}$ 的逐点下界。但这个下界过于保守。

2. 更紧的价值下界（式 2）

再加上一项，最大化数据集中动作的 Q 值：

{\hat{Q}}^{k + 1} \leftarrow \arg min_{Q} α (E_{s \sim D, a \sim μ} [Q (s, a)] - E_{s \sim D, a \sim {\hat{π}}_{β}} [Q (s, a)]) + \frac{1}{2} E_{s, a, s^{'} \sim D} [(Q (s, a) - {\hat{B}}^{π} {\hat{Q}}^{k} (s, a))^{2}]

当 $μ = π$ 时， ${\hat{Q}}^{π}$ 不再是逐点下界，但其在策略下的期望 $E_{π (a | s)} [{\hat{Q}}^{π} (s, a)] \leq V^{π} (s)$ 是状态价值的下界（论文定理 3.2）。直观理解：数据里常见的动作可以被抬高，策略想去的“陌生”动作被压低。

3. CQL(H)：实际使用的形式

把 $μ$ 取为使上式最大的分布并加上熵正则，内层最大化有闭式解，正则项变为 log-sum-exp：

min_{Q} α E_{s \sim D} [\log \sum_{a} \exp (Q (s, a)) - E_{a \sim {\hat{π}}_{β} (a | s)} [Q (s, a)]] + \frac{1}{2} E_{s, a, s^{'} \sim D} [(Q - {\hat{B}}^{π_{k}} {\hat{Q}}^{k})^{2}]

离散动作：log-sum-exp 可以直接精确计算（torch.logsumexp），实现上就是在 DQN 损失上加几行代码；
连续动作：用均匀分布和当前策略的样本做重要性采样来估计；
论文还证明 CQL 的更新是“拉大差距”（gap-expanding）的：数据内动作与 OOD 动作的 Q 值差距大于真实 Q 函数中的差距，从而隐式地把策略约束在数据分布附近。

下面是在 DQN 基础上的最简写法（论文的离散动作实验实际建立在 QR-DQN 之上，连续动作建立在 SAC 之上，并用 Lagrange 对偶梯度自动调节 $α$ ）：

text

# 离散动作版 CQL（在 DQN 基础上修改）
for 每个梯度步:
    从数据集 D 采样 (s, a, r, s', done)
    td_loss  = (Q(s,a) − [r + γ(1−done) max_a' Q_target(s',a')])²
    cql_loss = logsumexp_a Q(s,·) − Q(s,a)        # 压低所有动作，抬高数据动作
    loss = td_loss + α · cql_loss

关键实验结论

D4RL Gym 运动任务：在单一策略生成的数据集（random、medium、expert）上，CQL 与此前最好的方法相当或略好；在混合多策略的数据集（mixed、medium-expert、random-expert）上大幅领先，有时达到 2–3 倍。论文摘要中概括为“经常取得 2–5 倍的最终回报，特别是在复杂、多模态的数据分布上”。
Adroit（24 自由度灵巧手，人类演示数据）：此前的离线 RL 方法普遍不如行为克隆，CQL 的变体是唯一超过 BC 的方法，得分是次优离线 RL 方法的 2–9 倍。AntMaze、Kitchen 等任务上也优于已有方法。
离线 Atari（Pong、Breakout、Qbert、Seaquest、Asterix，使用 Agarwal 等人发布的 DQN 回放数据）：在只用 1% 数据时大幅超过 REM 和 QR-DQN，10% 数据时通常也更好。
价值估计：实测 CQL 学到的价值确实低于真实回报（下界），而对照方法（包括 Q 集成和 BEAR）倾向于高估。

优点与局限

优点

实现简单：在已有的 DQN / SAC 代码上加一个正则项即可；
不需要显式估计行为策略；
有理论保证（价值下界、策略改进），并在多样化数据上效果突出。

局限

超参数 $α$ 很关键：太小则仍然高估，太大则过度保守、退化为接近行为克隆；论文在连续控制中用 Lagrange 对偶梯度下降自动调节 $α$ ，离散控制中则使用固定值；
过度保守会限制策略超越数据的能力；
正如本站离线 RL 教程中的玩具实验所示：在专家数据上 CQL 能修复朴素 DQN 的崩溃，但在“少量专家 + 大量随机”的数据上，简单的行为克隆反而更好——离线 RL 的效果高度依赖数据构成；
后续的 IQL、TD3+BC 等方法在更简单的实现下取得了相近或更好的结果。

与本站教程的联系

离线强化学习：包含本文离散动作 CQL 的实现和 CartPole 上的实测，与朴素离线 DQN、BC 对比。
DQN、SAC：CQL 的正则项可以直接加在这类算法上（本站离线 RL 教程即在 DQN 上实现）。
站内论文速递：Decision Transformer，另一条完全不同的离线 RL 路线。

参考文献

Kumar, A., Zhou, A., Tucker, G., & Levine, S. (2020). Conservative Q-Learning for Offline Reinforcement Learning. NeurIPS. arXiv:2006.04779
Levine, S., Kumar, A., Tucker, G., & Fu, J. (2020). Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems. arXiv:2005.01643
Fujimoto, S., Meger, D., & Precup, D. (2019). Off-Policy Deep Reinforcement Learning without Exploration. ICML. arXiv:1812.02900
Kostrikov, I., Nair, A., & Levine, S. (2022). Offline Reinforcement Learning with Implicit Q-Learning. ICLR. arXiv:2110.06169
Fujimoto, S., & Gu, S. S. (2021). A Minimalist Approach to Offline Reinforcement Learning. NeurIPS. arXiv:2106.06860

【论文速递】CQL：保守 Q 学习与离线强化学习 ​

论文信息 ​

一句话总结 ​

背景：外推误差 ​

核心方法 ​

1. 逐点下界（式 1） ​

2. 更紧的价值下界（式 2） ​

3. CQL(H)：实际使用的形式 ​

关键实验结论 ​

优点与局限 ​

与本站教程的联系 ​

参考文献 ​