【论文速递】Decision Transformer：把强化学习看作序列建模

论文信息

项目	内容
标题	Decision Transformer: Reinforcement Learning via Sequence Modeling
作者	Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee, Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivas, Igor Mordatch
机构	UC Berkeley、Facebook AI Research、Google Brain
发表	NeurIPS 2021
链接	arXiv:2106.01345
关键词	离线 RL、序列建模、GPT、回报条件化

一句话总结

不拟合价值函数、也不计算策略梯度，而是把轨迹写成“剩余回报、状态、动作”交替的 token 序列，用因果 Transformer（GPT）做以期望回报为条件的动作预测；测试时输入一个较高的目标回报，模型就生成能实现这个回报的动作。在 Atari、D4RL 和长程信用分配任务上，它达到或超过了当时主流的离线 RL 方法。

背景

离线强化学习只能使用固定数据集学习。传统做法沿用 TD 学习（如 CQL），需要处理外推误差、价值悲观化等难题，且 TD 自举在长时程、稀疏奖励下的信用分配较慢。与此同时，Transformer 在语言和视觉的大规模序列建模中表现出色。作者提出：能否绕开 TD 学习，直接把 RL 当作条件序列建模问题，用语言模型的那一套来解决？

核心方法

1. 轨迹表示：剩余回报（return-to-go）

对每个时间步定义剩余回报

{\hat{R}}_{t} = \sum_{t^{'} = t}^{T} r_{t^{'}}

轨迹被表示为

τ = ({\hat{R}}_{1}, s_{1}, a_{1}, {\hat{R}}_{2}, s_{2}, a_{2}, \dots, {\hat{R}}_{T}, s_{T}, a_{T})

用“未来还要拿多少回报”而不是“刚刚拿到的奖励”作为条件，模型才能根据期望的未来来选动作。

2. 网络结构

取最近 $K$ 个时间步，共 $3 K$ 个 token；每种模态（回报、状态、动作）各用一个线性层（图像状态用卷积编码器）嵌入，并加上时间步嵌入（同一时间步的三个 token 共用）。
送入 GPT 式因果 Transformer，在状态 token 的位置上预测动作。
训练：从数据集中采样长度为 $K$ 的子序列，离散动作用交叉熵、连续动作用均方误差，纯监督学习。

3. 推理

text

设定目标回报 R̂ ← 期望达到的回报（例如数据集中的最高回报）
s ← env.reset()
循环:
    a ← DT(最近 K 步的 (R̂, s, a) 序列)
    s', r ← env.step(a)
    R̂ ← R̂ − r          # 剩余回报随获得的奖励递减
    把 (R̂, s', a) 追加到序列，s ← s'

关键实验结论

Atari（DQN 回放数据的 1%，即 5000 万条转移中的 50 万条；分数按职业玩家 = 100 归一化，3 个种子）：

游戏	DT	CQL	QR-DQN	REM	BC
Breakout	267.5 ± 97.5	211.1	17.1	8.9	138.9 ± 61.7
Qbert	15.4 ± 11.4	104.2	0.0	0.0	17.3 ± 14.7
Pong	106.1 ± 8.1	111.9	18.0	0.5	85.2 ± 20.0
Seaquest	2.5 ± 0.4	1.7	0.4	0.7	2.1 ± 0.3

论文的总结是：DT 在 4 款游戏中的 3 款上与 CQL 相当，并在全部 4 款上达到或超过 REM、QR-DQN 和 BC。（数值摘自原文表 1，CQL 等基线数字取自其原论文。）

D4RL 连续控制（HalfCheetah、Hopper、Walker 的 medium / medium-replay / medium-expert 数据，以及自建的稀疏奖励 Reacher）：DT 在多数任务上取得最高分，在其余任务上与最优方法相当。
它是不是“高级的行为克隆”？ 作者提出“百分位行为克隆”（%BC，只克隆回报最高的 X% 数据）作为对照：数据充足时（D4RL），%BC 也能匹敌其他离线 RL 方法，而 DT 与最佳 %BC 相当；数据少时（Atari 1%），%BC 很弱，DT 能利用整个数据集，表现更好。
回报条件化：改变目标回报时，实际获得的回报与目标高度相关；在 Pong、HalfCheetah、Walker 等任务上几乎完全按要求“控分”。
长程信用分配：在 Key-to-Door 任务（第一阶段拿钥匙，第三阶段开门才有奖励）上，DT 能把奖励归因到很早之前的拿钥匙动作。

优点与局限

优点

训练就是监督学习：没有自举、没有目标网络、没有策略梯度，稳定且易于实现；
可以直接复用 Transformer 的大规模训练基础设施；
回报条件化让同一个模型可以生成不同水平的行为。

局限

本质上不做“拼接”（stitching）：TD 方法可以把不同轨迹中的好片段组合成数据集中从未出现过的更优轨迹，DT 在这方面较弱，后续工作对此有大量讨论；
目标回报需要人工设定，设得远高于数据中的回报时，模型并不能凭空外推出更好的策略；
在随机性较强的环境中，以回报为条件可能学到“运气好的轨迹”而非好的决策；
推理需要在线维护上下文序列，计算开销高于 MLP 策略。

与本站教程的联系

离线强化学习：外推误差、CQL 与 BC 的实测对比，有助于理解 DT 为什么能绕开这些问题。
模仿学习：DT 与行为克隆关系密切。
RLHF 与大模型中的 RL：另一个把语言模型与 RL 结合的方向。

参考文献

Chen, L., Lu, K., Rajeswaran, A., et al. (2021). Decision Transformer: Reinforcement Learning via Sequence Modeling. NeurIPS. arXiv:2106.01345
Janner, M., Li, Q., & Levine, S. (2021). Offline Reinforcement Learning as One Big Sequence Modeling Problem. NeurIPS. arXiv:2106.02039
Agarwal, R., Schuurmans, D., & Norouzi, M. (2020). An Optimistic Perspective on Offline Reinforcement Learning. ICML. arXiv:1907.04543
Fu, J., Kumar, A., Nachum, O., Tucker, G., & Levine, S. (2020). D4RL: Datasets for Deep Data-Driven Reinforcement Learning. arXiv:2004.07219

【论文速递】Decision Transformer：把强化学习看作序列建模 ​

论文信息 ​

一句话总结 ​

背景 ​

核心方法 ​

1. 轨迹表示：剩余回报（return-to-go） ​

2. 网络结构 ​

3. 推理 ​

关键实验结论 ​

优点与局限 ​

与本站教程的联系 ​

参考文献 ​