# 论文速递

> 来源：https://dqn.cn/papers/ ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-30 ｜ 更新：2026-10-30 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

论文速递栏目用中文解读强化学习领域的经典论文和新论文。每篇文章包括：论文信息、一句话总结、研究背景、核心方法（含公式和伪代码）、关键实验结论、优缺点，以及与本站教程的联系。目标是让你用 15 分钟判断一篇论文值不值得精读，并知道读完后该去哪里动手实践。

**我们的写作原则**

- **只写论文里有的数字**：实验结论中的具体数值都来自原文的正文或表格；没有把握的地方只做定性描述。
- **链接可核对**：每篇文章都给出 arXiv 或期刊 DOI 链接，方便你对照原文。
- **与教程打通**：每篇文章都会指向本站对应的教程，那里有可以运行的代码。

## 往期文章

- 2026-10-28 [【论文速递】DreamerV3：一套超参数通吃 150 多个任务的世界模型](https://dqn.cn/papers/2026-10-dreamerv3)：解读 Hafner 等人的 DreamerV3 论文：RSSM 世界模型、在想象轨迹中训练的 Actor-Critic，以及 symlog、KL 平衡、回报百分位归一化等稳健化技巧，如何让一套固定超参数在 150 多个任务上工作并在 Minecraft 中收集钻石。
- 2026-10-26 [【论文速递】DeepSeekMath 与 GRPO：去掉价值网络的组相对策略优化](https://dqn.cn/papers/2026-10-deepseekmath-grpo)：解读 DeepSeekMath 论文：1200 亿 token 数学语料的构建方法，用组内相对奖励代替价值网络的 GRPO（组相对策略优化）算法，以及论文对强化学习为何能提升数学推理能力的统一分析。
- 2026-10-22 [【论文速递】DPO：你的语言模型其实是一个奖励模型](https://dqn.cn/papers/2026-10-dpo)：解读 Rafailov 等人 2023 年的 DPO 论文：从 KL 约束的奖励最大化推导出闭式最优策略，把 RLHF 的奖励建模与强化学习化简为一个偏好数据上的分类损失，以及 DPO 的实验结论、优点与局限。
- 2026-10-19 [【论文速递】CQL：保守 Q 学习与离线强化学习](https://dqn.cn/papers/2026-10-cql)：解读 Kumar 等人 2020 年的 CQL（保守 Q 学习）论文：为什么离线强化学习会因分布外动作而高估价值，CQL 如何通过正则项压低分布外动作的 Q 值、学到真实价值的下界，以及在 D4RL 上的实验结果。
- 2026-10-15 [【论文速递】Decision Transformer：把强化学习看作序列建模](https://dqn.cn/papers/2026-10-decision-transformer)：解读 Chen 等人 2021 年的 Decision Transformer 论文：把离线强化学习转化为以期望回报为条件的序列建模问题，用自回归 Transformer 和监督学习生成动作，在 Atari、D4RL 上与 CQL 等方法的对比及其局限。
- 2026-10-12 [【论文速递】SAC：最大熵框架下的离策略 Actor-Critic](https://dqn.cn/papers/2026-10-sac)：解读 Haarnoja 等人 2018 年的 Soft Actor-Critic 论文及其后续版本：最大熵强化学习目标、软策略迭代的收敛性、重参数化的策略更新与温度系数自动调节，以及 SAC 在连续控制基准上的样本效率与稳定性。
- 2026-10-08 [【论文速递】PPO：近端策略优化算法](https://dqn.cn/papers/2026-10-ppo)：解读 Schulman 等人 2017 年的 PPO 论文《Proximal Policy Optimization Algorithms》：裁剪代理目标与自适应 KL 惩罚、多轮小批量更新、在 MuJoCo 与 Atari 上与 TRPO、A2C、ACER 的对比，以及 PPO 为何如此流行。
- 2026-10-05 [【论文速递】DQN：用深度强化学习达到人类水平的控制](https://dqn.cn/papers/2026-10-dqn-nature)：解读 Mnih 等人 2015 年发表于 Nature 的经典 DQN 论文《Human-level control through deep reinforcement learning》：经验回放与目标网络如何稳定深度 Q 学习，在 49 款 Atari 游戏上的结果，以及局限与后续影响。

### 按主题浏览

| 主题 | 文章 | 相关教程 |
| --- | --- | --- |
| 基于价值的方法 | [DQN（Nature 2015）](https://dqn.cn/papers/2026-10-dqn-nature) | [DQN](https://dqn.cn/advanced/dqn) |
| 策略梯度 | [PPO](https://dqn.cn/papers/2026-10-ppo) | [PPO](https://dqn.cn/advanced/ppo)、[TRPO](https://dqn.cn/advanced/trpo) |
| 连续控制 | [SAC](https://dqn.cn/papers/2026-10-sac) | [SAC](https://dqn.cn/advanced/sac)、[TD3](https://dqn.cn/advanced/td3) |
| 离线强化学习 | [CQL](https://dqn.cn/papers/2026-10-cql)、[Decision Transformer](https://dqn.cn/papers/2026-10-decision-transformer) | [离线强化学习](https://dqn.cn/advanced/offline-rl) |
| 基于模型的 RL | [DreamerV3](https://dqn.cn/papers/2026-10-dreamerv3) | [基于模型的强化学习](https://dqn.cn/advanced/model-based) |
| 大模型与 RL | [DPO](https://dqn.cn/papers/2026-10-dpo)、[DeepSeekMath / GRPO](https://dqn.cn/papers/2026-10-deepseekmath-grpo) | [RLHF 与大模型中的 RL](https://dqn.cn/advanced/rlhf-llm) |

想系统地读论文，可以先看 [必读论文](https://dqn.cn/resources/papers) 中按主题整理的阅读清单。

## 订阅方式

- **RSS**：本站在每次构建时自动生成 RSS 订阅源 <a href="/feed.xml" target="_blank" rel="noopener">https://dqn.cn/feed.xml</a>，可以添加到 Feedly、Inoreader、NetNewsWire 等任意 RSS 阅读器，新文章发布后会自动推送。
- **微信公众号 / 邮件订阅**：筹备中。上线后会在 [社区](https://dqn.cn/community/) 页面公布。

## 投稿与选题

欢迎投稿论文解读，或者告诉我们你最想看的论文：

1. 阅读 [写作模板与规范](https://dqn.cn/papers/template)，复制模板开始写作；
2. 按 [社区 · 贡献指南](https://dqn.cn/community/#贡献指南) 中的流程提交 Pull Request；
3. 只想推荐选题？在社区的问答区留言即可。