# 【论文速递】DeepSeekMath 与 GRPO：去掉价值网络的组相对策略优化

> 来源：https://dqn.cn/papers/2026-10-deepseekmath-grpo ｜ 作者：DQN.CN 编辑部 ｜ 发布：2026-10-26 ｜ 更新：2026-10-30 ｜ 许可：CC BY-NC-SA 4.0（文字）/ MIT（代码）

## 论文信息

| 项目 | 内容 |
| --- | --- |
| 标题 | *DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models* |
| 作者 | Zhihong Shao, Peiyi Wang, Qihao Zhu, Runxin Xu, Junxiao Song, Xiao Bi, Haowei Zhang, Mingchuan Zhang, Y. K. Li, Y. Wu, Daya Guo |
| 机构 | DeepSeek-AI、清华大学、北京大学 |
| 发表 | arXiv 预印本，2024 |
| 链接 | [arXiv:2402.03300](https://arxiv.org/abs/2402.03300) |
| 关键词 | 数学推理、GRPO、PPO、结果监督 / 过程监督 |

## 一句话总结

论文有两大贡献：一是从 Common Crawl 中挖掘出 120B token 的高质量数学语料，继续预训练得到 DeepSeekMath 7B；二是提出 **GRPO（Group Relative Policy Optimization）**——对同一问题采样一组回答，用组内奖励的均值和标准差做归一化来代替 PPO 的价值网络，显著降低显存开销。经过 GRPO 训练，7B 模型在 MATH 基准上达到 51.7%（不借助外部工具和投票）。GRPO 后来成为 DeepSeek-R1 等推理模型训练的核心算法。

## 背景

用 PPO 微调大语言模型（见 [PPO 解读](https://dqn.cn/papers/2026-10-ppo)）时，需要一个与策略规模相当的**价值网络**来估计优势，这带来很大的显存和计算负担。更麻烦的是，在 LLM 场景中奖励模型通常只给最后一个 token 打分，要训练出在每个 token 上都准确的价值函数本身就很困难。

数学题有一个好性质：同一个问题可以采样多个解答，并用答案是否正确（或奖励模型）来打分。那么，**同一问题下多个解答的平均得分**本身就是一个天然的基线。

## 核心方法

### 1. 数据：DeepSeekMath 语料

- 以 OpenWebMath 为正例种子，训练 fastText 分类器从 Common Crawl 中召回数学网页，再结合人工标注扩充种子、迭代训练分类器；四轮迭代后得到 3550 万个网页、共 120B token（第四轮时近 98% 的数据在第三轮已收集到，于是停止）。
- 过滤掉包含 GSM8K、MATH 等基准题目或答案的网页，以避免测试集污染。
- 从代码模型 DeepSeek-Coder-Base-v1.5 7B 初始化继续预训练。论文发现从代码模型出发比从通用模型出发更好。基座模型 DeepSeekMath-Base 7B 在 GSM8K 上达到 64.2%、MATH 上 36.2%，超过 Minerva 540B。

### 2. 回顾：PPO 在 LLM 中的形式

PPO 最大化裁剪目标，优势 $A_t$ 由 GAE 基于奖励和价值网络 $V_\psi$ 计算；奖励中通常逐 token 加入 KL 惩罚：

$$
r_t = r_\varphi(q, o_{\le t}) - \beta\log\frac{\pi_\theta(o_t \mid q, o_{<t})}{\pi_\text{ref}(o_t \mid q, o_{<t})}
$$

### 3. GRPO 目标

对每个问题 $q$，从旧策略采样一组 $G$ 个输出 $\{o_1,\ldots,o_G\}$，最大化

$$
\mathcal{J}_\text{GRPO}(\theta) = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|}\Big\{\min\big(\rho_{i,t}\hat A_{i,t},\ \mathrm{clip}(\rho_{i,t}, 1-\varepsilon, 1+\varepsilon)\hat A_{i,t}\big) - \beta\,\mathrm{D_{KL}}\big[\pi_\theta\,\|\,\pi_\text{ref}\big]\Big\}\right]
$$

其中 $\rho_{i,t} = \dfrac{\pi_\theta(o_{i,t} \mid q, o_{i,<t})}{\pi_{\theta_\text{old}}(o_{i,t} \mid q, o_{i,<t})}$。与 PPO 相比有两个变化：

**（1）组相对优势，不需要价值网络。** 结果监督（只对整个回答打分）时，奖励为 $\mathbf{r} = \{r_1,\ldots,r_G\}$，回答 $o_i$ 的每个 token 共享同一个优势：

$$
\hat A_{i,t} = \tilde r_i = \frac{r_i - \mathrm{mean}(\mathbf{r})}{\mathrm{std}(\mathbf{r})}
$$

过程监督（对每个推理步骤打分）时，先把所有步骤奖励按同样方式归一化，每个 token 的优势取其后所有步骤归一化奖励之和。

**（2）KL 直接加在损失里，而不是加在奖励里**，并使用无偏且恒为正的估计量：

$$
\mathrm{D_{KL}}\big[\pi_\theta\,\|\,\pi_\text{ref}\big] = \frac{\pi_\text{ref}(o_{i,t} \mid q, o_{i,<t})}{\pi_\theta(o_{i,t} \mid q, o_{i,<t})} - \log\frac{\pi_\text{ref}(o_{i,t} \mid q, o_{i,<t})}{\pi_\theta(o_{i,t} \mid q, o_{i,<t})} - 1
$$

这样优势的计算不会被 KL 项搅乱。

```text
输入：初始策略 π_θ（SFT 模型），奖励模型 r_φ，问题集 D
for 每次迭代:
    π_ref ← π_θ
    for 每一步:
        采样一批问题；π_old ← π_θ
        对每个问题 q 采样 G 个回答 {o_i}
        用 r_φ 打分得到 {r_i}，组内归一化得到 Â_{i,t}
        在这批数据上做若干次 GRPO 梯度更新
    （迭代 RL）用新策略的采样继续训练奖励模型
```

### 4. 训练设置（论文给出的数值）

RL 数据为 SFT 数据中与 GSM8K、MATH 相关的约 14.4 万道链式思维格式的问题；策略学习率 1e-6，KL 系数 0.04，每个问题采样 64 个输出。

### 5. 统一视角

论文把 SFT、拒绝采样微调（RFT）、DPO、PPO、GRPO 写成统一的梯度形式：

$$
\nabla_\theta\mathcal{J}_\mathcal{A}(\theta) = \mathbb{E}_{(q,o)\sim\mathcal{D}}\left[\frac{1}{|o|}\sum_{t=1}^{|o|} GC_\mathcal{A}(q, o, t, \pi_{rf})\,\nabla_\theta\log\pi_\theta(o_t \mid q, o_{<t})\right]
$$

不同方法的区别只在三处：**数据来源**（离线数据还是当前策略在线采样）、**奖励函数**（规则还是模型）、**梯度系数** $GC$。实验表明在线采样优于离线数据；过程监督优于结果监督；迭代式 RL（不断更新奖励模型）能进一步提升，尤其是第一轮迭代。

## 关键实验结论

- **主结果**：DeepSeekMath-RL 7B 在 MATH 上达到 51.7%（不使用外部工具和投票），接近 Gemini-Ultra 和 GPT-4；64 个样本自洽投票（self-consistency）达到 60.9%。
- **GRPO 带来的提升**（只用 SFT 数据中 GSM8K 和 MATH 相关的思维链数据）：相对 DeepSeekMath-Instruct 7B，GSM8K 从 82.9% 提升到 88.2%，MATH 从 46.8% 提升到 51.7%；在 RL 阶段未见过的域外数学任务上也有提升（如 CMATH 从 84.6% 到 88.8%）。
- **RL 为什么有效**：RL 提升了 Maj@K（多数投票的准确率），但没有提升 Pass@K（K 次采样中至少一次正确的比例）。作者据此认为，RL 主要是让输出分布更稳健——把正确答案“推到前面”，而不是赋予模型根本性的新能力。

## 优点与局限

**优点**

- 去掉价值网络，显存和计算开销明显下降，特别适合大模型；
- 组内归一化的基线与“同一问题采样多个解答”的场景天然契合，配合可验证的规则奖励（答案对错）非常简单有效；
- 统一视角清楚地说明了 SFT、RFT、DPO、PPO 之间的关系。

**局限**

- 每个问题都要采样多个回答，生成成本高；
- 如果一组回答全对或全错，标准差为零、优势全为零，这组数据不提供学习信号；
- 按回答长度 $1/|o_i|$ 平均和除以标准差会引入长度与难度方面的偏差，后续工作（如 Dr. GRPO、DAPO）对此做了修正；
- 论文自己的分析也显示，RL 提升的主要是 Maj@K 而非 Pass@K，能否真正扩展模型的推理边界仍有争论。

## 与本站教程的联系

- [RLHF 与大模型中的 RL](https://dqn.cn/advanced/rlhf-llm)：介绍 GRPO 并用玩具“问答”环境从零实现，实测正确回答的概率从约 0.12 升到约 1.0。
- [PPO](https://dqn.cn/advanced/ppo)：GRPO 的基础。
- [策略梯度：REINFORCE](https://dqn.cn/advanced/reinforce)：GRPO 的组均值基线本质上是 REINFORCE 中基线思想的一种实现。
- 站内论文速递：[DPO](https://dqn.cn/papers/2026-10-dpo)。

## 参考文献

- Shao, Z., Wang, P., Zhu, Q., et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. [arXiv:2402.03300](https://arxiv.org/abs/2402.03300)
- DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. [arXiv:2501.12948](https://arxiv.org/abs/2501.12948)
- Liu, Z., Chen, C., Li, W., et al. (2025). Understanding R1-Zero-Like Training: A Critical Perspective. [arXiv:2503.20783](https://arxiv.org/abs/2503.20783)
- Yu, Q., Zhang, Z., Zhu, R., et al. (2025). DAPO: An Open-Source LLM Reinforcement Learning System at Scale. [arXiv:2503.14476](https://arxiv.org/abs/2503.14476)
- Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal Policy Optimization Algorithms. [arXiv:1707.06347](https://arxiv.org/abs/1707.06347)

## 如何引用本文

DQN.CN 编辑部. 【论文速递】DeepSeekMath 与 GRPO：去掉价值网络的组相对策略优化[EB/OL]. DQN.CN, 2026-10-26（更新于 2026-10-30）. https://dqn.cn/papers/2026-10-deepseekmath-grpo.