【论文速递】DeepSeekMath 与 GRPO：去掉价值网络的组相对策略优化

论文信息

项目	内容
标题	DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
作者	Zhihong Shao, Peiyi Wang, Qihao Zhu, Runxin Xu, Junxiao Song, Xiao Bi, Haowei Zhang, Mingchuan Zhang, Y. K. Li, Y. Wu, Daya Guo
机构	DeepSeek-AI、清华大学、北京大学
发表	arXiv 预印本，2024
链接	arXiv:2402.03300
关键词	数学推理、GRPO、PPO、结果监督 / 过程监督

一句话总结

论文有两大贡献：一是从 Common Crawl 中挖掘出 120B token 的高质量数学语料，继续预训练得到 DeepSeekMath 7B；二是提出 GRPO（Group Relative Policy Optimization）——对同一问题采样一组回答，用组内奖励的均值和标准差做归一化来代替 PPO 的价值网络，显著降低显存开销。经过 GRPO 训练，7B 模型在 MATH 基准上达到 51.7%（不借助外部工具和投票）。GRPO 后来成为 DeepSeek-R1 等推理模型训练的核心算法。

背景

用 PPO 微调大语言模型（见 PPO 解读）时，需要一个与策略规模相当的价值网络来估计优势，这带来很大的显存和计算负担。更麻烦的是，在 LLM 场景中奖励模型通常只给最后一个 token 打分，要训练出在每个 token 上都准确的价值函数本身就很困难。

数学题有一个好性质：同一个问题可以采样多个解答，并用答案是否正确（或奖励模型）来打分。那么，同一问题下多个解答的平均得分本身就是一个天然的基线。

核心方法

1. 数据：DeepSeekMath 语料

以 OpenWebMath 为正例种子，训练 fastText 分类器从 Common Crawl 中召回数学网页，再结合人工标注扩充种子、迭代训练分类器；四轮迭代后得到 3550 万个网页、共 120B token（第四轮时近 98% 的数据在第三轮已收集到，于是停止）。
过滤掉包含 GSM8K、MATH 等基准题目或答案的网页，以避免测试集污染。
从代码模型 DeepSeek-Coder-Base-v1.5 7B 初始化继续预训练。论文发现从代码模型出发比从通用模型出发更好。基座模型 DeepSeekMath-Base 7B 在 GSM8K 上达到 64.2%、MATH 上 36.2%，超过 Minerva 540B。

2. 回顾：PPO 在 LLM 中的形式

PPO 最大化裁剪目标，优势 $A_{t}$ 由 GAE 基于奖励和价值网络 $V_{ψ}$ 计算；奖励中通常逐 token 加入 KL 惩罚：

r_{t} = r_{φ} (q, o_{\leq t}) - β \log \frac{π_{θ} (o_{t} ∣ q, o_{< t})}{π_{ref} (o_{t} ∣ q, o_{< t})}

3. GRPO 目标

对每个问题 $q$ ，从旧策略采样一组 $G$ 个输出 ${o_{1}, \dots, o_{G}}$ ，最大化

J_{GRPO} (θ) = E [\frac{1}{G} \sum_{i = 1}^{G} \frac{1}{| o_{i} |} \sum_{t = 1}^{| o_{i} |} {min (ρ_{i, t} {\hat{A}}_{i, t}, clip (ρ_{i, t}, 1 - ε, 1 + ε) {\hat{A}}_{i, t}) - β D_{KL} [π_{θ} ∥ π_{ref}]}]

其中 $ρ_{i, t} = \frac{π_{θ} (o_{i, t} ∣ q, o_{i, < t})}{π_{θ_{old}} (o_{i, t} ∣ q, o_{i, < t})}$ 。与 PPO 相比有两个变化：

（1）组相对优势，不需要价值网络。 结果监督（只对整个回答打分）时，奖励为 $r = {r_{1}, \dots, r_{G}}$ ，回答 $o_{i}$ 的每个 token 共享同一个优势：

{\hat{A}}_{i, t} = {\tilde{r}}_{i} = \frac{r_{i} - mean (r)}{std (r)}

过程监督（对每个推理步骤打分）时，先把所有步骤奖励按同样方式归一化，每个 token 的优势取其后所有步骤归一化奖励之和。

（2）KL 直接加在损失里，而不是加在奖励里，并使用无偏且恒为正的估计量：

D_{KL} [π_{θ} ∥ π_{ref}] = \frac{π_{ref} (o_{i, t} ∣ q, o_{i, < t})}{π_{θ} (o_{i, t} ∣ q, o_{i, < t})} - \log \frac{π_{ref} (o_{i, t} ∣ q, o_{i, < t})}{π_{θ} (o_{i, t} ∣ q, o_{i, < t})} - 1

这样优势的计算不会被 KL 项搅乱。

text

输入：初始策略 π_θ（SFT 模型），奖励模型 r_φ，问题集 D
for 每次迭代:
    π_ref ← π_θ
    for 每一步:
        采样一批问题；π_old ← π_θ
        对每个问题 q 采样 G 个回答 {o_i}
        用 r_φ 打分得到 {r_i}，组内归一化得到 Â_{i,t}
        在这批数据上做若干次 GRPO 梯度更新
    （迭代 RL）用新策略的采样继续训练奖励模型

4. 训练设置（论文给出的数值）

RL 数据为 SFT 数据中与 GSM8K、MATH 相关的约 14.4 万道链式思维格式的问题；策略学习率 1e-6，KL 系数 0.04，每个问题采样 64 个输出。

5. 统一视角

论文把 SFT、拒绝采样微调（RFT）、DPO、PPO、GRPO 写成统一的梯度形式：

\nabla_{θ} J_{A} (θ) = E_{(q, o) \sim D} [\frac{1}{| o |} \sum_{t = 1}^{| o |} G C_{A} (q, o, t, π_{r f}) \nabla_{θ} \log π_{θ} (o_{t} ∣ q, o_{< t})]

不同方法的区别只在三处：数据来源（离线数据还是当前策略在线采样）、奖励函数（规则还是模型）、梯度系数 $G C$ 。实验表明在线采样优于离线数据；过程监督优于结果监督；迭代式 RL（不断更新奖励模型）能进一步提升，尤其是第一轮迭代。

关键实验结论

主结果：DeepSeekMath-RL 7B 在 MATH 上达到 51.7%（不使用外部工具和投票），接近 Gemini-Ultra 和 GPT-4；64 个样本自洽投票（self-consistency）达到 60.9%。
GRPO 带来的提升（只用 SFT 数据中 GSM8K 和 MATH 相关的思维链数据）：相对 DeepSeekMath-Instruct 7B，GSM8K 从 82.9% 提升到 88.2%，MATH 从 46.8% 提升到 51.7%；在 RL 阶段未见过的域外数学任务上也有提升（如 CMATH 从 84.6% 到 88.8%）。
RL 为什么有效：RL 提升了 Maj@K（多数投票的准确率），但没有提升 Pass@K（K 次采样中至少一次正确的比例）。作者据此认为，RL 主要是让输出分布更稳健——把正确答案“推到前面”，而不是赋予模型根本性的新能力。

优点与局限

优点

去掉价值网络，显存和计算开销明显下降，特别适合大模型；
组内归一化的基线与“同一问题采样多个解答”的场景天然契合，配合可验证的规则奖励（答案对错）非常简单有效；
统一视角清楚地说明了 SFT、RFT、DPO、PPO 之间的关系。

局限

每个问题都要采样多个回答，生成成本高；
如果一组回答全对或全错，标准差为零、优势全为零，这组数据不提供学习信号；
按回答长度 $1 / | o_{i} |$ 平均和除以标准差会引入长度与难度方面的偏差，后续工作（如 Dr. GRPO、DAPO）对此做了修正；
论文自己的分析也显示，RL 提升的主要是 Maj@K 而非 Pass@K，能否真正扩展模型的推理边界仍有争论。

与本站教程的联系

RLHF 与大模型中的 RL：介绍 GRPO 并用玩具“问答”环境从零实现，实测正确回答的概率从约 0.12 升到约 1.0。
PPO：GRPO 的基础。
策略梯度：REINFORCE：GRPO 的组均值基线本质上是 REINFORCE 中基线思想的一种实现。
站内论文速递：DPO。

参考文献

Shao, Z., Wang, P., Zhu, Q., et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300
DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948
Liu, Z., Chen, C., Li, W., et al. (2025). Understanding R1-Zero-Like Training: A Critical Perspective. arXiv:2503.20783
Yu, Q., Zhang, Z., Zhu, R., et al. (2025). DAPO: An Open-Source LLM Reinforcement Learning System at Scale. arXiv:2503.14476
Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347

【论文速递】DeepSeekMath 与 GRPO：去掉价值网络的组相对策略优化 ​

论文信息 ​

一句话总结 ​

背景 ​

核心方法 ​

1. 数据：DeepSeekMath 语料 ​

2. 回顾：PPO 在 LLM 中的形式 ​

3. GRPO 目标 ​

4. 训练设置（论文给出的数值） ​

5. 统一视角 ​

关键实验结论 ​

优点与局限 ​

与本站教程的联系 ​

参考文献 ​