GRPO 是什么？为什么推理模型训练里常见？

GRPO 是 Group Relative Policy Optimization，组相对策略优化，是 PPO 的一个变体。

PPO 需要一个价值网络（critic）来估计"当前状态平均能拿多少分"，作为优势计算的基线。这个 critic 通常和策略同规模，训练时要额外占一份显存和算力。

GRPO 的做法是：对同一个 prompt 采样一组（比如 8 到 16 个）回答，用这一组的平均奖励当基线，把每个回答的奖励减去均值再除以标准差，得到组内相对优势。这样就不需要 critic 了。

它在推理模型训练里常见，是因为数学、代码这类任务的答案对错可以自动判定，奖励拿起来很便宜，而 GRPO 恰好需要对同一题反复采样打分。

机制说清了，及格。但没有代价、没有现状，追问两层就到底。

机制： GRPO 把 PPO 的 critic 换成了"同题同学的平均分"。

for x in prompts:
    ys = sample(pi_theta, x, n=G)              # 同题采 G 份，典型 G = 8 ~ 16
    rs = [verify(y) for y in ys]               # 跑测试 / 对答案 / 比字段
    A  = (rs - mean(rs)) / (std(rs) + eps)     # 组内标准化即优势
    update(pi_theta, clipped_ratio * A - beta * KL(pi_theta, pi_ref))

省掉一个与策略同规模的价值网络，这在推理训练这种本来就极贵的场景里是直接的成本优势。

它和 RLVR 是天生一对。 需要说清的是，RLVR（可验证奖励强化学习）不是算法，是范式：奖励来自能自动判定的结果——代码跑不跑得过测试、数学答案对不对、抽取的字段和标注一致不一致。GRPO 每个 prompt 至少要打 G 次分，只有当奖励几乎免费时这件事才成立。所以真正决定"你能不能上这一档"的不是算法选型，而是一个前置问题：你的任务能不能写出自动判分器。

三段式：

• 解决什么：在有自动判分器的任务上，用远低于 PPO 的成本拿到真实的能力增量——注意这是"能力"，不是偏好对齐那种风格重排。
• 代价是什么，三条，都很实在：
  1. 采样贵。每题生成 G 份，训练时间的大头在生成而不是反向传播。省下的 critic 显存，一部分又还给了推理吞吐。
  2. 零方差塌缩。一组答案全对或全错时，标准化后优势全是 0，这一组白跑。题目太简单或太难都会大量触发。
  3. 长度偏置。优势的归一化方式会让长回答或短回答被系统性偏爱，训着训着回答长度会漂。
• 什么时候不该用：任务写不出自动判分器时。硬凑一个"用大模型当判分器"的方案，本质是把 reward hacking 的靶子从人换成另一个模型，通常更脆——策略模型会很快学会针对判分模型的偏好特征刷分。

2026 的现状（截至 2026-08）： GRPO 已经是这条线的中心参考点，但它本身被修补了一整代，每个变体基本对应上面一个毛病：

开训后我会先看的一个数：整组全对或全错的 prompt 占比。超过一半，说明题目难度和当前模型能力不匹配，这时候该换数据集而不是调超参——这是最容易白烧几天算力的地方。