后训练主线：从 SFT 到 GRPO，三种监督信号决定你能走到哪一档

SFT 就是继续做下一个 token 预测，只不过训练数据换成了（指令，回答）对，并且把 prompt 部分的 loss 掩掉——只在回答部分计算交叉熵。模型因此学会：看到这种输入，就产出这种形态的输出。

SFT 有个根本局限值得记牢：它只提供正例。 每一条样本都在说"这样答是对的"，从来没有一条在说"那样答是错的"。所以 SFT 能把格式、语气、领域行话教得很好，却很难压住一个你不想要的行为——你没法用"给更多正例"的方式告诉模型"别这么干"。

这就是为什么需要第二档。

RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）的经典链路：

这里两个概念要给人话解释：

• KL 惩罚（Kullback-Leibler divergence，衡量两个概率分布差多远）：拴狗绳。不加它，策略会为了骗高分把语言模型的基本能力搞坏。
• critic / 价值网络：PPO 需要知道"这个状态下平均能拿多少分"来做基线，否则每次更新方差极大。这个基线由一个和策略同规模的网络估计——这也是 PPO 最贵的地方。

三段式评价 RLHF：

• 解决什么：能用"比较"这种廉价信号做优化；在线采样，策略更新后重新采样，没有分布偏移问题。
• 代价是什么：四个模型的显存与调度，工程复杂度是所有方法里最高的；奖励模型本身会被奖励攻击（reward hacking，模型找到让 RM 给高分但人类并不满意的捷径，比如疯狂加免责声明、疯狂列小标题）。
• 什么时候不该用：你没有专职训练团队、也没有稳定的偏好数据流水线时。截至 2026-08，在推理类任务上它基本已被 GRPO 系取代；它还活着的地方主要是有稠密奖励模型、且需要在线纠偏的通用对齐。

DPO 的核心是一个数学观察：RLHF 那个"最大化奖励 + KL 惩罚"的目标，其最优策略与奖励函数之间存在闭式对应关系。既然如此，就可以把奖励函数用策略本身表达出来、代入 Bradley-Terry 损失里消掉，得到一个直接在偏好对上算的普通损失函数。

# π_θ = 待训模型；π_ref = 冻结的 SFT 模型；β 控制离参考模型能跑多远
def dpo_loss(x, y_win, y_lose, beta):
    # 每一项是「当前模型相对参考模型，对这个回答的偏好增量」
    delta_w = logprob(pi_theta, x, y_win)  - logprob(pi_ref, x, y_win)
    delta_l = logprob(pi_theta, x, y_lose) - logprob(pi_ref, x, y_lose)
    return -log_sigmoid(beta * (delta_w - delta_l))

一句人话：让"模型相对参考模型更偏爱 win 而非 lose"这件事的对数几率变大。 训练形态和 SFT 几乎一样——一个 loss、一个反向传播，显存里只需要 policy 和 ref 两个模型。

三段式评价 DPO：

• 解决什么：把 RLHF 的工程复杂度砍掉一个数量级。不训 RM、不做在线采样、不要 critic。截至 2026-08，它是离线偏好优化的默认基线。
• 代价是什么：三条。第一，离线——偏好数据是固定的，不随策略更新重新采样，训到后期会有分布偏移（模型已经不产出那些样本了，还在用它们学）。第二，对偏好数据质量极度敏感，标注里的任何系统性偏置会被原样学进权重（开头那个故障就是这么来的）。第三，一个已知的实现级现象：DPO 常常在拉开 win/lose 差距的同时把两者的似然一起压低，表现为模型整体变得"不敢说话"、更容易拒答。
• 什么时候不该用：偏好数据是众包来的、没做过一致性检查时；以及你真正想要的是能力提升而不是风格取舍时——DPO 帮不了你把一道原本做不出来的题做出来。

GRPO（Group Relative Policy Optimization，组相对策略优化）的想法一句话说得清：PPO 需要一个 critic 网络来告诉它"这题平均能拿多少分"，那我们干脆对同一道题多采几份答案，用这几份的平均分当基线。

for x in prompts:
    ys = sample(pi_theta, x, n=G)                 # 同题采 G 份，典型 G = 8 ~ 16
    rs = [verify(y) for y in ys]                  # 可验证奖励：跑测试 / 对答案 / 比字段
    A  = (rs - mean(rs)) / (std(rs) + eps)        # 组内标准化，就是「优势」
    update(pi_theta, clipped_ratio * A - beta * KL(pi_theta, pi_ref))

于是 critic 网络没了——省下一个和策略同规模的模型。这就是 GRPO 在推理模型训练里迅速铺开的直接原因：同等效果下算力更省，而推理训练本来就极贵。

它和 RLVR 是天生一对：GRPO 需要 reward 被便宜地算很多次（每个 prompt 至少 G 次），而可验证奖励恰好是"跑一下就知道"的、几乎免费的。

三段式评价 GRPO：

• 解决什么：在有自动判分器的任务上，用比 PPO 低得多的成本拿到真实的能力增量。
• 代价是什么：采样成本高（每题生成 G 份，训练时间的大头在生成而非反向传播）；零方差塌缩（一组答案全对或全错时，标准化后优势全是 0，这一组白跑）；长度偏置（归一化方式会让长/短回答被系统性偏爱）。
• 什么时候不该用：你的任务写不出自动判分器时。硬凑一个"用大模型当判分器"的方案，本质上是把 reward hacking 的靶子从人换成了另一个模型，通常更脆。

这里是本章最好的进阶加分点：截至 2026-08，GRPO 已经被修补了一整代变体，每个变体对应上面一个毛病——

• OpenAI：SFT 与 DPO 支持 gpt-4.1 / mini / nano（2025-04-14 版）；强化微调 RFT 仅支持 o4-mini（2025-04-16 版）。更关键的是，OpenAI 已在官方弃用页宣布收缩自助微调：2026-05-07 起新组织不能创建微调任务，2026-07-02 起 60 天无推理的组织被关闭，2027-01-06 起存量客户也不能再创建新任务（已训好的模型可继续推理，直到基座下线）。
• Google：Vertex AI 的 SFT 仍在，但 Gemini 3.x 系尚未开放 SFT，而 2.5 Pro 已于 2026-06-17 下线。
• Anthropic：只有 Amazon Bedrock 上的 Claude 3 Haiku 微调这一条路径。
• 开源权重 + 国内云平台（百炼 / 方舟 / PAI 等）：后训练全链路健在，是国内团队的实际主战场。

1. 偏好数据先做一次"长度体检"。把 chosen 和 rejected 的平均长度、平均小标题数打出来。如果两组有系统性差异，你训出来的是那个差异，不是"好"。这是开头故障的直接补丁。
2. DPO 的 β 不是可有可无的旋钮。β 太小 = 放任模型跑离参考模型，容易崩；太大 = 几乎没变化。先用默认值跑通，再在验证集上扫。
3. SFT 之后一定要留一份 checkpoint 当参考模型。DPO 和 PPO 都要拿它当 π_ref，也是你回滚的锚点。
4. 不要指望偏好对齐提升能力。DPO/RLHF 是在模型已有的输出分布里重新分配概率质量，不会凭空长出新本事。想提升能力，要么换基座，要么走 RLVR。
5. GRPO 先看零方差比例。开训后统计"整组全对/全错"的 prompt 占比，超过一半说明题目难度和当前模型能力不匹配，这时候该换数据集而不是调超参。