DPO 为什么能绕开奖励模型？和 RLHF/PPO 比有什么取舍？

RLHF 的流程是：先用人类偏好对训一个奖励模型 RM，再用 PPO 让策略去最大化 RM 的打分，同时加 KL 惩罚防止模型跑离参考模型太远。

DPO 的洞察是：这个"最大化奖励 + KL 惩罚"的优化目标，它的最优策略和奖励函数之间有一个闭式的对应关系。既然奖励函数可以用策略本身表达出来，就能把它代入偏好损失里消掉，于是不再需要单独训一个奖励模型，直接在偏好对上算一个损失函数就行。

取舍是：DPO 工程上简单很多——不训 RM、不做在线采样、显存里只要策略和参考两个模型，训练形态和 SFT 一样。但它是离线的，数据固定不随策略更新重采样，理论上不如 PPO 灵活。

说清了原理和主要取舍，及格。但"理论上不如 PPO 灵活"是一句正确的废话，没有落到可观察的现象上，往下追会散。

为什么能绕开： RLHF 的目标函数是"最大化 RM 打分，减去 β 倍的 KL 惩罚"。这个带 KL 约束的最优化问题有解析解——最优策略正比于 π_ref × exp(reward / β)。把它反解，奖励可以写成策略与参考策略的对数比再乘 β。既然奖励能被策略表达，就把它代进 Bradley-Terry 偏好损失，奖励项自己消掉了，剩下一个只含策略和参考策略的普通损失：

def dpo_loss(x, y_win, y_lose, beta):
    delta_w = logprob(pi_theta, x, y_win)  - logprob(pi_ref, x, y_win)
    delta_l = logprob(pi_theta, x, y_lose) - logprob(pi_ref, x, y_lose)
    return -log_sigmoid(beta * (delta_w - delta_l))

人话：让"当前模型相对参考模型更偏爱 win 而非 lose"这件事的对数几率变大。 β 就是原来那个 KL 系数，控制允许离参考模型跑多远——它没消失，只是从约束项变成了损失里的温度。

省下了什么： 训练时显存从四个模型（策略 / 参考 / 奖励 / critic）降到两个（策略 / 参考）；不需要在线采样；不需要维护一条 RM 的训练与评估流水线；也就不再有 RM 被 reward hacking 的那类失败模式。工程复杂度差了一个数量级。

赔上了什么，三条：

1. 离线。 偏好数据是训练前采好的，不随策略更新重新采样。训到后期，模型已经不产出那些样本了，你还在用它们学，出现分布偏移。表现是训练后期指标继续"改善"但线上没有对应提升。
2. 对数据的系统性偏置极度敏感。 RLHF 至少还隔着一个奖励模型做泛化，DPO 是把偏好对直接怼进损失。标注里任何系统性倾向都会被原样学走。我们踩过：标注员在判准不明时系统性偏好短答案，chosen 比 rejected 平均短 40%，训完模型学到的是"更短"而不是"更好"，复杂问题开始敷衍。现在偏好数据的长度与格式分布体检是我们开训前的固定检查项。
3. 常见的似然一起下降现象。 DPO 在拉开 win/lose 差距的同时，往往把两者的对数似然一起压低——它只保证相对差距，不保证 chosen 的绝对概率不掉。表现为模型整体变得保守、更容易拒答、回答变短。这是训练曲线上能直接看到的：logp(chosen) 在降。看不看这条曲线，是跑没跑过 DPO 的分界。

什么时候不该用 DPO： 偏好数据是众包来的且没做过一致性检查时；需要在线纠偏、想让模型在自己新产出的分布上持续被修正时（这是 PPO 还活着的主要场景）；以及你真正想要的是能力提升而不是风格取舍时——DPO 不会让模型做出一道它原本做不出来的题。

我的选型口径： 有稳定标注流水线 + 专职训练团队 + 需要在线纠偏 → PPO；只有一批离线偏好对、想快速拿到风格与安全上的收益 → DPO；任务能写出自动判分器 → 别在这层纠结，直接上 GRPO 那一档。