LLM-as-Judge：偏差、校准与适用边界

judge 输出的不是「真相」，是一个模型对某条判据的预测。既然是预测，它就有准确率、偏差、漂移和版本。

冻结口径：任何 LLM-as-Judge 上线前必须具备三样——人工标注的校准集、一个一致性指标（κ 或 TPR/TNR）、一个钉死的版本号。缺任何一样，它的分数不能当决策依据。

CALM 基准（Justice or Prejudice，arXiv 2410.02736）对 12 类偏差给出了鲁棒率（1.0 = 完全不受影响）。以当时最强的两个 judge 为例：

三条人话结论：

1. 位置偏差量级最实在：约 1/5 的判断会随顺序改变。开篇的 68% → 41% 不是极端案例，是这个量级的自然后果。
2. 从众和情感的鲁棒率只有 0.65 左右，比位置偏差更糟。意味着判据里千万不能出现「大多数用户偏好 A 风格」这类引导语，也意味着语气笃定但内容错误的答案，比语气谨慎但正确的答案更容易赢。
3. 冗长偏差反而相对可控——判据里写一句「简洁不加分也不减分，只看是否覆盖要点」就掉得很快。真正难治的是那些你没写进判据的维度。

关于自我偏好，另有一份 2026-04 的专项研究（arXiv 2604.22891）用「等质量对」构造法，在 20 个主流模型 × 100 题上把 judge 分成四类：客观型 / 马基雅维利型（有能力分辨却系统性偏袒自己）/ 无能随机型 / 反向偏见型。关键工程结论是：把「整体打一个分」换成按维度的成对强制选择，在高偏差模型上平均降低自我偏好 31.5%，不需要重训。

注意这两份研究的量级并不一致（CALM 测出自我增强错误率只有 1–2%，专项研究测出显著偏差）。方向一致、量级取决于测法。 所以正确态度不是背数字，是用你自己的标注集测你自己的 judge。

标准做法是 swap-and-average：同一对答案，正序评一次、逆序评一次，两次一致才算数。

它确实能提准确率（公开实验里 80.0% → 87.8%），但要看清它的真实机制：

swap 不消除偏差，它把偏差暴露成「平局」。 代价两条：评测成本直接翻倍；产生一批需要人工或第二 judge 裁决的不一致对。

分水岭就在这里：

• 「judge 有位置偏差」→ 读过博客
• 「所以我们做了正反互换取平均」→ 读过论文
• 「互换之后不一致的那批才是重点。我们把它单独捞出来人工看，结果发现是判据里两条标准互相打架——一条要求『简洁』一条要求『覆盖全面』，judge 在两者冲突时随机倒向一边，而顺序决定了它先看到谁。」→ 真做过

最后这句点出一件重要的事：不一致对是最好的判据诊断工具——judge 在哪些样本上摇摆，就说明判据在哪里没写清楚。

这条比所有偏差都重要：它决定 judge 能不能用，而不是用得准不准。

第三行是重点。让一个模型去判另一个模型说的是不是事实，你只是在测两个模型的知识重合度——本质是把幻觉问题转嫁给另一个会幻觉的模型。两个模型共同不知道的事，judge 会自信地判「正确」。

客观正确性只有两条合法路径：事先标好的金标准，或可执行的验证（跑代码、查库、调 API 拿真值）。 这正是 Q1-05 埋下的口径：「对来源忠实」和「客观正确」是两个难度完全不同的评测目标。

这里有一处真实的分歧，值得如实写出来：

• Anthropic 官方指引倾向：judge 输出离散值（correct/incorrect 或 1–5），判据具体到可证伪（「答案必须在第一句提到 Acme Inc.，否则直接判错」），并先推理再打分、然后丢掉推理。
• 实践派主流主张：只用二元 pass/fail。理由是相邻刻度差异高度主观，3 分和 4 分的边界连人类标注者之间都对不齐，κ 自然上不去。

这两条的分歧点其实是「这个分数要去做什么决策」：

最差的形态是「一个 1–5 的总体质量分」：既做不了门禁（3.6 和 3.8 差在哪没人说得清），又不可比（judge 一换版本整体漂移）。它唯一的作用是让看板上有个数字在动。

第 ② 步的「先测人和人的一致率」最容易被跳过，也最能救命。 两个标注者对同一条判据的 κ 只有 0.45，那不是 judge 的问题，是判据没定义清楚——此时怎么调 judge prompt 都是白费。

两条经验值：每条判据低于 10 条标注时，κ 的置信区间宽于 ±0.30，这个数字本身已经没有意义。优先标注人机分歧样本（而不是随机抽）大约能把标注量砍掉一半。

judge 是代码，不是配置。模型、prompt、判据文本，任何一处改动都要升版本号，并和它产出的每个分数绑在一起存。

原因很直接：judge 换版本之后，历史分数全部不可比。 一条从 0.72 涨到 0.81 的质量曲线，如果中间悄悄换过 judge 模型，它什么都不能证明。正确做法是换 judge 时用新 judge 把历史基线重跑一遍，两条曲线并排画。judge 也会自己漂（上游模型静默升级、判据被顺手改了一句），约每季度重校准一次是当前的通行节奏。

judge 是一次额外的模型调用。离线门禁全量跑可以接受；线上监控必须采样——基线约 2%，高风险/刚改过的路由提到 20%，并且必须异步、不在关键路径上。用小模型做 judge 是 2026 的主流省钱手段，但换小模型必须重走一遍校准——判据越主观，小模型掉得越多。

• 判据里不要出现引导语。 「大多数用户更喜欢简洁的表达」这种句子会直接触发从众偏差（鲁棒率 0.638）。
• 成对比较一定要匿名化。 别把「新版 / 旧版」「我们的 / 竞品的」写进 prompt。
• 别用同族模型评自家输出，或至少交叉验证一次。但要清楚：换 judge 家族是止痛药，测量才是解药。
• 别让 judge 同时判五个维度输出一个总分——拆成五个独立的二元判断，每个单独算 κ，并让它带上理由，方便在 κ 掉时定位。

• 「LLM-as-Judge 是什么，你们用过吗？」（送分题）
• 「它自己有什么偏差？」（第一刀：说不说得出具体哪几种、量级多大）
• 「怎么校准？」（第二刀：有没有人工标注集和一致性指标）
• 「什么情况你不会用 judge？」（第三刀，最能区分的一刀）

暴露只读过：

• 「judge 会有位置偏差和自我偏好」——只有名词，说不出量级，也说不出怎么测出来的。
• 「我们用 GPT 打分，挺准的」——「挺准」没有对照物。
• 「让 judge 打 1–5 分取平均」——最典型的形态错误；「换个更强的模型当 judge 就行」——把校准问题当模型问题。
• 判客观正确性时也用 judge，且完全没意识到这是把幻觉问题转嫁了一次。

证明真做过：

• 说得出自己 judge 的 κ 是多少、在多少条标注上算的、哪条判据最低。
• 说得出判据改过几轮、每轮改了什么（「把『专业』拆成『术语正确』和『不臆造数字』之后 κ 从 0.52 到 0.81」）。
• 主动区分「对来源忠实」和「客观正确」，并说明后者为什么不能交给 judge。
• 提到 judge 版本号和历史基线重跑——几乎只有在生产里被坑过的人才会说。
• 被问「怎么发现位置偏差的」时，能说出「顺序对调重跑一遍」这个五分钟的动作。