换了新模型 / 新 prompt，怎么科学地做回归测试和 A/B？

换模型或改 prompt 之后，我们会在评测集上重跑一遍，看指标有没有掉，没掉就可以发。大一点的改动会做 A/B，把流量按比例分给新旧两版，跑一段时间看哪版的用户反馈和业务指标更好。另外也会先小流量灰度，观察一下没问题再全量。

流程骨架是对的：重跑 → A/B → 灰度。所以能过。

它止步于 60 分的原因很集中：「有没有掉」是一个没有误差概念的判断。掉 1 个点算掉吗？而且没提成本延迟这些同样会变的东西，也没说三条线冲突时怎么办。

我按三条线来组织，因为它们回答的是三个不同的问题。

线 A  离线评测集     固定输入 / 有标注 / 可重复   →  决定「能不能发」
线 B  线上采样评测   真实输入 / 无标注 / 分布在动 →  决定「发完之后有没有变坏」
线 C  真实业务指标   滞后但唯一真实               →  终审

三条线只能互相佐证，不能互相替代。 后面我会说它们矛盾时怎么判。

一、线 A：离线回归，重点是过统计关。

• 同一套题、两个配置各跑一遍，这是配对数据，所以要用配对检验：二元判据用 McNemar，连续分用配对 t，Likert 用 Wilcoxon。配对检验只看结论发生翻转的那些题，同样样本量能分辨的差异比两组独立比例小得多。
• 要有误差概念：n=100、基线 80% 时，95% 置信区间大约 ±7.8 个百分点。涨 2 个点连半个置信区间都没走出去。
• 同配置要重跑 k 次（3~5 次）报均值和方差。2026 年这一条尤其重要——Opus 4.7+ / Sonnet 5 上传非默认采样参数会直接 400，temperature=0 这条钉住随机性的老路已经没了，单次跑分本身就是一次采样。
• 要看逐类别的变化，不只看总分。 总分持平但「拒答类」全崩、「多轮类」提升，是完全不同的两件事，而总分会把它们抵消掉。

二、换模型比换 prompt 要看的东西多得多。 只比准确率会翻车。至少还要并列：

• 成本：单次 token 数（尤其推理模型的思考 token）、单价、缓存命中率变化；
• 延迟：P50 / P95，流式首字延迟；
• 行为：工具调用次数与轨迹（直接影响成本和副作用）、拒答率、输出长度分布、结构化输出解析成功率；
• 格式脆性：老 prompt 里针对旧模型写的那些约束，新模型可能不需要，也可能反过来失效。

还有一条 2026 专属的：effort 档位是一个独立变量。「换模型」和「换档位」要分别做实验，不能一起改——否则你不知道收益来自哪一边。

三、线 B / 线 C：灰度与 A/B。 顺序上我会走影子流量 → 小流量 A/B → 全量：

• 影子流量（新版跟着跑但不返回给用户）成本最低、零风险，能提前拿到成本/延迟/解析失败率这些不需要用户判断的指标；
• A/B 的分流单位必须是用户或会话，不是请求。按请求分流会让同一个用户在两版之间跳，多轮对话直接错乱，指标也被污染；
• 要设护栏指标（guardrail metrics）：即使主指标赢了，只要拒答率、转人工率、P95 延迟、单请求成本任一越线就停；
• 观察期要覆盖完整的业务周期（至少含一个周末），不能周三上线周四看结论；
• 样本量要事先算，别看到显著就停——反复偷看会让假阳性率大幅上升。

四、三条线矛盾时怎么判：

现象	判断
线 A 涨、线 B 不动	评测集与线上分布脱节，先修评测集
线 B 涨、线 C 不动	在优化 judge，不是在优化产品
线 A 不动、线 C 涨	收益可能来自别的变更，别把功劳记在模型上
线 A 掉一点、线 C 明显涨	信线 C，但必须查清线 A 掉在哪一类，确认不是安全/合规类

一句话原则：线 A 有一票否决权（安全与合规类用例），线 C 有最终解释权。