线上质量监控与金丝雀集

评测与可观测进阶考 19 题讲解 3 段

线上没有标准答案，监控分三层且顺序不能反：先系统指标、再代理指标、最后抽样人审或 judge。质量回退归因的第一刀是金丝雀集 —— 一小撮固定样本定期重跑，一变就知道是模型变了、输入变难了还是系统变差了；事故处理先止血再归因树，最后补监控缺口。

也叫：线上监控 · 金丝雀集 · canary set · 代理指标 · 分布漂移 · 质量回退 · 事故复盘 · 归因树 · 止血

先学离线 / 在线鸿沟

再学数据飞轮与用户反馈 AI 代码事故复盘：缺了哪道闸

四、【本篇最关键】归因第一刀：金丝雀集出自 T5-3

回到开篇的故障。分数掉了，可能是系统变差，也可能是输入变难，而线上分数天然分不出这两者——因为分子分母都在动。

解法是造一个分母不动的参照物：

原文示意

金丝雀集 = 20–50 条固定输入，覆盖主要意图与高风险场景
运行方式 = 在生产环境、走同一条链路、同一份 prompt、同一个 judge，
           按固定频率（如每小时）跑一遍，单独出一条曲线

  线上曲线掉  +  金丝雀曲线不动   →  输入分布变了（新渠道/新活动/更难的问题）
                                     系统没坏，该改的是覆盖面，不是回滚
  线上曲线掉  +  金丝雀曲线也掉   →  系统真的变了
                                     再往下切：模型版本？prompt？索引？工具依赖？

它和 RAG 排障里「手工把正确文档塞进 prompt」是同一个手法：固定住一个变量，把问题一分为二。 前者固定「文档」以切开检索侧与生成侧，这里固定「输入」以切开流量侧与系统侧。

成本极低（几十条 × 每小时一次），但它把开篇那半天的盲目回滚压缩成一次看板对比。如果只允许你在本章带走一个工程实践，带这个。

以上节选自T5-3 可观测：trace、线上质量监控与数据飞轮，读全文能看到前后语境。