Agent 评测：看轨迹而不只看结果

Agent 开发进阶考 24 题讲解 4 段

Agent 会以「看起来成功」的方式失败：结果对了但绕了十二步、调了不该调的工具、状态改错了。四个评测层次里轨迹评估是核心，指标要看分布而不是均值，不可复现是常态所以要多跑几次；评测集会过拟合，要持续从线上 badcase 补。

也叫：Agent 评测 · 轨迹评估 · trajectory eval · 分布指标 · 状态检查

只看结果会漏掉什么（Q3-21 的核心答案）出自 T3-11

漏掉的问题	表现	只有轨迹能看到的证据
路径低效	结果对，成本 4 倍	步数分布、重复动作
工具误用侥幸正确	结果对，隐患埋下	调用了哪张表 / 哪个工具
护栏绕过	结果对，权限失效	被拒绝后的重试路径
压缩漂移	结果格式对，内容错	压缩事件前后的约束变化
子 Agent 谎报	编排器认为成功	worker 的实际工具调用记录
不可靠	这次对，下次不对	多次重复运行的一致性
幻觉参数	侥幸没报错	模型生成的参数 vs 受信来源

最后一行的可靠性值得单独说：单次通过率和重复一致性可以差得非常远——业内已有观察指出，单次通过率约六成的 Agent，在多次重复同一任务时全部成功的比例可能只有二成多。所以"我们成功率 85%"这句话在 Agent 语境下是有歧义的：是跑一次的 85%，还是跑五次都对的 85%？ 面试里主动区分这两者，是很强的信号。

工程上的做法是引入 pass^k（跑 k 次全对的比例） 这类指标，与 pass@1 并列汇报。对高风险场景，pass^k 才是有意义的那个数。

以上节选自T3-11 Agent 评测与 trace——它们会以"看起来成功"的方式失败，读全文能看到前后语境。