怎么考「引用溯源怎么实现？怎么防模型「标了引用却胡编」？」

怎么校验模型标的引用是对的？

期望

把答案拆成声明（claim），逐条和被引用的 chunk 做蕴含判断——可以用轻量 NLI 模型、文本重叠度、或小模型判官。这本质上就是 faithfulness 的计算方式（见 Q2-16），区别是这里在线做、用于拦截，评测时离线做、用于打分。

信号

能把它和 faithfulness 联系起来的，知识是打通的。

分数阈值怎么定？定高了会怎样？

期望

用评测集调——两类样本各一批：「知识库有答案」的要保证不被误杀（阈值太高会把能答的问题也拒了），「知识库没答案」的要保证被拦住。这是精确率与召回率的经典权衡，取决于业务对「答错」和「答不出」的容忍度。还要注意不同检索方式的分数不可直接比较（见 Q2-10），混合检索下阈值要基于融合后的排序或重排分数来定。

信号

能指出「分数不可比所以阈值要基于 rerank 分」的，非常专业。

模型说「不知道」，但用户觉得知识库里明明有，怎么办？

期望

这是阈值误杀，本质是检索失败被兜底话术掩盖了。所以必须记录被阈值拦截的 query并定期回捞分析——这批数据是检索优化的金矿。如果发现某类 query 频繁被拦，说明这类的检索能力有缺口（可能是分词、可能是缺 BM25），要回去修检索而不是简单调低阈值。

信号

能想到「拦截日志要回捞」的，有闭环意识；只说「调低阈值」的是治标。

多个 chunk 支持同一句话，引用怎么标？

期望

允许一句话标多个引用；展示时按相关性排序，默认展开最相关的一条，其余折叠。要注意去重——同一份文档的相邻 chunk 应合并展示为一条出处，否则用户看到五个引用点开发现是同一页，体验很差。

信号

能想到「同源合并」的，做过前端展示的实际打磨。

法务客户说「你们的引用必须 100% 准确，否则不能上线」，你怎么回应？

期望

不承诺 100%（技术上做不到），但给可验证的保障体系：① 引用校验不通过的内容不输出，宁可降级；② 所有答案强制展示原文片段，用户一眼可核；③ 提供可量化的引用准确率指标和评测报告；④ 高风险场景加人工复核环节；⑤ 完整审计日志。同时明确产品定位：这是辅助检索工具，不是法律意见的出具者。 诚实的边界声明 + 可验证的保障，比空头承诺更能拿下客户。

信号

拍胸脯说「能做到 100%」的，是对技术边界无知或不负责任；能给出「降级 + 可核 + 可量化 + 人工兜底」四层保障的，是能扛 toB 交付的人。