设计客服机器人：怎么做到「不知道就说不知道」？

在 prompt 里明确要求「只根据给定资料回答，资料里没有就回答不知道」，加 few-shot 示例。检索时设一个相似度阈值，低于阈值就直接返回兜底话术，不调模型。答案里要求给引用，没有引用的不返回。再准备一批标准的兜底话术，引导用户转人工。

这是及格线，而且是相当扎实的及格线——三层都碰到了。缺的是：阈值怎么定没说、引用是否真实没校验、拒答率高了怎么办没说，以及最关键的——没有区分「检索没召回」和「召回了但答案不在里面」这两种完全不同的情况。

① 先问四个问题：答错的代价是什么——是用户多问一句，还是涉及资费、承诺、法律？覆盖率现状如何——知识库能覆盖多少比例的真实问题？有没有人工兜底通道、成本能承受多少？以及：这个产品是替代人工还是分流人工——替代的话拒答率必须压得很低，分流的话拒答是正常出口，设计完全不同。

② 基线：混合检索 + 重排 + 「只依据给定资料回答」的提示词 + 强制引用 + 低分直接不调模型。这套能挡掉大部分「凭空编造」，但挡不住最危险的那一类——检索召回了相关但不对口的文档，模型基于它编出一个看起来很有依据的答案。

③ 加挂：拒答要做成三层，而不是一个阈值。

第 1 层  检索侧    最高分低于阈值 / top-k 分数分布过平 → 直接兜底，不调模型
第 2 层  生成侧    要求模型先判断「证据是否足够」再回答，不足则拒答
第 3 层  输出后    引用一致性校验：答案里的每个关键断言必须能回指到引用原文

三层各自解决不同的问题，缺一层就漏一类：第 1 层挡「库里没有」，第 2 层挡「召回了但答不上」，第 3 层挡**「答得有模有样但原文里没有」**——第三类是最危险的，因为它带着引用，用户更容易相信。第 3 层的实现不必很重：把答案里的数字、日期、金额、专有名词抽出来，回原文做精确匹配，对不上就降级为「我找到一些相关资料，但不能确认这个具体数值」。

阈值不用 F1 最优点定，用代价不对称定：设答错一次的代价是 C_错、多转一次人工的代价是 C_转，阈值应该取在 C_错 / C_转 这个比值决定的位置上。资费和承诺类问题 C_错 极高，阈值要拉得很保守；使用说明类问题 C_错 很低，可以放松。所以阈值不该是全局一个值，应该按问题类型分档——这是这道题最容易拉开差距的一句。

拒答的表达同样是设计：只说「我不知道」是失败的拒答。合格的拒答要给三样东西——说明边界（我能查到的是产品手册和资费说明）、给下一步（这个问题我帮你转人工／你可以在某处查到）、保留已获得的信息（转人工时把用户原始诉求和已尝试内容带过去）。

④ 评测：要同时测两个方向，只测一个方向必然翻车。

• 该答的答了吗——正常问题集，测覆盖率；
• 不该答的拒了吗——专门构造一个「知识库外」测试集：库里没有的问题、库里有相似但不相同的问题（最重要）、以及诱导性提问（「你们是不是承诺过三年质保？」）。断言是负向的：不得出现具体承诺、具体数值。
• 线上零成本信号：拒答率、转人工率、重问率（用户换个说法再问一遍，往往说明上一次答得不对或没答）、以及用户在拒答后是否继续对话。
• 特别要监控**「该拒没拒」的比例**，靠抽样人工标注。只监控答对率等于在奖励它硬答。

⑤ 演进：拒答率长期偏高且集中在某几类 → 扩知识库，不是降阈值；某类问题的线上答对率长期稳定且样本充足 → 才可以对那一类单独放松阈值；出现「用户诱导式提问导致越界承诺」→ 增加黑名单主题和强制拒答规则。退路：任何一次线上出现越界承诺，对应问题类型立刻回到强制转人工。