人机协同与转人工
工单 Agent 的分类、查询、升级三段里,转人工的触发按不可逆程度分级,不按置信度 —— 模型不确定就转人工会把人工淹没。转人工率是一个被低估的零成本信号:它同时反映模型能力、需求分布与阈值设置,是场景题里最好谈的评测指标。
也叫:人机协同 · 转人工 · human handoff · 升级路径 · 转人工率
四、人机协同:按不可逆程度分级,不是按置信度出自 T8-2
常见的错误设计是「模型不确定就转人工」。置信度只是一个输入,真正的主轴是操作的不可逆程度:
只读查询 → 自动执行,事后抽样 可逆写入(草稿、标记)→ 自动执行 + 通知 难逆写入(工单状态、库存)→ 先确认,展示将要做什么 不可逆(付款、发信、删数据)→ 必须人工签字,且要有二次确认
在这条主轴之上,再叠三个转人工的触发信号:置信度低(检索没命中、答案与证据不一致)、用户情绪或表述升级(重复提问、明确表达不满)、命中黑名单主题(法律、投诉、医疗、资金)。
转人工的交接质量比触发时机更容易被忽略。合格的交接要带三样东西过去:用户的原始诉求(不是模型的复述)、已经尝试过什么、以及模型判断的不确定点。缺了这三样,用户要从头再说一遍,转人工反而变成负体验。
以上节选自T8-2 toB 场景的两条硬约束——权限隔离与人机协同,读全文能看到前后语境。