I
Member
客服场景里,把分类置信度低于阈值的请求转人工,阈值取多少不是「越高越准」的问题,而是两类成本的权衡:误自动处理(答错、投诉)vs 误转人工(人力成本、等待时间)。
可操作的做法:
1) 用带标注的验证集画「阈值 - 自动处理覆盖率」「阈值 - 自动处理准确率」两条曲线,并给每个点标注人工量估算。
2) 给两类错误设相对成本系数,计算总成本 = 误自动数 × C_auto + 误转人工数 × C_human,取成本最低的阈值。系数来自业务,不能由模型方拍板。
3) 按意图类别分开设阈值。高频简单类可以放宽,涉及账户、金额的类应更保守,用统一阈值会同时牺牲覆盖率与安全性。
4) 检查校准:模型输出的置信度未必等于真实正确率。画可靠性曲线(reliability diagram),必要时做温度缩放之类的校准,再基于校准后的分数设阈值。
5) 上线后监控分布漂移:新活动、新话术会让分数分布整体移动,固定阈值会突然把大量请求转人工。
验收指标建议:覆盖率、自动处理准确率、人工转接率、平均处理时长、以及按类别的混淆矩阵。不要只报一个整体准确率。
结论:阈值是业务参数,不是模型参数。把成本曲线和按类阈值写进配置并定期复核,比追一个「更准的模型」见效快。
可操作的做法:
1) 用带标注的验证集画「阈值 - 自动处理覆盖率」「阈值 - 自动处理准确率」两条曲线,并给每个点标注人工量估算。
2) 给两类错误设相对成本系数,计算总成本 = 误自动数 × C_auto + 误转人工数 × C_human,取成本最低的阈值。系数来自业务,不能由模型方拍板。
3) 按意图类别分开设阈值。高频简单类可以放宽,涉及账户、金额的类应更保守,用统一阈值会同时牺牲覆盖率与安全性。
4) 检查校准:模型输出的置信度未必等于真实正确率。画可靠性曲线(reliability diagram),必要时做温度缩放之类的校准,再基于校准后的分数设阈值。
5) 上线后监控分布漂移:新活动、新话术会让分数分布整体移动,固定阈值会突然把大量请求转人工。
验收指标建议:覆盖率、自动处理准确率、人工转接率、平均处理时长、以及按类别的混淆矩阵。不要只报一个整体准确率。
结论:阈值是业务参数,不是模型参数。把成本曲线和按类阈值写进配置并定期复核,比追一个「更准的模型」见效快。

