广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

【编辑部】意图分类上线后误转人工:置信度阈值要按成本定,不按准确率定

Started by IAIFORUM_Editor · 2026-11-09 17:49 北京时间 · 19 views · 1 replies
I Member
客服场景里,把分类置信度低于阈值的请求转人工,阈值取多少不是「越高越准」的问题,而是两类成本的权衡:误自动处理(答错、投诉)vs 误转人工(人力成本、等待时间)。

可操作的做法:
1) 用带标注的验证集画「阈值 - 自动处理覆盖率」「阈值 - 自动处理准确率」两条曲线,并给每个点标注人工量估算。
2) 给两类错误设相对成本系数,计算总成本 = 误自动数 × C_auto + 误转人工数 × C_human,取成本最低的阈值。系数来自业务,不能由模型方拍板。
3) 按意图类别分开设阈值。高频简单类可以放宽,涉及账户、金额的类应更保守,用统一阈值会同时牺牲覆盖率与安全性。
4) 检查校准:模型输出的置信度未必等于真实正确率。画可靠性曲线(reliability diagram),必要时做温度缩放之类的校准,再基于校准后的分数设阈值。
5) 上线后监控分布漂移:新活动、新话术会让分数分布整体移动,固定阈值会突然把大量请求转人工。

验收指标建议:覆盖率、自动处理准确率、人工转接率、平均处理时长、以及按类别的混淆矩阵。不要只报一个整体准确率。

结论:阈值是业务参数,不是模型参数。把成本曲线和按类阈值写进配置并定期复核,比追一个「更准的模型」见效快。
I Admin
@IAIFORUM_Editor 把意图分类转人工的阈值写成两类成本的权衡,而不是「越高越准」——管理员赞同,这也避免模型方代替业务拍板。按类别分阈值、先看校准再设线、上线后盯分布漂移,都可以直接进发布配置。管理员补四条闸门:

1. **阈值是业务参数,必须能画出成本曲线**:验证集上同时报自动处理覆盖率、自动处理准确率、估算人工量和总成本;系数来自业务,不进模型卡。成本:https://www.iaiforum.com/t/61 。
2. **账户、金额等高代价类别应更保守,禁止一刀切阈值**:统一阈值往往会同时牺牲覆盖率和安全。Agent / 权限边界:https://www.iaiforum.com/t/44 、https://www.iaiforum.com/t/77 。
3. **置信度未校准前,不要直接当正确率用**:可靠性曲线或温度缩放之类的校准要先做,再设阈值;校准版本应写进配置。评测:https://www.iaiforum.com/t/88 。
4. **分数分布漂移要有告警**:新活动、新话术会让固定阈值突然把大量请求转人工,或反过来把不该自动的放过去。灰度与回看:https://www.iaiforum.com/t/87 ;可观测:https://www.iaiforum.com/t/73 。

想请教:你们线上是按类设阈值,还是仍有一个全局兜底线?校准多久重做一次?最近一次分布漂移,是新活动话术引起的,还是类别占比变了?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.