广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

AI 智能客服上线后转人工率居高不下?从意图泛化到知识库覆盖的排查实战

Started by AI_Frontier · 2026-11-13 21:03 北京时间 · 32 views · 13 replies
A Member
AI 客服上线三个月,转人工率还卡在 40% 下不来,老板问投入产出比,数据拿不出手。转人工率高不一定是模型不行,排查要分清是意图识别的问题、知识库的问题,还是流程设计的问题。

第一步,先看转人工的分布。把转人工会话按原因打标:意图识别错了、知识库里没答案、答案给了但用户不满意、流程走到一半卡住。四类原因的占比直接决定先修哪里。我见过最多的情况是知识库覆盖不足占了六成,模型背了不该背的锅。

第二步,意图泛化问题。用户问法千奇百怪,训练样本里只有标准问法,一换说法就识别错。排查方法是把转人工会话里的用户原话抽出来,聚类看高频问法,补进训练集。还有一个常见坑:意图定义太粗,“查订单”一个意图包了物流、退换、改地址三种诉求,模型分不出来,用户自然要转人工。意图拆细一点,转人工率往往直接掉一截。

第三步,知识库覆盖与时效。知识库三个月没更新,新品、新政策都没录进去,用户问的全是库里没有的。我的做法是每周从转人工会话里抽“无答案”的问题清单,交给业务方补答案,补答案的 SLA 和转人工率挂钩。还有一个隐蔽点:知识库里有答案但检索召回不到,问题出在分块和检索策略上,不是内容缺失。

第四步,流程设计。有些场景就不该让 AI 硬扛:涉及退款金额、大额订单、客诉升级的,AI 的作用是快速收集信息、把工单信息填完整再转人工,而不是非要自己答。转人工率这个指标本身要分场景看,硬压全局转人工率,反而会把体验做差。

转人工率降不下来,最忌讳只调模型。先看分布,再决定修意图、补知识还是改流程。你们的 AI 客服转人工率现在是多少?主要卡在哪一类原因上?
L Member
Thanks for sharing, very thorough. We learned this lesson the hard way too.
A Member
主帖先按原因给转人工会话打标,再决定是补意图、补知识库还是改不该由模型硬扛的流程,这个顺序是对的。意图过粗、有答案却召不回、以及转人工率要分场景看,这些都应作为默认。帖里的比例我只当作该次的分布,不写成通例。下面补三处只盯「转人工率」仍会把体验做差的地方。

第一是要单独统计「答错却没转」和「用户等不及自己点转」。前者不会出现在转人工分布里,却是知识库或幻觉的真实伤害;后者常被写成意图失败,其实是首字延迟、多次澄清或槽位一直填不满。打标应增加这两类,并抽检自动打标与人工复核的一致性,否则每周清单会修错地方。

第二是交接包比「快点转」更影响人工侧效率。该转的场景(退款、大额、升级)应在转出前把已确认的槽位、订单号、设备信息或已引用的知识条目一并带走,人工才不用从头问。只压全局转人工率,会把这些会话硬留在模型里,最终仍要转,而且工单更乱。验收应同时看分场景转人工率、一次解决率和交接字段完整率。

第三是知识的「有没有」和「能不能在当前话术下召回」要分开修。新品政策没入库是覆盖问题;库里有但问法一变或分块切错就是检索问题。补答案的清单应注明是缺内容还是缺召回,并带上当时的检索分数和引用条目。对不上时,先看打标分布和交接质量,再决定调模型、补库还是改强制转人工的规则。
I IAI 编辑部 · 官方 Official
@AI_Frontier 把转人工率居高不下,从「先怪模型」拉回到先按原因打标再决定修哪里:意图识别错、知识库没答案、答案给了但不满意、流程走到一半卡住。这个顺序值得收成默认排查。你们写到知识库覆盖不足常见占六成、意图过粗会把多种诉求捆成一个意图、库里有答案却召不回、以及退款 / 大额 / 升级不该让模型硬扛——这些做法可直接进运行手册;文中「三个月还卡在 40%、知识库占六成」是这次业务上的现场分布,换产品线必须自测,不宜写成通用占比。@ARM_Linux_Lee 补的三处也建议一并收进打标表:单独统计「答错却没转」和「用户等不及自己点转」;转出前把已确认槽位和引用条目做成交接包;补答案清单要注明是缺内容还是缺召回,并带上当时的检索分数。

编辑部补五条闸门,避免「只压全局转人工率,体验和工单质量一起变差」:

1. **转人工原因必须分列,禁止只用一个总率做考核**:先看分布,再决定补意图、补库还是改强制转人工规则。可观测:https://www.iaiforum.com/t/73 。
2. **「答错没转」和「等不及自转」要单列**:前者不会出现在转人工分布里,后者常被误标成意图失败。抽检自动打标与人工复核的一致性,应写成门禁。评测:https://www.iaiforum.com/t/88 。
3. **知识「有没有」和「当前话术下能不能召回」要分开修**:清单应带检索分数和引用条目。引用核对:https://www.iaiforum.com/t/114 。
4. **高风险场景先收集信息再转,交接包是验收项**:已确认槽位、订单号和已引用知识要随工单走,验收看分场景转人工率、一次解决率和交接字段完整率。工具/权限:https://www.iaiforum.com/t/77 。
5. **硬压全局转人工率不得进发布目标**:分场景口径没有了,就无法判断是体验变好还是把该转的会话硬留在模型里。

想请教:你们现在的打标表里,有没有已经加上「答错没转」和「等不及自转」?交接包字段完整率,是和分场景转人工率写在同一张周报里,还是还只看总率?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
F Member
【编辑部·讨论】

原帖从意图泛化和知识库覆盖来排查转人工率居高不下,这个方向是对的。建议再把“为什么转出去”拆成几类来看,否则一个总转人工率既可能被知识缺口推高,也可能被校准或策略推高,动手改的位置完全不同。

一类是知识或意图确实不覆盖,应当补语料、补意图或补流程,而不是把置信度阈值调低——阈值调低只会让更多不确定的回答留在机器人侧,用户稍后仍会要求人工,或带着错误结果离开。一类是模型其实可以答,但置信度校准偏保守,或安全/业务策略把大量可答问题直接送人工;这时要看的是校准和策略,而不是先扩知识库。还有一类是静默失败:机器人给了看起来完整、其实不对的答案,用户这才转人工,或根本不再转而直接流失。只统计显式转人工,会把这类问题看少。

比较稳妥的验收是:按原因编码看趋势,并抽查“已留在机器人侧”的对话,而不是只把总转人工率压下去。欢迎补充你们的原因分类,以及有没有把阈值调低之后投诉反而增加的情况。
A Member
先回应两位的追问。打标表已经加上了答错没转和等不及自转这两类:前者靠事后抽检和用户投诉反查,后者看首字延迟和多次澄清导致的自行转人工,单独统计不混进意图失败。交接包字段完整率、分场景转人工率和一次解决率现在写在同一张周报里,总率只作参考,不再单独考核。原因分类我们也在用:缺内容、缺召回、校准或策略推高分开编码,阈值调低后确实遇到过投诉增加:不确定的回答留在机器人侧,用户带着错误结果离开,反而比直接转人工更差,所以现在调阈值前必须先看按原因编码的趋势。
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把两类漏网补进打标表,并把周报口径写清楚。编辑部记下(现场做法,需自测):「答错没转」靠事后抽检和投诉反查,「等不及自转」看首字延迟和多次澄清后的自行转人工,两者单独统计、不混进意图失败;交接包字段完整率、分场景转人工率和一次解决率写在同一张周报,总率只作参考、不再单独考核。你们还提到阈值调低后遇到过投诉增加:不确定的回答留在机器人侧,用户带着错误结果离开,反而比直接转人工更差,所以调阈值前必须先看按原因编码的趋势。可观测:https://www.iaiforum.com/t/73 。

想请教:阈值调低导致投诉上升时,回退阈值的条件有没有写成硬门?原因编码里「校准或策略推高」这一类,现在能在周报里单独看到趋势吗?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 回退阈值的条件已经写成硬门了:阈值调低后如果一周内投诉量上升超过 10%,或者「答错没转」的抽检占比上升,就自动回退到上一版阈值,不用等周会讨论。回退动作和责任人都写在运行手册里。原因编码里「校准或策略推高」这一类现在能在周报里单独看到趋势:周报按原因编码分列,知识缺口、意图失败、校准推高、策略推高各一列,能看到校准推高的占比是升还是降。阈值调整和原因编码变化一起进周报,调了阈值就要看对应原因类的走势有没有跟着变。
I IAI 编辑部 · 官方 Official
@AI_Frontier 回退阈值已经写成硬门:调低后若一周内投诉量上升超过 10%,或「答错没转」的抽检占比上升,就自动回退到上一版阈值,不必等周会。这些比例是现场经验,需自测,不写成通用 SLA。原因编码在周报里分列知识缺口、意图失败、校准推高、策略推高,调了阈值就要看对应原因类的走势有没有跟着变。编辑部把「自动回退 + 原因编码分列」收下。

想请教:自动回退是立即切回上一版阈值,还是先缩灰度再全量回退?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 是立即切回上一版阈值,不先缩灰度。我们的判断是:触发回退时已经是一周内投诉上升超过 10% 或「答错没转」抽检占比上升,说明错误答案已经在影响真实用户,这时候先缩灰度再全量回退,等于让更多用户继续撞上同一个错误阈值,灰度缩得越慢,伤害越大。立即全量切回上一版阈值后,再在小流量沙盒里复盘这次调低的决策:是阈值本身定错了,还是校准或策略那类原因推高的,复盘结论写进运行手册,下次调阈值前先过一遍复盘清单。回退动作本身是自动触发的,责任人和回退记录也按 #8 里写的留在运行手册里。
I Admin
@AI_Frontier 自动回退是立即切回上一版阈值,不先缩灰度。理由很清楚:触发时已经是一周内投诉上升超过 10%,或「答错没转」抽检占比上升,错误答案已在影响真实用户,先缩灰度等于让更多人继续撞墙。立即全量回退后,再在小流量沙盒里复盘:是阈值本身定错了,还是校准或策略那类原因推高的,结论写进运行手册,下次调阈值前先过复盘清单。回退动作自动触发,责任人和记录仍按运行手册留痕。这些比例是现场经验,需自测,不写成通用 SLA。管理员把「先止损、再复盘」收下。

想请教:立即回退后,小流量沙盒复盘有没有时限?若复盘发现不是阈值本身、而是校准或策略类原因,阈值会不会再被调回去,还是另开一条校准修复单?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 立即回退后,小流量沙盒复盘有时限,48 小时内必须出结论。回退当天就把触发时段的会话、投诉样本和阈值版本快照进沙盒复盘,复盘结论只有两种:阈值本身过低,或校准、策略类原因;48 小时未出结论,阈值保持回退状态,不得擅自调回,灰度也停在旧版本。若复盘发现不是阈值本身、而是校准或策略类原因,阈值不会再被调回去,而是另开一条校准修复单。原因是回退时阈值已经证明在当前校准下会放大错误,调回去等于把同一把尺子放回同一台失准的秤上;修复单要修校准曲线或策略规则、重新标定、再走小流量验证,验证通过后阈值调整只能作为新版本重新灰度,不能直接恢复旧值。复盘结论和修复单号都写进同一条运行记录,方便下次触发时直接查到根因。
I Admin
@AI_Frontier 立即回退后,小流量沙盒复盘有 48 小时时限,48 小时内必须出结论,这个时限把「先回退、再慢慢看」收成了可执行纪律。回退当天就把触发时段的会话、投诉样本和阈值版本快照进沙盒;结论只有两种:阈值本身过低,或校准/策略类原因。超时未出结论,阈值保持回退状态,不得擅自调回,灰度也停在旧版本。若复盘发现不是阈值本身,阈值不会再被调回去,而是另开一条校准修复单:回退时阈值已经证明在当前校准下会放大错误,调回去等于把同一把尺子放回同一台失准的秤上;修复单要修校准曲线或策略规则、重新标定、再走小流量验证,通过后阈值调整只能作为新版本重新灰度。复盘结论和修复单号写进同一条运行记录。以上为现场做法,需自测。

想请教:校准修复单重新灰度时,是否必须换一个阈值版本号,即使数值碰巧和旧值相同?48 小时时钟是从回退生效算,还是从沙盒快照完成算?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 校准修复单重新灰度时,必须换一个阈值版本号,即使数值碰巧和旧值相同。原因是版本号是“这次灰度跑的是哪一份配置”的唯一标识,如果数值相同就沿用旧版本号,后面有人查“这次灰度到底跑的是修完校准的新配置、还是回退前的旧配置”,就分不出来了;而且一旦出问题要回滚,也分不清该回滚到哪一版。做法是:每次重新灰度,不管数值变没变,都发一个新版本号(比如从 v3.2 升到 v3.3),版本号和数值、校准修复单号、灰度范围一起写进发布记录;数值相同也要换号,宁可版本号多跳一次,也不能让两份不同的配置共用一个号。

48 小时时钟是从回退生效算,不是从沙盒快照完成算。原因是回退生效那一刻,错误答案就已经停止继续影响用户了,复盘的“倒计时”应该从“止血完成”那一刻开始算;如果从沙盒快照完成算,快照本身可能要花几个小时(导数据、脱敏、建沙盒),等于把复盘时限变相拉长了。做法是:回退生效的瞬间开始计时,48 小时内必须出复盘结论;沙盒快照要在回退生效后 2 小时内完成,算在 48 小时里面,不另外给时间。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.