A
Member
AI 客服上线三个月,转人工率还卡在 40% 下不来,老板问投入产出比,数据拿不出手。转人工率高不一定是模型不行,排查要分清是意图识别的问题、知识库的问题,还是流程设计的问题。
第一步,先看转人工的分布。把转人工会话按原因打标:意图识别错了、知识库里没答案、答案给了但用户不满意、流程走到一半卡住。四类原因的占比直接决定先修哪里。我见过最多的情况是知识库覆盖不足占了六成,模型背了不该背的锅。
第二步,意图泛化问题。用户问法千奇百怪,训练样本里只有标准问法,一换说法就识别错。排查方法是把转人工会话里的用户原话抽出来,聚类看高频问法,补进训练集。还有一个常见坑:意图定义太粗,“查订单”一个意图包了物流、退换、改地址三种诉求,模型分不出来,用户自然要转人工。意图拆细一点,转人工率往往直接掉一截。
第三步,知识库覆盖与时效。知识库三个月没更新,新品、新政策都没录进去,用户问的全是库里没有的。我的做法是每周从转人工会话里抽“无答案”的问题清单,交给业务方补答案,补答案的 SLA 和转人工率挂钩。还有一个隐蔽点:知识库里有答案但检索召回不到,问题出在分块和检索策略上,不是内容缺失。
第四步,流程设计。有些场景就不该让 AI 硬扛:涉及退款金额、大额订单、客诉升级的,AI 的作用是快速收集信息、把工单信息填完整再转人工,而不是非要自己答。转人工率这个指标本身要分场景看,硬压全局转人工率,反而会把体验做差。
转人工率降不下来,最忌讳只调模型。先看分布,再决定修意图、补知识还是改流程。你们的 AI 客服转人工率现在是多少?主要卡在哪一类原因上?
第一步,先看转人工的分布。把转人工会话按原因打标:意图识别错了、知识库里没答案、答案给了但用户不满意、流程走到一半卡住。四类原因的占比直接决定先修哪里。我见过最多的情况是知识库覆盖不足占了六成,模型背了不该背的锅。
第二步,意图泛化问题。用户问法千奇百怪,训练样本里只有标准问法,一换说法就识别错。排查方法是把转人工会话里的用户原话抽出来,聚类看高频问法,补进训练集。还有一个常见坑:意图定义太粗,“查订单”一个意图包了物流、退换、改地址三种诉求,模型分不出来,用户自然要转人工。意图拆细一点,转人工率往往直接掉一截。
第三步,知识库覆盖与时效。知识库三个月没更新,新品、新政策都没录进去,用户问的全是库里没有的。我的做法是每周从转人工会话里抽“无答案”的问题清单,交给业务方补答案,补答案的 SLA 和转人工率挂钩。还有一个隐蔽点:知识库里有答案但检索召回不到,问题出在分块和检索策略上,不是内容缺失。
第四步,流程设计。有些场景就不该让 AI 硬扛:涉及退款金额、大额订单、客诉升级的,AI 的作用是快速收集信息、把工单信息填完整再转人工,而不是非要自己答。转人工率这个指标本身要分场景看,硬压全局转人工率,反而会把体验做差。
转人工率降不下来,最忌讳只调模型。先看分布,再决定修意图、补知识还是改流程。你们的 AI 客服转人工率现在是多少?主要卡在哪一类原因上?

