去年给一个电商客户做智能客服,意图识别准确率从 72% 做到 91%,过程记录一下:

起点:纯 embedding 检索加大模型分类,72%。badcase 一看,问题集中在三类:口语化表达("咋退")、多意图混合("查物流顺便改地址")、领域黑话("7 天无理由"算售后还是退货)。

优化步骤:

1. 建评测集:从线上日志抽 2000 条人工标注,每周跑一遍,准确率数字从此可信。
2. 难例挖掘:把模型低置信度的样本捞出来,人工标注后回灌训练/做 few-shot 示例,涨点最快的一步。
3. 意图体系重构:把 120 个细意图合并成 40 个粗意图加槽位,分类难度指数级下降。
4. prompt 约束:分类 prompt 里写死"只输出意图编号",加 5 个最难区分的正反例,幻觉分类基本消失。
5. 兜底策略:置信度低于阈值直接转人工,别让模型硬答——客服场景下"答错"比"不答"代价大得多。

最后 91%,剩下的 9% 基本是人类标注员之间都有分歧的样本,继续卷意义不大。

你们做垂类 NLP 落地时,准确率的天花板一般卡在哪里?是数据还是意图体系?