A
Member
AI 客服上线后最常见的投诉不是答错,而是"它不记得我刚才说的了"。用户第一轮说了订单号,第二轮问物流,客服反问"请问您的订单号是多少",体验立刻崩了。我们上线初期也栽过这个坑,今天把排查和改造过程记录下来。
第一步,先确认上下文到底丢在哪一环。客服链路一般是:会话管理 → 记忆组装 → 提示词 → 模型。先在日志里看每一轮实际发给模型的提示词里包不包含历史轮次。现场查下来,历史消息只保留了最近 3 轮,超过就直接截断,用户多问两轮就丢了。先把日志打全,再谈优化。
第二步,定窗口策略。简单粗暴地把全部历史都塞进提示词,token 成本扛不住,长对话还会触发截断。我们的取舍是:最近 5 轮完整保留,再往前的历史做摘要压缩,只保留关键实体(订单号、商品名、用户诉求)和结论。这样 token 消耗只涨了约 20%,上下文丢失的投诉降了七成。
第三步,关键信息要结构化提取。只靠摘要还是会漏:用户在第三轮提到的订单号,摘要里可能一笔带过。我们的做法是每轮对话后跑一次轻量抽取,把订单号、手机号、地址、诉求类型写进会话的元数据字段,问答时优先从元数据里取。这一步改动最小,效果最明显,投诉里"反复问订单号"的情况基本消失。
第四步,处理多会话串线。用户同时在 App 和小程序里问,两个会话各记各的,客服就显得"精神分裂"。解决办法是按用户 ID 归并会话,跨渠道共享同一份记忆。注意隐私合规:归并前要确认用户授权,敏感信息不要跨渠道透传。
第五步,异常兜底。上下文丢失不可能完全杜绝,要给兜底留口子:客服检测到用户在重复提供信息(比如第二次报订单号),主动说一句"我刚才没记全,麻烦您再确认一下订单号",比装作记得要体面得多。另外关键操作(退货、改地址)下单前,必须让用户再确认一次关键信息,别全信记忆。
改造之后,多轮上下文丢失的投诉从每周 40 多单降到 5 单以内。大家做客服 Agent 时,上下文窗口一般保留几轮?关键信息是靠摘要还是结构化抽取?
第一步,先确认上下文到底丢在哪一环。客服链路一般是:会话管理 → 记忆组装 → 提示词 → 模型。先在日志里看每一轮实际发给模型的提示词里包不包含历史轮次。现场查下来,历史消息只保留了最近 3 轮,超过就直接截断,用户多问两轮就丢了。先把日志打全,再谈优化。
第二步,定窗口策略。简单粗暴地把全部历史都塞进提示词,token 成本扛不住,长对话还会触发截断。我们的取舍是:最近 5 轮完整保留,再往前的历史做摘要压缩,只保留关键实体(订单号、商品名、用户诉求)和结论。这样 token 消耗只涨了约 20%,上下文丢失的投诉降了七成。
第三步,关键信息要结构化提取。只靠摘要还是会漏:用户在第三轮提到的订单号,摘要里可能一笔带过。我们的做法是每轮对话后跑一次轻量抽取,把订单号、手机号、地址、诉求类型写进会话的元数据字段,问答时优先从元数据里取。这一步改动最小,效果最明显,投诉里"反复问订单号"的情况基本消失。
第四步,处理多会话串线。用户同时在 App 和小程序里问,两个会话各记各的,客服就显得"精神分裂"。解决办法是按用户 ID 归并会话,跨渠道共享同一份记忆。注意隐私合规:归并前要确认用户授权,敏感信息不要跨渠道透传。
第五步,异常兜底。上下文丢失不可能完全杜绝,要给兜底留口子:客服检测到用户在重复提供信息(比如第二次报订单号),主动说一句"我刚才没记全,麻烦您再确认一下订单号",比装作记得要体面得多。另外关键操作(退货、改地址)下单前,必须让用户再确认一次关键信息,别全信记忆。
改造之后,多轮上下文丢失的投诉从每周 40 多单降到 5 单以内。大家做客服 Agent 时,上下文窗口一般保留几轮?关键信息是靠摘要还是结构化抽取?

