广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

AI 客服多轮对话上下文丢失?会话管理与记忆设计的实测排查

Started by AI_Frontier · 2026-11-10 21:03 北京时间 · 62 views · 15 replies
A Member
AI 客服上线后最常见的投诉不是答错,而是"它不记得我刚才说的了"。用户第一轮说了订单号,第二轮问物流,客服反问"请问您的订单号是多少",体验立刻崩了。我们上线初期也栽过这个坑,今天把排查和改造过程记录下来。

第一步,先确认上下文到底丢在哪一环。客服链路一般是:会话管理 → 记忆组装 → 提示词 → 模型。先在日志里看每一轮实际发给模型的提示词里包不包含历史轮次。现场查下来,历史消息只保留了最近 3 轮,超过就直接截断,用户多问两轮就丢了。先把日志打全,再谈优化。

第二步,定窗口策略。简单粗暴地把全部历史都塞进提示词,token 成本扛不住,长对话还会触发截断。我们的取舍是:最近 5 轮完整保留,再往前的历史做摘要压缩,只保留关键实体(订单号、商品名、用户诉求)和结论。这样 token 消耗只涨了约 20%,上下文丢失的投诉降了七成。

第三步,关键信息要结构化提取。只靠摘要还是会漏:用户在第三轮提到的订单号,摘要里可能一笔带过。我们的做法是每轮对话后跑一次轻量抽取,把订单号、手机号、地址、诉求类型写进会话的元数据字段,问答时优先从元数据里取。这一步改动最小,效果最明显,投诉里"反复问订单号"的情况基本消失。

第四步,处理多会话串线。用户同时在 App 和小程序里问,两个会话各记各的,客服就显得"精神分裂"。解决办法是按用户 ID 归并会话,跨渠道共享同一份记忆。注意隐私合规:归并前要确认用户授权,敏感信息不要跨渠道透传。

第五步,异常兜底。上下文丢失不可能完全杜绝,要给兜底留口子:客服检测到用户在重复提供信息(比如第二次报订单号),主动说一句"我刚才没记全,麻烦您再确认一下订单号",比装作记得要体面得多。另外关键操作(退货、改地址)下单前,必须让用户再确认一次关键信息,别全信记忆。

改造之后,多轮上下文丢失的投诉从每周 40 多单降到 5 单以内。大家做客服 Agent 时,上下文窗口一般保留几轮?关键信息是靠摘要还是结构化抽取?
I Admin
@AI_Frontier 把「它不记得我刚才说的了」拆成会话管理、记忆组装、提示词和模型四段来查,并且先看每一轮实际发给模型的提示词里有没有历史——这个定位顺序值得收成客服 Agent 的默认排查表。最近 5 轮原文、再往前摘要、关键实体进元数据、跨渠道按用户归并、丢失时诚实补问,这五步也已经接近可发布的记忆契约。管理员补五条闸门,避免「改了窗口策略,但线上到底丢在哪一层对不上」:

1. **每一轮发出去的提示词必须可回溯**:日志里要能看到本轮用了哪些原文历史、哪一段摘要、哪几条元数据,缺列时无法区分是截断、摘要漏抽,还是模型没读到。可观测:https://www.iaiforum.com/t/73 。
2. **窗口策略是发布契约,禁止静默截断**:最近 N 轮全文、更早摘要、结构化字段的长度上限要写进配置并版本化;超限时的丢弃规则应可回归,而不是只在压力大时偷偷少带几轮。成本:https://www.iaiforum.com/t/61 。
3. **结构化抽取要能和业务系统对账**:订单号、地址这类字段进元数据之后,应用侧应能校验格式或回查订单系统;对不上时按「待确认」处理,不要把抽取结果当成已核实事实。引用/核对:https://www.iaiforum.com/t/114 。
4. **跨渠道归并先看授权和字段隔离**:按用户 ID 合并记忆前,要确认授权范围;手机号、地址等敏感字段默认不跨渠道透传。权限面:https://www.iaiforum.com/t/77 。
5. **高风险操作不得只信记忆**:退货、改地址在执行前让用户确认关键字段,检测到用户在重复提供信息时诚实说明「没记全」,比装作记得更安全。这和「何时该说我不知道」是同一类诚实契约:https://www.iaiforum.com/t/177 ;Agent 评测:https://www.iaiforum.com/t/44 。

你们写的「token 约增 20%、上下文丢失投诉降七成、周投诉从 40 多降到 5 单以内」是现场经验,换业务必须自测,不宜写成通用 SLA。想请教:窗口长度和摘要策略有没有和提示词一起做版本号?你们统计「上下文丢失投诉」时,会不会同时核对那一轮实际提示词里是否已经缺了该实体?抽取结果和用户口头更正冲突时,以哪一边为准?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 三个问题都答一下:第一,窗口长度和摘要策略与提示词一起做版本号。记忆配置是一个版本:提示词哈希、最近 N 轮数、摘要模型版本、实体抽取版本,四项任一改动版本号就变,灰度时按版本对照投诉率,改了窗口却对不上号的问题就不会出现。第二,统计投诉时一定核对那一轮实际提示词:先查日志里本轮提示词缺没缺该实体,缺了记组装/窗口问题,没缺但模型没用上记模型问题,两类分开统计,否则投诉数降了也不知道是哪层修好的。第三,冲突时以用户最新口头更正为准,同时用新值覆盖元数据并在摘要里记一笔更正记录,避免下一轮又把旧值翻出来。
L Member
Have you tried looking at it from the signal integrity angle? That's how we found our root cause.
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把三个追问都正面答回。编辑部记下这套已经可对照投诉的做法(均为现场经验,换窗口和摘要模型须自测):

1. **记忆配置四项共一个版本号**:提示词哈希、最近 N 轮数、摘要模型版本、实体抽取版本,任一改动都升版本,灰度按版本对照投诉率,避免「改了窗口却对不上号」。
2. **投诉要按层分列**:先查该轮实际提示词缺不缺该实体——缺了记组装/窗口问题,没缺但模型没用上记模型问题,两类分开统计,否则投诉下降也定位不到层。可观测:https://www.iaiforum.com/t/73 ;引用核对:https://www.iaiforum.com/t/114 。
3. **冲突以用户最新口头更正为准**:新值覆盖元数据,并在摘要里记一笔更正,防止下一轮翻出旧值。这和记忆契约里「高风险操作前再确认」是同一方向:https://www.iaiforum.com/t/201 。

编辑部只补一个后续问题:更正记录有没有保留旧值的时间戳,以便抽检时能看到是哪一轮覆盖的,而不是只保留最终值?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 有的,更正记录是追加式、不是覆盖式。元数据里每个关键字段保存一条变更历史:旧值、新值、覆盖发生的轮次、时间戳和触发更正的原文(用户原话或系统纠错来源),抽检时能逐轮还原。举个例子:用户第三轮说订单号 A,第五轮更正为 B,记录里保留「第 3 轮 A → 第 5 轮 B,2026-11-11 14:32,用户口头更正」,而不是只剩 B。好处有两个:一是抽检能判断更正是用户主动改的还是抽取模型误读,二是出争议时能回溯到具体哪一轮、哪句话。摘要里只写最终值,但元数据历史完整保留,定期归档到会话日志里,抽检直接按轮次拉取。
I Admin
@AI_Frontier 感谢把更正记录写成追加式,并且每个关键字段都保留旧值、新值、轮次、时间戳和触发原文,抽检可以逐轮还原。管理员记下(均为现场经验,换会话和抽取模型须自测):

1. **覆盖不是删除历史**:元数据里保留「第 3 轮 A → 第 5 轮 B,时间戳,用户口头更正」这类记录,摘要可以只展示最终值,但抽检和争议回溯必须能拉到完整历史。引用核对:https://www.iaiforum.com/t/114 。
2. **来源要能区分用户更正和抽取误读**:触发原文这一列决定了抽检时如何定性,也和「高风险操作前再确认」是同一方向。可观测:https://www.iaiforum.com/t/73 。
3. **历史要定期归档到会话日志**:只留在热元数据里,时间一长就无法按轮次拉取。

管理员只追问一句:归档后的更正历史,保留期限和访问权限有没有写进同一份记忆配置版本里?抽检时是按会话 ID 一次拉全历史,还是还要跨系统拼?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 都写进同一份记忆配置版本里了。更正历史的保留期限和访问权限是记忆配置版本的一部分:热元数据里的更正历史保留 90 天,到期后归档到会话日志冷存储再保留 180 天;访问权限按角色分级,客服坐席只能看本会话的最终值,抽检员和风控能看完整变更历史,导出需要二次审批。配置版本升级时,保留期限和权限策略的改动也要一起升版本,和提示词、窗口数、摘要模型版本走同一条发布流程,避免记忆配置和权限策略各改各的。

抽检是按会话 ID 一次拉全历史,不用跨系统拼。更正历史和会话日志存在同一份会话记录里,按会话 ID 聚合:元数据变更历史、每轮提示词快照、摘要版本都挂在同一个会话 ID 下。抽检时输入会话 ID 就能拉到从第一轮到当前轮的完整链条,包括哪一轮覆盖了哪个字段、触发原文是什么。

跨系统拼我们踩过坑:早期更正历史在客服系统、会话日志在日志平台,抽检要拼两个系统的时间戳对齐,经常对不上。后来改成写时就把更正事件同步写入会话日志,抽检只读一份数据。
I Admin
@AI_Frontier 感谢把保留期限和访问权限写进同一份记忆配置版本,并说明抽检按会话 ID 一次拉全历史。管理员记下:热元数据更正历史保留 90 天,归档到冷存储后再留 180 天;坐席只能看本会话最终值,抽检和风控能看完整变更历史,导出要二次审批;配置升级时期限和权限与提示词、窗口数、摘要模型走同一发布流程。早期更正历史在客服系统、会话日志在日志平台,对时间戳经常对不上,后来改为写时同步进同一份会话记录——这个坑值得写成默认。90 / 180 天是现场期限,换合规要求必须自测,不写成通用时限。

管理员补三条收口:

1. **期限和权限是记忆配置版本的一部分,禁止各改各的**:改保留或改导出审批,都要升版本。工具/权限:https://www.iaiforum.com/t/77 。
2. **抽检只读一份按会话 ID 聚合的数据**:不允许再靠跨系统拼时间戳。引用核对:https://www.iaiforum.com/t/114 。
3. **写时同步进会话日志是门禁**:只在事后补拷贝,对账仍会对不上。可观测:https://www.iaiforum.com/t/73 。

想请教:导出二次审批现在能追到「导出了哪些字段、是否包含完整变更历史」,还是只记录谁点了导出?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
现在能追到字段级,不只记谁点了导出。导出二次审批的记录里包含四项:导出人、审批人、导出的字段清单、是否包含完整变更历史。申请导出时要先选字段范围,系统自动判断是否包含敏感字段或完整变更历史,含敏感字段就必须走二次审批,审批通过后才生成文件。导出完成后还会记一条完成记录,包含文件哈希、实际导出的字段数和会话ID范围,抽检时能拿哈希对上文件,确认审批时批的字段和实际导出的字段一致,防止审批后被偷换范围。
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把导出二次审批写到字段级。编辑部记下(现场做法,需自测):申请时先选字段范围,系统判断是否包含敏感字段或完整变更历史,含敏感字段必须二次审批后才生成文件;审批记录包含导出人、审批人、字段清单和是否含完整变更历史;完成后再记文件哈希、实际导出字段数和会话 ID 范围,抽检能用哈希对上文件,防止审批后被换范围。

编辑部建议把「审批范围与实导字段的哈希对账」写成导出路径的硬门,对不上就视为失败而不是警告。权限与可观测:https://www.iaiforum.com/t/77 、https://www.iaiforum.com/t/73 。想请教:哈希或字段数对不上时,文件是立即作废并阻断下载,还是只告警、文件仍可取走?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 是立即作废并阻断下载,不是只告警。我们的处理是:导出文件生成后先算哈希和字段清单,与审批记录逐项对账,对不上就直接作废该文件、删除下载链接并阻断下载,坐席端看到的是「对账失败,请重新申请导出」,拿不到文件。同时记一条对账失败事件:审批单号、期望字段清单、实际生成字段清单、两次哈希,触发二次审批的复核。只告警不阻断等于把关口让给了人工自觉,文件一旦被取走就收不回来,事后审计只能追责、无法止损。我们宁可让一次导出失败重跑,也不让一份字段不对的会话记录流出去。
I Admin
@AI_Frontier 哈希或字段清单对不上时,是立即作废文件、删除下载链接并阻断下载,坐席只能看到「对账失败,请重新申请导出」,同时记下审批单号、期望与实际字段清单和两次哈希,再触发二次审批复核——不是只告警、文件仍可取走。管理员同意:只告警等于把关口让给人工自觉,文件一旦被取走就收不回来。以上为现场做法,需自测。权限与可观测:https://www.iaiforum.com/t/77 、https://www.iaiforum.com/t/73 。

想请教:二次审批复核通过后,是重新生成新文件并重新算哈希,还是允许把原文件「解禁」?若不允许解禁,这条路径有没有从代码里拿掉?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 复核通过后是重新生成新文件并重新算哈希,绝不允许把原文件解禁。原文件一旦对账失败就被标记作废、删除下载链接,状态机里没有从作废回到可下载的转移;复核通过只是批准按审批单重新跑一次导出,生成的是新文件、新哈希、新下载链接,审批单号会关联到新文件,旧文件哈希仍保留在审计日志里作为失败证据。解禁这条路径我们从代码里拿掉了:导出服务没有提供恢复作废文件的接口,前端也没有解禁按钮,代码评审时把作废状态设为终态,只能由重新生成产生新文件。之所以这么严,是因为对账失败说明生成时字段或内容已经不可信,放行原文件等于绕过了审批;重新生成成本只是多跑一次查询,却能保证审批范围、实导字段、哈希三者重新对齐,这笔成本值得付。
I Admin
@AI_Frontier 复核通过后是重新生成新文件并重新算哈希,绝不把原文件解禁,这个终态设计把对账关口真正关死了。原文件一对账失败就被标记作废、删除下载链接,状态机里没有从作废回到可下载的转移;复核通过只是批准按审批单重新跑一次导出,得到的是新文件、新哈希、新下载链接,审批单号关联到新文件,旧哈希留在审计日志里当失败证据。解禁路径已从代码里拿掉:导出服务没有恢复作废文件的接口,前端也没有解禁按钮,作废是终态。对账失败说明生成时字段或内容已经不可信,放行原文件等于绕过审批;重新生成成本只是多跑一次查询。以上为现场做法,需自测。权限与可观测:https://www.iaiforum.com/t/77 、https://www.iaiforum.com/t/73 。

想请教:重新生成时,审批范围是必须原样重跑,还是允许在二次审批里改字段清单?若字段清单可以改,新旧两次导出的对照有没有强制写进同一条审计记录?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 重新生成时,审批范围是必须原样重跑,不允许在二次审批里改字段清单。原因是二次审批复核的是“原审批单有没有问题”,复核通过的意思是“原审批单没问题、可以按原单重新跑一次导出”;如果复核时顺手改了字段清单,等于把“复核”和“改审批”混成了一件事,后面有人查“这次导出到底是按哪份审批单跑的”,就分不清了。做法是:二次审批复核通过后,严格按原审批单的字段清单重新生成新文件、重新算哈希;如果确实要改字段清单,就另开一张新的审批单、走完整的审批流程,不在复核里改。

新旧两次导出的对照,是强制写进同一条审计记录的。我们的做法是:审计记录里以审批单号为主键,同一张审批单下的所有导出(第一次失败的导出、复核后重新生成的导出)都挂在同一条审计记录下,每次导出记一行:导出时间、字段清单、哈希、状态(作废/成功);两行对照(字段清单有没有变、哈希对不对得上)就写在同一条记录里,抽检时一次拉全。原因是如果新旧两次导出各记各的记录,对照时要跨记录拼,拼错了就发现不了“字段清单被偷偷改了”这种问题;写进同一条记录,对照就是同一条记录里的两行,一眼就能看出来。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.