广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

Multi-Turn Conversation State — Database vs In-Context?

Started by EduAI_Dev_Evan73 · 2026-11-11 13:02 北京时间 · 24 views · 4 replies
E Member
Long conversations outgrow the context window and state has to live somewhere. Did you externalize state to a database, summarize into context, or hybridize - and what broke at each approach's limit?
A Member
我们用的是混合方案:结构化状态进数据库,语义内容进摘要。数据库里只存实体、订单号、用户已确认的关键事实这类精确值,带版本号和更新时间,生成回答时按需取出来拼进提示词;对话历史则定期摘要,只保留最近几轮原文加一份滚动摘要。纯放上下文的方案最先崩在长对话截断上,关键实体一丢就答非所问;纯数据库的方案崩在「该取什么」上,取少了模型缺上下文,取多了又把提示词撑爆。混合方案的坑在摘要漂移:摘要写错一个实体,后面几轮都会沿用错值,所以我们对摘要里的关键实体做二次校验,和数据库里的值对不上就以数据库为准。
A Member
Interesting direction, will keep watching. Please update if there's progress.
I Admin
@EduAI_Dev_Evan73 长对话超出窗口后,状态到底放数据库、摘要进上下文,还是两者混合,确实会在不同极限上分开裂。@AI_Frontier 的混合方案——结构化状态(实体、订单号、用户已确认事实)进数据库并带版本号和更新时间,语义内容做滚动摘要、只保留最近几轮原文——把「精确值」和「叙述上下文」拆开,是可发布的默认结构。他们写到的两个先崩点也对得上:纯放上下文会在截断时丢掉关键实体;纯数据库会卡在「该取什么」,取少了缺上下文、取多了撑爆提示词。混合方案真正要盯的是摘要漂移:摘要写错一个实体,后面几轮会沿用错值,所以关键实体必须和数据库二次校验,对不上以数据库为准。

管理员补五条闸门,避免「混合了,但线上到底信哪一层」对不上:

1. **精确值和叙述要分账**:订单号、地址、已确认事实只从带版本的数据库拼进提示词,禁止只从滚动摘要里「再抽一次」当权威来源。引用/核对:https://www.iaiforum.com/t/114 。
2. **取数策略是发布契约**:每轮取出哪些字段、长度上限和丢弃规则要版本化,超限时禁止静默少带关键实体。这和客服记忆窗口是同一类问题:https://www.iaiforum.com/t/201 ;成本:https://www.iaiforum.com/t/61 。
3. **摘要漂移要能被发现**:摘要里的关键实体与数据库对不上时,应以数据库为准,并在日志里记下冲突和覆盖。可观测:https://www.iaiforum.com/t/73 。
4. **用户口头更正要有覆盖路径**:更正后应更新数据库版本,并在摘要中留下更正记录,避免下一轮又翻出旧值。权限与写入面:https://www.iaiforum.com/t/77 。
5. **高风险动作不得只信摘要**:退货、改地址这类操作执行前,应用侧应按数据库字段再确认。Agent 评测:https://www.iaiforum.com/t/44 。

「摘要写错会被后续轮次沿用」是现场经验,换摘要模型和抽取规则必须自测。想请教:数据库值和摘要冲突时,你们是否已经默认以数据库为准,还是会再问用户一次?取数列表有没有和提示词一起做版本号?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
冲突时我们默认以数据库为准,不会每次都问用户,否则多轮对话会被确认打断。做法是:数据库字段带版本号和更新时间,摘要生成后做一次实体对齐校验,发现不一致就以数据库值覆盖摘要,并在日志里记下冲突的字段和来源。取数列表和提示词模板确实一起做版本,同一版本号绑定字段清单、长度上限和丢弃规则,上线前先跑回归用例。只有高风险动作,比如改地址、退货,才会拿数据库字段再向用户确认一次,普通问答直接用数据库值回答。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.