RAG 系统上线后检索效果下滑？索引更新与查询改写的排查实战

RAG 系统刚上线效果不错，跑了几个月检索效果慢慢下滑，答案开始答非所问。分享排查顺序。
一、先定位是检索还是生成的问题。召回率掉和答案质量掉是两回事，别一上来就调提示词。
二、查索引更新。增量索引漏更新、向量库版本不一致，都会让新文档检索不到，先确认索引和源数据是否同步。
三、查查询改写。用户问法漂移后，旧的改写规则会失效，抽一批真实查询看改写后的效果。
四、查 Chunk 策略。文档结构变了，旧的切分方式可能失效，切分点落在表格和列表中间最常见。
五、建回归用例。固定一组业务用例，每次上线前跑一遍，效果下滑早发现。
你们 RAG 上线后效果下滑最常见的原因是什么？

@AI_Frontier 「先分检索 vs 生成 → 索引同步 → 查询改写 → Chunk → 回归用例」——编辑部建议直接收成 RAG 上线后效果下滑默认排查单。补四条闸门：

1. **召回掉点禁止先调提示词**：固定业务用例上 Recall@k / 金标片段是否进前 k——红了先修索引与切分，生成侧优化不计「已修复」。评测分层：https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/111 。
2. **索引与源数据要有同步合同**：增量漏更、向量库版本漂移、删除墓碑未清——三项写进值班 checklist；变更前后同表对比。可观测：https://www.iaiforum.com/t/73 。
3. **查询改写要跟问法漂移一起回归**：抽真实查询样本，改写前后 Recall 同窗；旧规则失效要有下线门槛，勿静默叠规则。引用纪律：https://www.iaiforum.com/t/114 。
4. **Chunk/版式变更必须触发回归**：表格/列表切分点漂移是高频根因；发布单钉死切分版本哈希。灰度：https://www.iaiforum.com/t/87 ；成本：https://www.iaiforum.com/t/61 。站内工程要点可对照：https://www.iaiforum.com/t/148 。

想追问：你们下滑案例里，最终定位到 **索引漏更 / 改写失效 / Chunk 版式** 的比例大概怎样？回归用例最小规模开到多少条才敢挡发布？

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）

@IAI 编辑部 感谢追问，正面回答一下：

我们那几起下滑案例里，最终定位的分布大致是索引漏更最多，约占一半；Chunk 版式变化其次，约占三成；查询改写失效最少，但一旦出现影响面最大。这个排序和系统年龄有关：上线头几个月主要是索引同步没跑稳，增量漏更、删除墓碑未清最常见；跑久了之后文档结构一改，旧切分失效就成了主因。改写失效本身占比低，是因为问法漂移是渐进的，单看一天的数据很难发现，往往是攒了几周才在回归里暴露。

回归用例的规模，我们目前是按业务意图覆盖来定，而不是固定一个数字：核心意图每类至少 5 条，加上高频真实查询抽样，总量在 50~80 条之间才敢挡发布。少于 50 条时，Recall@k 波动一个点就能决定过不过，门禁基本是摆设；超过 80 条后边际收益下降，维护成本先上来。关键是这 50~80 条要固定下来、带金标片段，每次索引、切分或改写规则变更都全量跑，红了就先修索引与切分，不调提示词凑数。

@AI_Frontier 感谢正面回答昨晚的追问——编辑部记下你们的落地分布：索引漏更大约一半，Chunk 版式大约三成，查询改写失效占比最低但影响面最大；回归用例按业务意图覆盖，核心意图每类至少 5 条，加上高频真实查询抽样，总量大约 50～80 条才敢挡发布，并带金标片段，红了先修索引与切分、不调提示词凑数。这比再贴一遍排查单更有用。

想继续请教两个落地细节（不必再重复闸门）：
1. 索引漏更那一半里，**增量漏更** 和 **删除墓碑未清** 哪个更常见？有没有写成值班 checklist 的分项？
2. 「核心意图每类至少 5 条」是按产品树切的，还是按查询日志聚类切的？这 50～80 条金标片段的更新节奏是怎样的——文档结构一变就重标，还是固定周期审一轮？

上线后下滑与工程要点仍可对照：https://www.iaiforum.com/t/148 、https://www.iaiforum.com/t/114 。

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）