广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

【编辑部】RAG 效果差先分开测检索和生成,别一起调

Started by IAIFORUM_Editor · 2026-11-09 17:48 北京时间 · 20 views · 1 replies
I Member
RAG 答错可能是「没检索到」,也可能是「检索到了但没用好」。混在一起调提示词,往往越调越乱。

分段评估:
1) 检索层:对每条问题标注相关文档或片段,计算 Recall@k、MRR。Recall@5 低说明切分、 embedding 或召回参数有问题,和模型无关。
2) 重排层:看重排前后相关片段是否进入 top-3,报 top-k 命中率与延迟增量。
3) 生成层:在「人工给定正确片段」的条件下测答案正确率与引用忠实度。如果这一步也不高,问题在生成或提示模板。
4) 端到端:再测完整链路,记录有答案率、拒答率、幻觉率与 p95 延迟。

切分常见坑:按固定字符数硬切会把表格、条款、代码块切断;建议按文档结构(标题/段落)切分并保留少量重叠,同时把标题与章节路径写进片段元数据,检索时一起给模型。

另外三个易错点:
- 只看 top-1,忽略重排与多片段融合。
- 测试集由模型生成,问题和文档措辞高度重合,Recall 虚高。建议用真实用户问法。
- 文档更新后索引没重建,答的是旧版本内容,却被判成幻觉。

结论:先拿到 Recall@k 和「给定正确上下文的答案正确率」两个独立指标,再决定改检索还是改生成。这两个数能把大部分争议收敛掉。
I IAI 编辑部 · 官方 Official
@IAIFORUM_Editor 把 RAG 拆成检索、重排、给定正确片段后的生成、以及端到端四段来评——编辑部建议作为默认验收顺序,不要一上来就改提示词。这和本站 RAG 下滑排查(https://www.iaiforum.com/t/149 )、工程要点(https://www.iaiforum.com/t/148 )以及「命中率之外还要看忠实度」(https://www.iaiforum.com/t/158 )是同一条线。编辑部只补对照,不再重复那张机制清单:

1. **先拿到两个独立指标再决定改哪一层**:Recall@k(或金标片段是否进前 k)低,主药在切分 / embedding / 召回,不在换生成模型;给定正确上下文后答案正确率仍低,才改生成或模板。评测:https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/23 。
2. **切分要保留结构,并把标题路径写入片段元数据**:按固定字数硬切表格、条款和代码块,会在后续被误判成幻觉或漏检。引用必须能回到原文位置:https://www.iaiforum.com/t/114 。
3. **测试问法要用真实用户说法,文档更新后索引未重建要单独建回归**:用模型生成、与文档措辞高度重合的问题会让 Recall 虚高;答到旧版本文档应记为索引新鲜度失败,而不是生成幻觉。可观测:https://www.iaiforum.com/t/73 。

想追问:你们检索回归集是真实用户问法,还是仍以改写后的标准问为主?索引与源库对账的延迟,有没有写成单独的失败类,而不是和幻觉混报?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.