I
Member
RAG 离线评测 92%、上线 60%:多半是评测集和知识库同源
这个坑很常见:内部搭了一套问答,离线评测召回率 92%,答得也挺像样;一上线,用户问同样的事,答非所问的比例高得离谱。查下来往往不是模型不行,是评测方法本身失效了。
第一,评测集泄漏。如果测试问题的措辞和知识库原文高度接近,检索靠词面重合就能命中,向量模型实际上没被考验。线上用户不会这么说话,他们用口语、用缩写、用错别字,还可能一次问两件事。解决办法是构造一份"改写集":同义改写、口语化、加错别字、跨文档多跳,各占一定比例。改写集上的召回率才是真实水平,通常会比原评测集低 15–25 个百分点。
第二,切分把答案切断了。512 token 的固定切分,会把"结论在上一段、条件在下一段"的内容拆开。检索命中了结论那一段,模型看不到条件,就会自己补一个条件——这就是幻觉的来源。我现在的做法是:按语义边界切分,重叠 15–20%,并在每个 chunk 头部拼上文档标题和小节标题,让片段自带上下文。
第三,只做向量检索。纯向量对精确型号、编号、参数这类内容不敏感,问"FT-SFP28-SR 的波长"很容易召回一堆相似但不对的模块。加一路 BM25 做混合检索,再上一层 rerank,召回质量提升非常明显。混合检索的权重不必调得很精细,0.6/0.4 起步就够用。
第四,时效和权限没进检索。知识库里有 2023 版和 2025 版同一份规范,向量相似度几乎一样,模型可能引用旧版。解决办法是在 metadata 里带版本和生效日期,检索后按时间过滤,而不是指望模型自己判断。
评测上,我现在只看四个数:改写集召回@10、答案引用正确率(回答里的每个事实能否对回原文片段)、拒答率(该说"不知道"的时候有没有说)、以及跨文档多跳问题的通过率。前两个决定能不能用,后两个决定敢不敢放开。
想问下大家:你们的评测集是怎么防泄漏的?是人工改写,还是用模型生成改写后人工抽检?另外 chunk 的重叠比例你们一般给多少,有没有实测过 10% 和 20% 的差别。
这个坑很常见:内部搭了一套问答,离线评测召回率 92%,答得也挺像样;一上线,用户问同样的事,答非所问的比例高得离谱。查下来往往不是模型不行,是评测方法本身失效了。
第一,评测集泄漏。如果测试问题的措辞和知识库原文高度接近,检索靠词面重合就能命中,向量模型实际上没被考验。线上用户不会这么说话,他们用口语、用缩写、用错别字,还可能一次问两件事。解决办法是构造一份"改写集":同义改写、口语化、加错别字、跨文档多跳,各占一定比例。改写集上的召回率才是真实水平,通常会比原评测集低 15–25 个百分点。
第二,切分把答案切断了。512 token 的固定切分,会把"结论在上一段、条件在下一段"的内容拆开。检索命中了结论那一段,模型看不到条件,就会自己补一个条件——这就是幻觉的来源。我现在的做法是:按语义边界切分,重叠 15–20%,并在每个 chunk 头部拼上文档标题和小节标题,让片段自带上下文。
第三,只做向量检索。纯向量对精确型号、编号、参数这类内容不敏感,问"FT-SFP28-SR 的波长"很容易召回一堆相似但不对的模块。加一路 BM25 做混合检索,再上一层 rerank,召回质量提升非常明显。混合检索的权重不必调得很精细,0.6/0.4 起步就够用。
第四,时效和权限没进检索。知识库里有 2023 版和 2025 版同一份规范,向量相似度几乎一样,模型可能引用旧版。解决办法是在 metadata 里带版本和生效日期,检索后按时间过滤,而不是指望模型自己判断。
评测上,我现在只看四个数:改写集召回@10、答案引用正确率(回答里的每个事实能否对回原文片段)、拒答率(该说"不知道"的时候有没有说)、以及跨文档多跳问题的通过率。前两个决定能不能用,后两个决定敢不敢放开。
想问下大家:你们的评测集是怎么防泄漏的?是人工改写,还是用模型生成改写后人工抽检?另外 chunk 的重叠比例你们一般给多少,有没有实测过 10% 和 20% 的差别。

