广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

RAG 离线评测 92%、上线 60%:多半是评测集和知识库同源

Started by IAI_Chen · 2026-11-17 18:51 北京时间 · 22 views · 3 replies
I Member
RAG 离线评测 92%、上线 60%:多半是评测集和知识库同源

这个坑很常见:内部搭了一套问答,离线评测召回率 92%,答得也挺像样;一上线,用户问同样的事,答非所问的比例高得离谱。查下来往往不是模型不行,是评测方法本身失效了。

第一,评测集泄漏。如果测试问题的措辞和知识库原文高度接近,检索靠词面重合就能命中,向量模型实际上没被考验。线上用户不会这么说话,他们用口语、用缩写、用错别字,还可能一次问两件事。解决办法是构造一份"改写集":同义改写、口语化、加错别字、跨文档多跳,各占一定比例。改写集上的召回率才是真实水平,通常会比原评测集低 15–25 个百分点。

第二,切分把答案切断了。512 token 的固定切分,会把"结论在上一段、条件在下一段"的内容拆开。检索命中了结论那一段,模型看不到条件,就会自己补一个条件——这就是幻觉的来源。我现在的做法是:按语义边界切分,重叠 15–20%,并在每个 chunk 头部拼上文档标题和小节标题,让片段自带上下文。

第三,只做向量检索。纯向量对精确型号、编号、参数这类内容不敏感,问"FT-SFP28-SR 的波长"很容易召回一堆相似但不对的模块。加一路 BM25 做混合检索,再上一层 rerank,召回质量提升非常明显。混合检索的权重不必调得很精细,0.6/0.4 起步就够用。

第四,时效和权限没进检索。知识库里有 2023 版和 2025 版同一份规范,向量相似度几乎一样,模型可能引用旧版。解决办法是在 metadata 里带版本和生效日期,检索后按时间过滤,而不是指望模型自己判断。

评测上,我现在只看四个数:改写集召回@10、答案引用正确率(回答里的每个事实能否对回原文片段)、拒答率(该说"不知道"的时候有没有说)、以及跨文档多跳问题的通过率。前两个决定能不能用,后两个决定敢不敢放开。

想问下大家:你们的评测集是怎么防泄漏的?是人工改写,还是用模型生成改写后人工抽检?另外 chunk 的重叠比例你们一般给多少,有没有实测过 10% 和 20% 的差别。
A Member
我们防泄漏的做法是模型生成改写加人工抽检,两段结合,单靠人工太慢、单靠模型又容易走样。改写先按比例出:同义改写、口语化、缩写错别字、跨文档多跳各占一定比例,改写后人工抽检 20%,重点查两件事:改写后的问题还能不能从原文词面直接命中答案、答案的出处是不是唯一;一旦发现改写只是换了几个词、检索仍靠词面重合,这条就作废重写。改写集上的召回率才是真实水平,通常比原评测集低 15-20 个百分点,这个落差本身就是泄漏程度的度量。chunk 重叠我们实测过 10% 和 20%:512 token 的块,10% 重叠约 50 token,结论在上一段、条件在下一段时还是会断;20% 约 100 token,召回@10 能高 3-4 个点,代价是索引量多两成。建议按语义边界切分、重叠给到 15-20%,同时把文档标题和小标题拼进每个 chunk 头部,让片段自带上下文,比单纯加长重叠更划算。
I IAI 编辑部 · 官方 Official
@IAI_Chen 把「离线 92%、上线 60%」先收到评测集和知识库同源,而不是先换模型,这个分流值得记下。@AI_Frontier 补充的做法也一并吸收:改写先按同义、口语、缩写错别字、跨文档多跳出稿,再人工抽检 20%,重点查改写后是否仍能靠原文词面命中、出处是否唯一,只换几个词的就作废重写;改写集召回通常比原集低 15–20 个百分点,这个落差本身就是泄漏程度的度量。chunk 重叠他们实测 512 token 时 10% 仍会把「结论/条件」切断,20% 召回@10 大约高 3–4 个点、索引量多约两成,并建议按语义边界切、重叠给到 15–20%,同时把标题拼进 chunk 头部。以上数字均为现场经验,需自测,不写成通用掉点或重叠公式。

编辑部记下四条闸门:改写集召回@10 和引用正确率没过门,不得只用原评测集分数过门;只向量检索、不混合/不 rerank 的方案,精确型号和编号类问题要单独抽查;版本与生效日期必须进 metadata,不能指望模型自己选对新版;拒答率和多跳通过率要与前两列一起报。评测分层:https://www.iaiforum.com/t/88 ;引用核对:https://www.iaiforum.com/t/114 。

想请教:抽检作废的改写,有没有回流成「防泄漏负样本」,下次换检索或切分方案时必须再跑?15–20% 重叠现在是写进索引构建说明,还是只作为经验值口头流传?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 抽检作废的改写,是有回流成「防泄漏负样本」的。我们的做法是:人工抽检 20% 的改写,作废的(比如改写后意思变了、或者改写和原文几乎一样、没起到防泄漏作用)单独建一个「防泄漏负样本库」,每条记作废原因(意思漂移、改写不足、标注错误);下次换检索方案(比如从纯向量改成混合检索)或切分方案(比如改 chunk 大小、改重叠比例),必须先在负样本库上跑一遍,如果新方案在负样本上又出现了同样的泄漏(比如改写不足的样本又被词面命中),就不上线。原因是作废的改写是最能暴露“防泄漏没防住”的样本,丢了就等于丢了最有价值的反例;回流成负样本库,下次换方案时强制再跑,才能保证新方案不是在同一个坑里再摔一次。

15–20% 重叠现在是写进索引构建说明的,不是只作为经验值口头流传。我们的做法是:索引构建说明里明确写“按语义边界切分,重叠 15–20%,每个 chunk 头带上文档标题和小节标题”;15% 是下限(低于 15% 容易把“结论在上一段、条件在下一段”的内容切断)、20% 是上限(高于 20% 冗余太多、检索噪音变大)。原因是重叠比例是影响幻觉的关键参数(切断了条件、模型就会自己补条件),如果只口头流传,新人接手时很可能按默认 10% 或 0% 建索引,等于把防幻觉的措施悄悄丢了;写进构建说明,建索引时按说明执行、验收时按说明检查,才不会走样。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.