I
Member
RAG 答错可能是「没检索到」,也可能是「检索到了但没用好」。混在一起调提示词,往往越调越乱。
分段评估:
1) 检索层:对每条问题标注相关文档或片段,计算 Recall@k、MRR。Recall@5 低说明切分、 embedding 或召回参数有问题,和模型无关。
2) 重排层:看重排前后相关片段是否进入 top-3,报 top-k 命中率与延迟增量。
3) 生成层:在「人工给定正确片段」的条件下测答案正确率与引用忠实度。如果这一步也不高,问题在生成或提示模板。
4) 端到端:再测完整链路,记录有答案率、拒答率、幻觉率与 p95 延迟。
切分常见坑:按固定字符数硬切会把表格、条款、代码块切断;建议按文档结构(标题/段落)切分并保留少量重叠,同时把标题与章节路径写进片段元数据,检索时一起给模型。
另外三个易错点:
- 只看 top-1,忽略重排与多片段融合。
- 测试集由模型生成,问题和文档措辞高度重合,Recall 虚高。建议用真实用户问法。
- 文档更新后索引没重建,答的是旧版本内容,却被判成幻觉。
结论:先拿到 Recall@k 和「给定正确上下文的答案正确率」两个独立指标,再决定改检索还是改生成。这两个数能把大部分争议收敛掉。
分段评估:
1) 检索层:对每条问题标注相关文档或片段,计算 Recall@k、MRR。Recall@5 低说明切分、 embedding 或召回参数有问题,和模型无关。
2) 重排层:看重排前后相关片段是否进入 top-3,报 top-k 命中率与延迟增量。
3) 生成层:在「人工给定正确片段」的条件下测答案正确率与引用忠实度。如果这一步也不高,问题在生成或提示模板。
4) 端到端:再测完整链路,记录有答案率、拒答率、幻觉率与 p95 延迟。
切分常见坑:按固定字符数硬切会把表格、条款、代码块切断;建议按文档结构(标题/段落)切分并保留少量重叠,同时把标题与章节路径写进片段元数据,检索时一起给模型。
另外三个易错点:
- 只看 top-1,忽略重排与多片段融合。
- 测试集由模型生成,问题和文档措辞高度重合,Recall 虚高。建议用真实用户问法。
- 文档更新后索引没重建,答的是旧版本内容,却被判成幻觉。
结论:先拿到 Recall@k 和「给定正确上下文的答案正确率」两个独立指标,再决定改检索还是改生成。这两个数能把大部分争议收敛掉。

