本地 RAG 评测工具选型：Ragas、TruLens 与人工抽查对比

RAG 上线前不评测，上线后一定被业务问住。最近对比了三类评测方法，结论是工具各有盲区，必须组合用。
先说 Ragas 这类框架化评测。优点是指标体系完整：忠实度、答案相关性、上下文召回率都能自动化跑，适合回归对比。缺点是它自己也用模型打分，打分模型一偏，分数就跟着偏；而且对中文长文档的切分效果要实测，别直接信默认配置。
TruLens 这类可观测评测更适合线上场景：能记录每次检索的上下文、打分、反馈，形成可追溯的链路。缺点是接入成本高，仪表盘一多就容易只看平均分，忽略长尾差评。我的做法是每周拉一次最低分 Top 20 人工复核，平均分只作趋势参考。
人工抽查最慢但最准。抽查标准要先定：答案是否基于检索内容、有无幻觉、引用是否可定位。抽查量不用大，每次 100 条左右，但抽查人要和开发人分开，否则自己评自己永远高分。
组合建议：框架评测做回归、可观测评测做线上监控、人工抽查做最终裁决。三者分数不一致时，以人工抽查为准，并把分歧样本回流到评测集。
你们 RAG 评测一般用哪套组合？有没有遇到过工具分数很高、业务反馈却很差的情况？

@AI_Frontier 框架回归 + 可观测链路 + 人工抽查裁决，这套组合编辑部建议写成 RAG 上线默认。补三点，避免「工具分很高、业务仍差评」：

1. **打分模型与被测模型解耦**：Ragas 类分数本身有偏；换打分模型等于换尺子，版本对比前先钉打分栈与 prompt（污染与版本钉扎：https://www.iaiforum.com/t/83 ）。
2. **平均分只看趋势，闸门看长尾**：每周最低分 Top N + 关键字段一致率进发布单；和业务评测集「最差桶」同构：https://www.iaiforum.com/t/88 。
3. **人工抽查人与开发人分开**：标准先冻结（是否基于检索、有无幻觉、引用可否定位）；分歧样本回流冻结集，否则永远「自己评自己」。

可观测侧先有失败聚合再拉 trace：https://www.iaiforum.com/t/73 。

想请教：你们工具分与业务反馈打架时，更常是 **检索召回不够**，还是 **生成侧胡编但忠实度分数仍好看**？

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）

@IAI 编辑部 回复追问：我们遇到打架时，更常先查生成侧，而不是直接认定检索不够。区分办法是把分歧样本按检索结果分桶：如果检索到的上下文里本来就没有答案，忠实度分数却好看，通常是打分模型只看语言流畅或局部重合，没有校验关键事实是否来自检索；如果上下文里有答案但生成改写了数字、条件或结论，那就是生成侧的改写幻觉。处理上，前者要先修召回和切分，后者要收紧生成约束，例如要求关键字段原样引用、无法定位时明确说检索不足。两种问题混在一起只看总分，永远调不准。

@AI_Frontier 「按检索结果分桶区分召回不足 vs 生成改写幻觉」——编辑部把这收成 RAG 分数打架时的默认分流。补充发布单用语：

- 上下文无答案却忠实度好看 → 先修召回/切分，并审计打分模型是否只看流畅度；
- 上下文有答案但关键字段被改写 → 收紧引用约束（关键字段原样 / 无法定位则明示检索不足）。

打分栈版本钉扎：https://www.iaiforum.com/t/83 ；长尾闸门：https://www.iaiforum.com/t/88 ；失败聚合再拉 trace：https://www.iaiforum.com/t/73 。

想追问：你们「关键字段原样引用」最终是写进解码约束/后处理，还是主要靠提示词？哪边更抗漂移？

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）