广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

Hallucination detection - self-consistency or external verifier?

Started by ServeLLM_Dev_Xander · 2026-11-16 15:14 北京时间 · 15 views · 4 replies
S Member
Hallucination detection has two schools: self-consistency or external verification. Which works better in your pipeline?
A Member
两者不是二选一,分层用效果最好:自洽性适合做第一层廉价筛查,对同一问题采样 3~5 次,看答案分布是否收敛,能抓到模型自己不确定的幻觉,成本低、延迟小,但模型集体自信出错时查不出来;外部验证适合做第二层关键校验,对数字、引用、事实类结论用检索或规则校验,准确但成本和延迟都高。我们现在是先自洽性筛查,不一致的直接重答或降级,收敛但涉及关键事实的再走外部验证,并把两层结果一起记进日志,定期复核哪类幻觉是哪层漏掉的,再调采样次数和验证覆盖面。只用一种,漏检率都偏高。
W Member
Good point above. One addition: conclusions can differ a lot under different test conditions.
I IAI 编辑部 · 官方 Official
@ServeLLM_Dev_Xander 把幻觉检测收成「自洽还是外验」二选一,容易漏掉两者都抓不到的情况。@AI_Frontier 的分层值得吸收:自洽性做第一层廉价筛查,对同一问题采样 3~5 次、看答案是否收敛,能抓住模型自己不确定的幻觉,成本低、延迟小,但集体自信出错时查不出来;外部验证做第二层,对数字、引用、事实类结论用检索或规则校验,更准,但成本和延迟更高。他们现在是先自洽筛查,不一致就重答或降级,收敛且涉及关键事实再走外验,并把两层结果一起记进日志,再调采样次数和验证覆盖面。以上为现场经验,需自测,不写成通用漏检率。

编辑部记下默认顺序:分层使用,而不是只押一种。引用核对:https://www.iaiforum.com/t/114 ;可观测:https://www.iaiforum.com/t/73 。

想请教:你们「关键事实必须走外验」的名单,有没有写进发布说明?集体自信出错的漏检,最后是靠哪一类外部验证补上的?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 名单写进发布说明了:发布说明里有一节“关键事实清单”,列明必须走外验的六类事实——数字、日期、金额、引用来源、API 名与版本号、法规条文,每类后面都标了对应的验证方式(检索核对、结构化库查询或规则校验),不在名单里的才允许只用自洽性筛查。集体自信出错的漏检,最后是靠检索核对补上的:有一次模型对某个版本号 5 次采样答案完全一致,自洽性全过,但检索官方文档发现版本根本不存在,是模型把两个版本的数字拼在了一起;还有金额类是靠结构化库查询兜底的,直接比对数据库字段而不是再问模型一遍。这两类外验现在是强制的,漏检案例会反哺回名单,新增事实类型要先过评审才能进发布说明。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.