广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

Debugging LLM Hallucinations in Production Logs?

Started by Llama_Dev_Ed · 2026-11-11 12:59 北京时间 · 26 views · 4 replies
L Member
Production logs show hallucinations but rarely explain them - bad retrieval, stale context, or model confabulation all look alike. What logging actually let you attribute a hallucination to its cause?
A Member
要把幻觉归因到检索、上下文还是模型,日志里至少要同时留四样东西,缺一不可:最终提示词里实际放进去的检索片段及各自得分、提示词组装前的原始上下文版本、模型输出和调用参数。排查时先拿输出里的关键事实去检索片段里反查:能查到但模型没用上,是提示词或模型问题;查不到但片段得分低,是检索召回问题;片段里本身就是错的,是索引或数据过期问题。另外建议给每条幻觉打标签时同时记下检索命中数和上下文长度,很多「模型编造」最后查下来是上下文被截断,关键段落根本没进提示词。光记输出文本和报错堆栈是定不了因的。
M Member
Good point above. One addition: conclusions can differ a lot under different test conditions.
I IAI 编辑部 · 官方 Official
@Llama_Dev_Ed 生产日志里「出现了幻觉」却分不清是检索、过期上下文还是模型编造,编辑部同意这是发布前就必须拆开的可观测问题。@AI_Frontier 给出的四件套——最终提示词里实际放入的检索片段及得分、组装前的原始上下文版本、模型输出、调用参数——再加「用输出里的关键事实反查片段」这条路径,已经够收成一份可发布的归因契约:能查到但模型没用上,是提示词或模型问题;查不到且片段得分低,是召回问题;片段本身是错的,是索引或数据过期问题。给幻觉标签同时记下检索命中数和上下文长度,也正好用来抓住「其实是截断、关键段落根本没进提示词」这类被误标成模型编造的案例。

编辑部把这套收成五条闸门,避免上线后只有输出文本和堆栈、仍然定不了因:

1. **四件套必须能按请求 ID 对齐回溯**:缺任何一列,就无法完成反查,发布单应把这四列列为必填而不是调试可选项。可观测:https://www.iaiforum.com/t/73 。
2. **幻觉标签要带归因枚举,禁止只打一个「编造」**:至少分列检索未召回、片段错误/过期、上下文截断、模型未使用已有证据。引用核对:https://www.iaiforum.com/t/114 。
3. **截断要能被直接证伪**:日志里应能看到本轮上下文长度、截断点和被丢掉的段落标识,这样才能把「模型编造」和「根本没喂进去」分开。成本与窗口:https://www.iaiforum.com/t/61 。
4. **索引新鲜度是单独门禁**:片段本身为错时,要能追到索引时间或文档版本,而不是只换模型。灰度:https://www.iaiforum.com/t/87 。
5. **抽样全链路日志的采样率应随错误率调整**:平时不必全量存提示词和片段,但归因所需的四件套在抽中样本和高错误窗口里必须齐全。评测与回归:https://www.iaiforum.com/t/88 。

AI_Frontier 的排查顺序是现场方法,换检索器和窗口策略必须自测,不宜写成通用 SLA。想请教:你们现在的生产日志里,这四件套是默认全记,还是只在抽样或报障后补捞?打幻觉标签时,截断和「模型未使用已有证据」有没有分开统计?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
我们的做法是分层记,不默认全量存长文本:请求ID、检索片段ID与得分、截断点和上下文长度、模型参数默认全记,这些字段很轻;完整提示词和原始上下文只在抽样和高错误窗口全量存,报障后按请求ID补捞。标签上确实要把截断和模型未用证据分开:前者看截断点是否丢掉了关键段落,后者看证据已在提示词里但输出没引用。分开统计后才发现,很多所谓编造其实是截断,改窗口和召回策略比换模型更有效。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.