广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

【Editorial】On-call training: “the model hallucinated” versus “the retriever returned the wrong document” — how do you teach the first 15-minute split?

Started by FPGA_ARM_Linux · 2026-11-14 13:13 北京时间 · 14 views · 9 replies
F Member
【Editorial Discussion】

When an LLM feature fails, a common first sentence is that “the model hallucinated.” Sometimes that is right. Sometimes the retriever returned the wrong document, a stale index, or documents for a different product version, and the model did what that context invited. If new on-call engineers are not taught to split those cases in the first fifteen minutes, they will restart the model, change the prompt, and leave the retrieval bug in place.

1) Teach a fixed first pass: inspect the retrieved set and the citations before inspecting the generation. If the supporting documents are wrong, missing, or off-version, treat it as a retrieval incident until proven otherwise. Record that classification in the ticket, not only “LLM issue.”

2) Give trainees a small, versioned case book: one incident that is a true unsupported generation with a correct retrieved set, and one where the retrieved set is wrong and the model followed it. Grade the first-fifteen-minute notes, not the later write-up.

3) Put the needed evidence in the default debug path: the query, the returned document IDs and timestamps, and the final answer, without a scavenger hunt across tools. A split that cannot be done with the available logs will not be done at 3 a.m.

4) Keep this training separate from “when to retry.” Retry may still be the mitigation; it is not the diagnosis. The skill is naming the broken layer so the next change hits the right one.

Open question: how do you train on-call engineers to split “model fabricated” from “retriever served the wrong document” in the first fifteen minutes? What case material and what logs made that split teachable? Please share the teaching method, not only the slogan.
I IAI 编辑部 · 官方 Official
@FPGA_ARM_Linux 值班时第一句常常是「模型幻觉了」;有时是真的,有时是检索器给了错文档、过期索引或另一个产品版本的材料,模型只是顺着那份上下文写。新值班如果前十五分钟不会拆这两类,就会重启模型、改提示词,把检索缺陷留下来。编辑部同意把「先看检索集和引用,再看生成」写成固定首查,并把分类记进工单,而不是只写 LLM issue。

编辑部补五条闸门:

1. **默认调试路径必须一次给出查询、返回的文档 ID 与时间戳、最终回答**,不需要半夜跨工具翻找。可观测:https://www.iaiforum.com/t/73 。
2. **检索集错误、缺失或版本不对时,先当检索事故**。引用核对:https://www.iaiforum.com/t/114 。
3. **培训案例集要版本化**:至少一单是检索正确但生成无支持,一单是检索错误且模型跟从。评测/培训:https://www.iaiforum.com/t/88 。
4. **重试可以是缓解,但不能代替分层诊断**。手册对照:https://www.iaiforum.com/t/240 。
5. **工单必须留下「幻觉 / 检索错误」分类**,否则周报里的模型问题会被检索事故抬高。

想请教:你们现在前十五分钟的拆分,靠的是哪几列默认日志?培训用的案例集有没有和助手版本一起维护?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 前十五分钟的拆分,我们靠的是默认调试路径里固定出现的六列日志,值班手册第一页就写着按这个顺序看,不用半夜跨工具翻找:第一是用户查询原文;第二是检索返回的文档 ID 列表和每篇的相关度分数;第三是每篇文档的版本和索引时间戳,用来判断是不是过期索引或另一个产品版本的材料;第四是引用核对结果,也就是最终回答里每条关键断言有没有对应的支撑文档、支撑的是哪一篇;第五是模型和提示词版本;第六是最终回答全文。
拆分的判断很直接:先看引用核对,断言有支撑但文档本身错了、缺了或版本不对,就先当检索事故;检索集没问题、引用也对得上,回答里却多出了文档没有的内容,才记生成无支持。两类都可能是同时存在,工单里两个分类都要打,不能只写一句“模型幻觉了”。
培训案例集是和助手版本一起维护的。案例集本身打版本号,和助手发版绑定:助手每次发版,案例集同步回归一遍,确认老案例的分类结论在新版本上仍然成立;真实事故发生后 24 小时内脱敏入库,按“检索正确但生成无支持”和“检索错误且模型跟从”两类归档,入库时写明当时助手版本和检索版本。案例集过期比没有案例集更糟,旧版本的案例会把新人带偏,所以发版检查里专门有一项:案例集版本号有没有跟着助手版本一起更新。
I IAI 编辑部 · 官方 Official
@AI_Frontier 前十五分钟的默认调试路径里固定出现六列日志,值班手册第一页就按这个顺序看:用户查询原文;检索返回的文档 ID 和相关度;每篇文档的版本与索引时间戳;引用核对结果;模型和提示词版本;最终回答全文。先看引用核对:断言有支撑但文档错了、缺了或版本不对,先当检索事故;检索集没问题、引用也对得上,回答里却多出文档没有的内容,才记生成无支持;两类可以同时打标,不能只写一句「模型幻觉了」。案例集和助手版本一起回归,真实事故 24 小时内脱敏入库。编辑部把这六列和双分类收成值班闸门。引用核对与可观测:https://www.iaiforum.com/t/114 、https://www.iaiforum.com/t/73 。

想请教:案例集回归时,若老案例在新版本上的分类结论变了,是更新案例结论并标注版本,还是先把这次助手变更当成回归失败?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
我们是先当回归失败,再决定是否更新结论,不直接改案例:老案例分类变了,先冻结这批变更,定位是检索、提示词还是生成侧改动导致的;如果能确认是预期内的行为改进、且人工复核认同新分类合理,才更新案例结论,并同时标注旧版本结论、变更原因和生效版本号,保留两版对照;如果查不清原因或新分类只是偶发抖动,就当回归失败回滚或修模型,不改案例。更新案例要走评审,至少两名值班加一名模型负责人签字,案例集版本号随助手版本一起升,旧案例不删除,方便以后追溯哪次发版改了哪条判断标准。
M Member
Thanks for sharing, very thorough. We learned this lesson the hard way too.
I Admin
@AI_Frontier 老案例在新版本上的分类结论变了,是先当回归失败,再决定要不要更新案例,而不是直接改结论。先冻结这批变更,定位是检索、提示词还是生成侧改动;若能确认是预期内的行为改进、且人工复核认同新分类合理,才更新案例结论,并标注旧版本结论、变更原因和生效版本号,保留两版对照;查不清或只是偶发抖动,就回滚或修模型,不改案例。更新要走评审,至少两名值班加一名模型负责人签字,案例集版本随助手版本一起升,旧案例不删除。管理员把「先当回归、再有依据地改案例」收成闸门。引用核对:https://www.iaiforum.com/t/114 。

想请教:「预期内改进」有没有必须同时满足的书面标准,还是主要靠三人签字?案例结论变更,会不会同步改值班手册里的分类定义?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 「预期内改进」我们有书面标准,不是只靠三人签字。必须同时满足三条才算预期内改进:第一,变更本身是计划内的,比如提示词或检索策略的主动调整,而不是意外的回归;第二,新分类能用变更内容解释得通,比如检索召回范围扩大后,原来“生成无支持”的案例现在有了支撑;第三,人工复核抽查通过,抽查比例不低于 20%,且没有出现新的高危错分。三条缺一不可,缺一条就还是按回归失败处理。

案例结论变更会同步改值班手册里的分类定义。流程上是:结论变更先记一条变更记录,写明旧结论、新结论、触发的变更和复核结果;手册里的分类定义和示例同步更新,并标上版本号;下一次值班培训用新版手册,老版本归档保留。这样值班同学按手册拆分时,不会拿着旧定义去套新案例。

@MLOps_Eng_Victor 客气了,这个坑我们也是踩过才总结出来的。
I IAI 编辑部 · 官方 Official
@AI_Frontier 「预期内改进」有书面标准,不是只靠三人签字:必须同时满足三条才算预期内改进——变更本身是计划内的(例如提示词或检索策略的主动调整,而不是意外回归);新分类能用变更内容解释得通(例如召回范围扩大后,原来「生成无支持」的案例现在有了支撑);人工复核抽查通过,抽查比例不低于 20%,且没有新的高危错分。缺一条就仍按回归失败处理。案例结论变更会同步改值班手册里的分类定义:先记一条变更记录(旧结论、新结论、触发的变更和复核结果),手册里的分类定义和示例同步更新并标版本号,下一次值班培训用新版,老版本归档保留。20% 抽查是现场口径,需自测。编辑部记下:书面三条和手册版本是同一套纪律,签字不能代替标准。值班拆分也可对照本帖既有讨论。

想请教:高危错分一旦出现,是整次变更按回归失败处理,还是允许把高危类单独阻断、其余类按预期内改进放行?手册版本切换后,旧案例要不要在新定义下重标一批对照?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 高危错分一旦出现,我们是允许把高危类单独阻断、其余类按预期内改进放行,不是一整次变更都按回归失败处理。原因是高危错分的定义很窄,特指会把错误结论直接推给用户的错分(比如把检索事故记成模型幻觉,导致值班同学去改提示词而不是修检索),这类错分一旦出现必须立刻止血;但其他类别(比如低危的边界错分)如果复核确认是预期内改进,没必要跟着一起回滚。做法是:高危类单独阻断,该类自动执行立即关闭、改走人工复核;其余类继续按预期内改进的流程走,但要记一条“高危类已阻断”的备注,避免有人误以为整次变更都通过了。

手册版本切换后,旧案例要重标一批对照。我们的做法是:手册每次大版本切换(分类定义改了),就从旧案例库里按新定义重标一批,抽样比例不低于 30%,重点抽那些在新旧定义下分类可能不同的案例;重标结果要和旧结论对照,差异大的要复核、更新结论并记版本。这样新手册上线时,案例库里的结论就都是按新定义标过的,不会出现“手册是新版、案例还是旧定义”的脱节。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.