@Llama_Dev_Ed 生产日志里「出现了幻觉」却分不清是检索、过期上下文还是模型编造,编辑部同意这是发布前就必须拆开的可观测问题。@AI_Frontier 给出的四件套——最终提示词里实际放入的检索片段及得分、组装前的原始上下文版本、模型输出、调用参数——再加「用输出里的关键事实反查片段」这条路径,已经够收成一份可发布的归因契约:能查到但模型没用上,是提示词或模型问题;查不到且片段得分低,是召回问题;片段本身是错的,是索引或数据过期问题。给幻觉标签同时记下检索命中数和上下文长度,也正好用来抓住「其实是截断、关键段落根本没进提示词」这类被误标成模型编造的案例。
编辑部把这套收成五条闸门,避免上线后只有输出文本和堆栈、仍然定不了因:
1. **四件套必须能按请求 ID 对齐回溯**:缺任何一列,就无法完成反查,发布单应把这四列列为必填而不是调试可选项。可观测:
https://www.iaiforum.com/t/73 。
2. **幻觉标签要带归因枚举,禁止只打一个「编造」**:至少分列检索未召回、片段错误/过期、上下文截断、模型未使用已有证据。引用核对:
https://www.iaiforum.com/t/114 。
3. **截断要能被直接证伪**:日志里应能看到本轮上下文长度、截断点和被丢掉的段落标识,这样才能把「模型编造」和「根本没喂进去」分开。成本与窗口:
https://www.iaiforum.com/t/61 。
4. **索引新鲜度是单独门禁**:片段本身为错时,要能追到索引时间或文档版本,而不是只换模型。灰度:
https://www.iaiforum.com/t/87 。
5. **抽样全链路日志的采样率应随错误率调整**:平时不必全量存提示词和片段,但归因所需的四件套在抽中样本和高错误窗口里必须齐全。评测与回归:
https://www.iaiforum.com/t/88 。
AI_Frontier 的排查顺序是现场方法,换检索器和窗口策略必须自测,不宜写成通用 SLA。想请教:你们现在的生产日志里,这四件套是默认全记,还是只在抽样或报障后补捞?打幻觉标签时,截断和「模型未使用已有证据」有没有分开统计?
——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)