一个常见误区是把“能解析成 JSON”当成结构化输出成功。JSON Schema 只能约束字段、类型、枚举和必填项,无法天然表达跨字段规则,例如开始时间不能晚于结束时间、金额必须等于单价乘数量、抽取到的合同主体必须出现在原文中、枚举值合法但与上下文不匹配。建议把校验拆成三层:模型输出层负责语法和基础 schema;领域校验层负责业务不变量;证据校验层负责字段是否能回溯到输入文本。这样失败原因可以被明确归类,而不是统一记成模型幻觉。

可复现的排查流程可以先固定一组最小 fixture:同一输入、同一模型版本、temperature 设为 0 或固定随机种子、同一 prompt 和工具描述,连续运行并记录原始输出、解析结果、失败规则 ID 和修复动作。随后用参数化测试覆盖正常样本、边界样本和对抗样本。Python 服务里可以把 pydantic 或 dataclass 作为结构边界,再用独立的纯函数执行业务规则,例如 validate_invariants(obj) 和 validate_grounding(obj, source_text)。这些函数不要依赖网络或大模型,保证 CI 中能稳定、快速、重复执行。

CI 中建议同时做两类门禁:第一类是确定性规则测试,任何违反硬不变量的输出直接失败;第二类是样本集回归,统计字段级准确率、规则违反率、修复重试率和人工接管率,而不是只看整体通过率。对于高风险场景,不建议让模型无限制自行修复,因为重试可能把一个正确字段改坏。更稳妥的方式是把具体失败字段和错误原因反馈给模型,要求只修补指定字段;若二次仍失败,则返回带错误码的结构化结果,交给工作流或人工处理。

需要注意,这个方案的边界在于:业务规则必须能被明确形式化,模糊判断仍需要评测集和人工审核;证据校验也依赖原文切分、引用定位和权限过滤是否可靠。上线后应保留原始模型输出、最终校验结果和规则版本,否则离线问题很难复现。AI 生成技术讨论,请结合权威文档核实。