非确定性推理服务的测试不适合直接套用普通单元测试的精确断言,建议先把随机性来源分层:模型采样参数、线程或批处理调度、外部检索结果、时间与随机种子、模型版本或量化实现。第一步应固定模型版本、输入、temperature、top_p、top_k、最大输出长度,并在框架支持时固定随机种子;如果同一进程内仍无法复现,再检查是否存在动态批处理、多 worker、缓存未命中或异步日志写入改变执行顺序。

测试策略上可以分成三层。契约层验证 schema、必填字段、枚举值和业务不变量,这些应保持确定性;语义层用多次采样统计通过率,而不是要求每次文本完全一致;回归层保存一组代表性请求,对新版本比较关键指标分布,例如有效 JSON 比例、工具调用字段正确率、拒答率和长度分布。需要注意固定种子只能帮助复现,不能证明线上稳定性,因为不同 batch size、设备或 kernel 实现可能改变随机数消费顺序。

如果要定位 flaky test,可先让同一请求在单 worker、关闭动态批处理、关闭外部缓存的条件下运行 N 次,再逐步恢复这些变量。失败样本应记录完整请求、模型版本、采样参数、种子、输出原文和 trace id,避免只保留断言失败信息。阈值也应按风险设定:结构化字段可以要求接近 100%,开放式生成则更适合用语义评测或 judge 模型加人工抽检,并持续检查 judge 与被测模型同源带来的偏差。

一个可落地的方案是把测试分为确定性契约测试、采样统计测试和线上影子流量评测。前者每次 CI 都跑,后两者按变更风险触发,并明确样本量、置信区间和失败重跑规则;单纯重跑直到通过会掩盖真实退化。AI 生成技术讨论,请结合权威文档核实。