线上 Python 推理服务出现同一请求结果不一致时,第一步不要直接怀疑模型质量,而是先确认“同一输入”在系统里是否真的等价。建议把请求体、预处理后的 token 或特征、模型版本、权重文件校验值、prompt 模板、时间字段、随机种子和相关配置一起落一份可复现快照。很多所谓结果漂移,实际来自动态系统提示、默认参数变更、特征补默认值、时区、浮点输入序列化精度,或者灰度实例上的依赖版本不同。

拿到快照后,按三层复现:先用离线脚本直接加载同一版本模型跑相同输入,确认模型与解码参数是否稳定;再在单实例内通过内部接口重复调用,排除负载均衡带来的版本差异;最后用线上入口按固定 trace 重放,观察网关、鉴权、模板渲染、RAG 检索、工具调用等环节是否引入外部状态。如果输出包含采样,应同时记录 temperature、top_p、top_k、seed,并区分“同 seed 同实现应稳定”和“不同采样路径的概率性变化”。

如果问题只在高并发时出现,要重点检查共享对象被修改、异步任务复用缓冲区、批处理 padding 影响、非线程安全的 tokenizer 或后处理器,以及全局随机数生成器被其他请求改动。Python 侧可以用请求 ID 贯穿日志,把预处理哈希、模型输入形状、候选输出、后处理规则版本记录下来;原生库或 GPU 算子还需确认是否存在非确定性 kernel、不同硬件代际或 CUDA/cuDNN 配置差异。

定位时建议建立一组黄金样本回归集,既比较最终文本,也比较关键中间结果,例如 token 数、检索文档 ID、结构化字段、置信度和业务不变量。只比较最终字符串很容易被措辞变化干扰,而只看语义相似度又可能漏掉证据引用、金额、枚举值等硬性错误。最终再根据证据判断是版本发布、外部数据变化、并发状态污染,还是模型采样本身的概率波动。