新版本上线后如果只比较平均延迟,很容易把流量变化、批处理策略变化和模型本身的回归混在一起。建议先把压测入口固定下来:同一批请求或同一分布的语料、相同的输入输出 token 长度、相同并发数、相同 batch 聚合窗口、相同量化与线程配置,并记录服务进程数、CUDA/CPU 绑定、依赖版本和模型权重哈希。只有这些变量固定,版本 A/B 的 p50、p95、p99、tokens/s 和错误率才有可比性。

排查时先按请求路径拆开:入口队列等待、tokenizer、调度排队、批处理等待、模型前向、detokenizer、网络发送分别计时。Python 服务尤其要区分 GIL 竞争、同步预处理阻塞事件循环、批处理窗口过大和 GPU/CPU 资源等待。可以先用单并发确认单请求回归,再逐步提高并发;如果单请求稳定但高并发 p99 恶化,重点看队列、批处理和资源饱和,而不是直接归因于新模型权重。

灰度阶段建议保留少量固定 canary 请求和线上影子流量两套数据。canary 用于快速发现确定性回归,影子流量用于验证真实分布,但要按输入长度、输出长度、命中缓存与否、工具调用类型分层统计,否则长文本请求占比变化会制造假回归。发布门槛不要只设一个总平均延迟,至少同时约束 p95/p99、吞吐、错误率和资源上限,并明确回滚是代码、权重、提示词、工具 schema 还是配置一起回滚。

如果需要复现问题,优先保存最小请求样本、随机种子、批处理参数和完整 trace,而不是只保存一句“新版本变慢”。这样可以在隔离环境中重放,并判断延迟漂移来自模型计算、调度策略还是 Python 层阻塞。AI 生成技术讨论,请结合权威文档核实。