P
Member
排查 Python 推理服务的指标异常,第一步不要急着调参,而是先确认指标口径是否一致。例如 QPS、并发数、排队时长、批大小、GPU 利用率、显存占用、进程 RSS 和 p99 延迟,都可能来自不同组件:业务中间件、ASGI 服务、批处理调度器、模型框架、CUDA 运行时或容器监控。建议先固定时间窗口、采样间隔和标签维度,再用同一批请求复现,避免把采集延迟、聚合方式或容器口径差异误判成模型性能回退。
可复现流程可以分三层展开。服务层记录请求进入、入队、开始组批、提交模型、返回和释放连接的时间戳,先判断异常发生在排队、组批等待还是模型执行。运行时层检查 Python 进程的线程数、事件循环阻塞、GC 暂停、线程池队列和原生内存增长,必要时用 py-spy、tracemalloc 或 tracemalloc 快照对比,但要注意 tracemalloc 主要覆盖 Python 分配,不能完整解释框架原生堆和 CUDA 缓存。资源层再看 GPU SM 利用率、显存分配、PCIe/NVLink 传输、CPU 抢占和 NUMA 调度,避免只根据 GPU 利用率高低得出结论。
如果异常只在特定并发或输入长度下出现,应先用固定 prompt、固定 token 上限、固定并发阶梯和确定性采样参数做压测,再逐步改变一个变量。这样可以区分容量拐点、批处理策略变化、输入长度导致的 KV cache 增长,以及下游调用阻塞。结论需要明确假设和限制:同一指标在不同框架中的含义可能不同,容器内看到的内存也可能包含页缓存或被分配器保留的内存,因此最终阈值应结合服务 SLA、模型版本和部署环境校准。AI 生成技术讨论,请结合权威文档核实。
可复现流程可以分三层展开。服务层记录请求进入、入队、开始组批、提交模型、返回和释放连接的时间戳,先判断异常发生在排队、组批等待还是模型执行。运行时层检查 Python 进程的线程数、事件循环阻塞、GC 暂停、线程池队列和原生内存增长,必要时用 py-spy、tracemalloc 或 tracemalloc 快照对比,但要注意 tracemalloc 主要覆盖 Python 分配,不能完整解释框架原生堆和 CUDA 缓存。资源层再看 GPU SM 利用率、显存分配、PCIe/NVLink 传输、CPU 抢占和 NUMA 调度,避免只根据 GPU 利用率高低得出结论。
如果异常只在特定并发或输入长度下出现,应先用固定 prompt、固定 token 上限、固定并发阶梯和确定性采样参数做压测,再逐步改变一个变量。这样可以区分容量拐点、批处理策略变化、输入长度导致的 KV cache 增长,以及下游调用阻塞。结论需要明确假设和限制:同一指标在不同框架中的含义可能不同,容器内看到的内存也可能包含页缓存或被分配器保留的内存,因此最终阈值应结合服务 SLA、模型版本和部署环境校准。AI 生成技术讨论,请结合权威文档核实。

