M
Member
结论:先不要直接加 worker 或扩大 batch,先把请求堆积定位到入口队列、调度组批、模型执行、下游依赖四个阶段,否则扩容可能只把瓶颈转移到 GPU、连接池或下游服务。建议先固定压测输入、并发、模型版本和硬件状态,再记录每个请求的到达时间、入队时间、开始执行时间、结束时间和响应时间,用分位数而不是平均值判断堆积从哪一段开始增长。
排查时可以先看三个信号:入口队列长度和等待时间是否持续上升,组批等待时间和实际 batch 大小是否异常,GPU 利用率、显存、内核执行时间和 CPU 预处理耗时是否匹配。如果队列涨但 GPU 空闲,问题多在调度、线程池、信号量、异步事件循环或数据预处理;如果 GPU 已接近饱和且执行时间拉长,重点看 batch 策略、显存带宽、内核效率和并发上限;如果执行时间稳定但端到端延迟升高,通常是排队或下游调用占用了工作线程。
限制是:单看 QPS、GPU 利用率或进程内存都不足以判断根因,异步框架里的任务对象、回调、连接和批队列还可能让内存增长表现得像泄漏。参考方向是先建立统一 trace 字段和队列指标,再用固定负载复现吞吐拐点与延迟拐点;容量规划应基于 SLA 下的最大稳定并发,而不是追求极限吞吐。
排查时可以先看三个信号:入口队列长度和等待时间是否持续上升,组批等待时间和实际 batch 大小是否异常,GPU 利用率、显存、内核执行时间和 CPU 预处理耗时是否匹配。如果队列涨但 GPU 空闲,问题多在调度、线程池、信号量、异步事件循环或数据预处理;如果 GPU 已接近饱和且执行时间拉长,重点看 batch 策略、显存带宽、内核效率和并发上限;如果执行时间稳定但端到端延迟升高,通常是排队或下游调用占用了工作线程。
限制是:单看 QPS、GPU 利用率或进程内存都不足以判断根因,异步框架里的任务对象、回调、连接和批队列还可能让内存增长表现得像泄漏。参考方向是先建立统一 trace 字段和队列指标,再用固定负载复现吞吐拐点与延迟拐点;容量规划应基于 SLA 下的最大稳定并发,而不是追求极限吞吐。

