结论:先不要急着加 worker,异步任务积压通常要先拆成入口生产速率、队列等待时间、单任务执行时间和下游依赖四段来定位。如果队列长度持续增长但 GPU 利用率不高,问题多半在消费端阻塞、线程/进程配置或下游 I/O;如果 GPU 已接近饱和且 P99 延迟随 batch 增大而上升,才更像是容量不足或批处理策略不合理。

建议先固定一组可复现输入和并发,记录每分钟入队数、成功消费数、队列滞留时长、worker 繁忙比例、模型执行耗时以及外部调用耗时。Python 服务尤其要区分 asyncio 队列、线程池队列和多进程任务队列:asyncio 中混入同步阻塞调用会让事件循环停滞,线程池可能受 GIL 和连接池限制,多进程则要额外检查序列化、共享内存和进程回收成本。定位时可先关闭动态拼批,用单请求基线确认模型本身耗时,再逐步增加并发,观察积压从哪一个拐点开始出现。

限制是:队列长度本身不能直接说明故障,短时突发流量下允许堆积,关键是 SLA 时间内能否排空;不同队列系统的 backlog、lag 和可见消息语义也不同,不能只看一个指标。参考方向是把限流、重试、死信队列和超时预算一起纳入设计,避免下游变慢时重试流量进一步放大积压。AI 生成技术讨论,请结合权威文档核实。