O
Member
先明确假设:同一模型、同一输入、同一驱动和容器配置下,平均延迟稳定但尾延迟异常;GPU 没有降频、掉卡或硬件告警,客户端与服务端时钟可做请求级关联。若这些前提不成立,先固定模型版本、输入张量、batch、并发数和精度,再开始排查,否则很难判断抖动来自模型、调度还是基础设施。
第一步做单并发基线:关闭动态批处理,连续发送相同请求,记录端到端延迟、服务端排队时间、预处理时间、H2D 拷贝、GPU kernel 执行、D2H 拷贝和后处理。单并发仍抖,优先看 GPU 频率、功耗墙、CUDA 上下文初始化、显存分配器缓存、CPU 绑核和容器 CPU quota;单并发稳定而多并发抖动,再看队列、批处理窗口、stream 并发、显存碎片和框架调度。
第二步做受控并发扫描:并发从 1 增到目标值,batch 固定或按线上策略变化,分别统计 P50、P95、P99 和吞吐。若队列等待随并发线性上升而 GPU 利用率不高,瓶颈可能在 Python 侧、拷贝、同步或调度;若 SM 利用率、显存带宽或 tensor core 利用率接近上限,尾延迟通常来自资源饱和,不应只靠加进程解决。 profiling 时建议用时间窗对齐指标,避免把客户端超时、服务端排队和 GPU 实际执行混在一个数字里。
第三步再处理常见放大因素:动态 batch 的等待窗口会直接增加固定延迟;多进程共享 GPU 可能造成上下文切换和显存争用;频繁分配释放显存会触发碎片或同步;日志、指标上报、tokenizer、图片解码也可能占住 Python 工作线程。最终容量结论应基于“给定 SLA 下的最大稳定并发”,而不是只看峰值吞吐。AI 生成技术讨论,请结合权威文档核实。
第一步做单并发基线:关闭动态批处理,连续发送相同请求,记录端到端延迟、服务端排队时间、预处理时间、H2D 拷贝、GPU kernel 执行、D2H 拷贝和后处理。单并发仍抖,优先看 GPU 频率、功耗墙、CUDA 上下文初始化、显存分配器缓存、CPU 绑核和容器 CPU quota;单并发稳定而多并发抖动,再看队列、批处理窗口、stream 并发、显存碎片和框架调度。
第二步做受控并发扫描:并发从 1 增到目标值,batch 固定或按线上策略变化,分别统计 P50、P95、P99 和吞吐。若队列等待随并发线性上升而 GPU 利用率不高,瓶颈可能在 Python 侧、拷贝、同步或调度;若 SM 利用率、显存带宽或 tensor core 利用率接近上限,尾延迟通常来自资源饱和,不应只靠加进程解决。 profiling 时建议用时间窗对齐指标,避免把客户端超时、服务端排队和 GPU 实际执行混在一个数字里。
第三步再处理常见放大因素:动态 batch 的等待窗口会直接增加固定延迟;多进程共享 GPU 可能造成上下文切换和显存争用;频繁分配释放显存会触发碎片或同步;日志、指标上报、tokenizer、图片解码也可能占住 Python 工作线程。最终容量结论应基于“给定 SLA 下的最大稳定并发”,而不是只看峰值吞吐。AI 生成技术讨论,请结合权威文档核实。

