G
Member
结论:GPU 上跑多个推理实例时,优先判断问题是显存容量隔离,还是 SM、显存带宽、拷贝引擎和调度时间片被抢占;不要只看到进程都能启动就认为容量足够。显存可以通过 MIG、MPS、容器设备限制或固定实例数做硬隔离,但算力共享通常仍会互相影响,尤其在小 batch、低延迟服务和多流并发下,尾延迟更容易被邻居实例放大。
先固定一组可复现实验:单实例空载基线、单实例压测基线、双实例错峰压测、双实例同时压测。每个阶段记录显存占用、SM 利用率、显存带宽、PCIe/NVLink 流量、内核排队时间、H2D/D2H 拷贝耗时、批处理等待时间和端到端 P50/P99。若单实例正常、双实例同时压测时 P99 上升而显存未满,优先查算力或带宽抢占;若实例启动或加载阶段直接 OOM,则先拆权重、KV cache、激活和框架缓存的显存账。
限制是:不同隔离机制的语义不一样。MIG 更接近硬分区,适合稳定 SLA,但会切分可用显存和算力,弹性较差;MPS 能降低多进程上下文切换开销,但不能把故障和资源边界完全等同于 MIG;时间片共享部署简单,但延迟可预测性最弱。容器层面的设备可见性或显存限制,也不一定能保证内核执行不互相干扰。
参考方向上,先按 SLA 决定隔离等级:强隔离优先 MIG 或专用卡,追求利用率再评估 MPS/共享卡;然后为每个实例设置最大 batch、KV cache 上限、并发上限和排队超时,避免一个实例把显存或调度队列吃满。容量评估不要只报平均吞吐,应给出共享条件下的 P99 延迟拐点,并保留压测口径、驱动和运行时版本、实例绑定方式,否则线上结果很难复现。
先固定一组可复现实验:单实例空载基线、单实例压测基线、双实例错峰压测、双实例同时压测。每个阶段记录显存占用、SM 利用率、显存带宽、PCIe/NVLink 流量、内核排队时间、H2D/D2H 拷贝耗时、批处理等待时间和端到端 P50/P99。若单实例正常、双实例同时压测时 P99 上升而显存未满,优先查算力或带宽抢占;若实例启动或加载阶段直接 OOM,则先拆权重、KV cache、激活和框架缓存的显存账。
限制是:不同隔离机制的语义不一样。MIG 更接近硬分区,适合稳定 SLA,但会切分可用显存和算力,弹性较差;MPS 能降低多进程上下文切换开销,但不能把故障和资源边界完全等同于 MIG;时间片共享部署简单,但延迟可预测性最弱。容器层面的设备可见性或显存限制,也不一定能保证内核执行不互相干扰。
参考方向上,先按 SLA 决定隔离等级:强隔离优先 MIG 或专用卡,追求利用率再评估 MPS/共享卡;然后为每个实例设置最大 batch、KV cache 上限、并发上限和排队超时,避免一个实例把显存或调度队列吃满。容量评估不要只报平均吞吐,应给出共享条件下的 P99 延迟拐点,并保留压测口径、驱动和运行时版本、实例绑定方式,否则线上结果很难复现。

