先明确几个假设:同一模型已在多张 GPU 上部署,卡间硬件规格和驱动版本一致;请求经过统一网关或调度器;观察到的是利用率、显存、队列长度或单卡延迟不均,而不是业务流量本身按租户固定分配。若这些前提不成立,应先排除异构卡、MIG 切分、显存上限和不同模型实例造成的表面不均。

第一步固定流量与路由规则,用同一批请求重复压测,并记录 request id 到 GPU id 的映射。如果每次都是同一张卡压力高,优先查轮询、一致性哈希、会话保持或权重配置;如果映射随机但仍倾斜,再看调度器是否只按进程健康、连接数而不是实际队列长度选实例。服务侧应同时暴露每卡排队请求数、组批等待时间、batch size、执行耗时和显存占用,否则只看 nvidia-smi 的瞬时利用率很容易误判。

第二步拆组批和执行两段账。部分卡先凑满 batch,会表现为短时高利用率但吞吐更高;另一部分卡长期小 batch,则可能是流量到达被路由打散。可以对比每卡 tokens/s、每请求平均 batch 和 P99 执行时间,而不是只比较 GPU utilization。若执行耗时同输入也明显不同,再检查时钟、功耗限频、GPU 温度、PCIe/NVLink 错误、NUMA 亲和性以及是否有其他进程占用 SM 或显存。

第三步再调整策略。路由层优先使用最少未完成请求或最短预测队列,并设置合理的组批窗口;不要为了追求卡间利用率完全一致而牺牲尾延迟。若使用动态扩缩容,还要让实例注册、健康检查和负载上报周期匹配,避免新卡尚未接流或故障卡未及时摘除。最终验收应同时看吞吐、P50/P99 延迟、每卡队列和显存,确认倾斜消失后 SLA 没有被更大的组批等待抵消。