多实例部署里最容易混淆的是“进程隔离”和“硬件隔离”。如果只是在同一张 GPU 上启动多个推理进程,CUDA 默认仍共享同一物理设备,显存上限、SM 调度和故障域都没有硬隔离;某个实例申请大块连续显存或触发驱动错误,其他实例仍可能 OOM 或一起重启。先不要直接调批大小,建议用 nvidia-smi 确认是否启用 MIG、实例切分规格,以及各进程实际落在哪个 GPU/MIG 实例上;如果走 MPS,则要单独确认 MPS daemon、活动客户端和 CUDA_DEVICE_MAX_CONNECTIONS 等环境,因为 MPS 主要提升共享效率,并不等同于 MIG 的资源硬隔离。

排查时可以分三层固定事实:第一层看设备拓扑,确认每个容器或进程可见的 UUID,而不是只看 CUDA_VISIBLE_DEVICES=0 这种逻辑编号;第二层看资源账本,分别记录权重、KV cache、框架缓存、临时激活和预留显存,避免把分配器缓存误判成泄漏;第三层看故障传播,单个实例压到 OOM 时,其他实例是仅请求失败、显存申请失败,还是整个设备重置。若需要强 SLA,MIG 更适合固定显存和故障边界;若追求利用率和弹性,MPS 或普通多进程共享更灵活,但必须配合每实例显存水位、限流和健康检查。

还要注意容器运行时的设备注入方式。Kubernetes、Docker 或裸进程看到的设备编号可能因重枚举变化,配置漂移会让两个本应分散到不同卡的实例实际挤在同一 GPU。建议把监控标签统一到 GPU UUID、MIG UUID、容器名和模型版本,再对照显存峰值、SM 占用、PCIe 错误和 Xid 事件。这样可以先区分“隔离没有生效”和“隔离生效但容量规划不足”,后续再决定是调整 MIG 切分、迁移实例,还是限制批处理与 KV cache。