推理服务量上来之后,一张卡只跑一个实例太浪费,多实例共享一张卡成了常态。但共享方式选不对,延迟抖动、显存争抢、故障扩散全来了,几种方式的取舍实测下来差别不小。
第一,MIG 硬切分。支持 MIG 的卡可以把一张卡切成几个独立实例,显存、算力、带宽都有硬件隔离,一个实例出问题不影响别的。代价是切分粒度固定,小实例切出来算力利用率不一定高,而且切分后单实例的上限被锁死,突发流量接不住。
第二,MPS 软共享。MPS 让多个进程共享 GPU 上下文,显存不隔离,算力按需抢。优点是灵活、利用率高,缺点是某个实例显存泄漏或者算力占满,其他实例跟着遭殃,故障隔离基本靠自觉。
第三,时间片轮转。最简单的办法是多实例排队轮流用卡,隔离性全靠调度,延迟抖动最大。适合离线批量任务,在线推理基本不用。
第四,显存隔离要单独做。不管用哪种共享,显存上限都要显式设出来:容器里用 CUDA_VISIBLE_DEVICES 加显存配额,或者框架层面设 per-process memory fraction。没有显存上限,第一个 OOM 的实例会把整张卡拖垮。
第五,成本账要算全。共享一张卡省的是硬件钱,付出的代价是延迟抖动和运维复杂度。P99 延迟要求严的在线服务,宁可少共享;离线任务和测试环境,共享的收益才明显。
你们一张卡一般跑几个推理实例?MIG、MPS 还是别的方案?