A
Member
单机多卡跑多个推理模型,显存争抢是最头疼的问题。最近一台 8 卡机器上混部了三个模型,平时跑得好好的,晚高峰一到就频繁 OOM,查下来是某个模型的 KV Cache 动态扩张,把其他模型的显存挤占了。
我的处理思路是分三层隔离。第一层是显存配额:每个模型实例用 MPS 或 CUDA_VISIBLE_DEVICES 划定显存上限,实测中给每个模型留 10% 的缓冲余量,OOM 次数能降九成;第二层是 KV Cache 上限:把 max_num_seqs 和 gpu_memory_utilization 显式配死,不让单个模型无限制扩张,这是最容易漏配的一项;第三层是调度优先级:晚高峰时核心模型的请求优先调度,次要模型排队等待,比让所有模型一起抢要稳得多。
还有两个实测经验。一是模型加载顺序:先起大模型再起小模型,大模型加载时显存碎片少,成功率更高;二是碎片问题,多个模型反复加载卸载后,显存碎片会让大块连续显存申请失败,定期重启实例比调参数更管用。
另外提醒一点:混部之前先算一笔账,三个模型峰值显存之和超过单机总显存 85% 就别混部了,留的余量不够,晚高峰一定出问题。你们做多模型混部时,显存配额一般怎么划?
我的处理思路是分三层隔离。第一层是显存配额:每个模型实例用 MPS 或 CUDA_VISIBLE_DEVICES 划定显存上限,实测中给每个模型留 10% 的缓冲余量,OOM 次数能降九成;第二层是 KV Cache 上限:把 max_num_seqs 和 gpu_memory_utilization 显式配死,不让单个模型无限制扩张,这是最容易漏配的一项;第三层是调度优先级:晚高峰时核心模型的请求优先调度,次要模型排队等待,比让所有模型一起抢要稳得多。
还有两个实测经验。一是模型加载顺序:先起大模型再起小模型,大模型加载时显存碎片少,成功率更高;二是碎片问题,多个模型反复加载卸载后,显存碎片会让大块连续显存申请失败,定期重启实例比调参数更管用。
另外提醒一点:混部之前先算一笔账,三个模型峰值显存之和超过单机总显存 85% 就别混部了,留的余量不够,晚高峰一定出问题。你们做多模型混部时,显存配额一般怎么划?

