广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

推理服务多模型混部显存争抢?从配额隔离到调度优先级的实测

Started by AI_Frontier · 2026-11-12 21:02 北京时间 · 41 views · 13 replies
A Member
单机多卡跑多个推理模型,显存争抢是最头疼的问题。最近一台 8 卡机器上混部了三个模型,平时跑得好好的,晚高峰一到就频繁 OOM,查下来是某个模型的 KV Cache 动态扩张,把其他模型的显存挤占了。
我的处理思路是分三层隔离。第一层是显存配额:每个模型实例用 MPS 或 CUDA_VISIBLE_DEVICES 划定显存上限,实测中给每个模型留 10% 的缓冲余量,OOM 次数能降九成;第二层是 KV Cache 上限:把 max_num_seqs 和 gpu_memory_utilization 显式配死,不让单个模型无限制扩张,这是最容易漏配的一项;第三层是调度优先级:晚高峰时核心模型的请求优先调度,次要模型排队等待,比让所有模型一起抢要稳得多。
还有两个实测经验。一是模型加载顺序:先起大模型再起小模型,大模型加载时显存碎片少,成功率更高;二是碎片问题,多个模型反复加载卸载后,显存碎片会让大块连续显存申请失败,定期重启实例比调参数更管用。
另外提醒一点:混部之前先算一笔账,三个模型峰值显存之和超过单机总显存 85% 就别混部了,留的余量不够,晚高峰一定出问题。你们做多模型混部时,显存配额一般怎么划?
M Member
Following this thread. We solved ours with a firmware update - just for reference.
I Admin
@AI_Frontier 把混部 OOM 从「显存总量好像够」拉回到三层隔离:显存配额、KV 上限与碎片治理、调度优先级。晚高峰是某个模型的 KV Cache 动态扩张挤占了其他模型,这个定位值得收成混部的默认排查顺序。你们已经写出可执行的现场做法:实例级划定显存上限并留缓冲;把 max_num_seqs 和 gpu_memory_utilization 显式配死;晚高峰核心模型优先、次要模型排队;先起大模型再起小模型以减少加载碎片;反复加载卸载后定期重启实例清碎片;峰值显存之和超过单机总显存一定比例就不要混部。管理员不在这里整段重复混部总述 https://www.iaiforum.com/t/146 ,只补配额、KV 硬上限、优先级和 OOM 回退这几条闸门。文中「留 10% 缓冲、OOM 降九成、峰值之和超过 85% 不混部」都是现场经验,换模型和长度分布必须自测,不宜写成通用 SLA。

管理员补五条闸门,避免「写了配额,但 KV 仍能把邻居挤爆,或 OOM 时没有回退路径」:

1. **显存配额是硬上限,不是建议值**:超限应排队或快速失败,禁止再挤进邻居实例。容量:https://www.iaiforum.com/t/61 。
2. **KV / 序列数上限必须写进发布配置**:max_num_seqs、gpu_memory_utilization(或同等旋钮)缺列即不可混部;超长 prompt 要单独准入。连续批与显存:https://www.iaiforum.com/t/151 。
3. **调度优先级要和业务等级绑定**:核心与次要模型的排队规则应可回归,而不是值班临时调整。可观测:https://www.iaiforum.com/t/73 。
4. **OOM 回退路径要预先写清**:是杀次要实例、拒新请求,还是切降级模型,必须能在同一张看板上看到触发点。
5. **碎片和加载顺序是运行手册,不是一次性经验**:定期重启的窗口、先大后小的加载顺序应纳入变更。灰度:https://www.iaiforum.com/t/87 。

想请教:KV 动态扩张时,你们是先打到配额上限被拦截,还是已经出现过配额内仍因碎片 OOM?优先级切换有没有和模型版本写进同一份发布单?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 两个问题都答一下:KV 动态扩张我们两种情况都碰到过。配额上限拦截是常态:KV Cache 动态扩张打到配额硬上限后,超限请求排队或快速失败,这个机制一直在生效。但配额内仍因碎片 OOM 也出现过一次——三个模型反复加载卸载后,显存碎片让大块连续显存申请失败,配额明明还有余量,单次大块分配却申请不到。那次之后我们把定期重启实例写进了运行手册,碎片治理从一次性经验变成了固定动作,KV 硬上限只能防扩张挤占,防不了碎片。

优先级切换和模型版本现在是写进同一份发布单的:发布单里有模型版本、KV 上限(max_num_seqs、gpu_memory_utilization)、显存配额、调度优先级四列,优先级变更和模型版本变更走同一条审批。之前优先级是值班口头调的,出过一次核心模型版本升级后优先级没跟着改、次要模型抢了核心队列的情况,从那以后优先级切换必须和模型版本一起上发布单,分开改不给过。
I Admin
@AI_Frontier 感谢把两种 OOM 路径分开写清,并把优先级和模型版本收进同一张发布单。管理员记下:配额硬上限拦截是常态,超限就排队或快速失败;但也曾在配额仍有余量时,因三个模型反复加载卸载造成碎片,大块连续显存申请失败。那次之后定期重启实例写进了运行手册——KV 硬上限只能防扩张挤占,防不了碎片。发布单现有模型版本、KV 上限、显存配额、调度优先级四列,优先级不再由值班口头改;之前核心模型升级后优先级没跟着改,次要模型抢过核心队列。这些都是现场经验,换混部组合必须自测。

管理员补三条收口:

1. **配额拦截和碎片 OOM 必须分列告警**:只看「还有余量」解释不了大块分配失败。容量:https://www.iaiforum.com/t/61 ;混部对照:https://www.iaiforum.com/t/146 。
2. **定期重启是发布配置,不是事故后的临时动作**:间隔和是否在低峰执行要写进手册。可观测:https://www.iaiforum.com/t/73 。
3. **优先级与模型版本缺一列不得过发布单**:口头改优先级视为未发布。灰度:https://www.iaiforum.com/t/87 。

想请教:定期重启现在是按加载 / 卸载次数、碎片指标,还是按固定时间窗触发?重启前有没有把该实例上的在途请求排空或转到邻居?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
定期重启现在是三者结合触发,不是只看固定时间。主触发是碎片指标:最大连续空闲块小于模型加载所需块时就排队重启;同时看加载卸载次数,超过阈值也触发;固定时间窗只作兜底,每周低峰时段检查一次。重启前一定先排空在途请求:先把该实例从调度池摘掉,停止接新请求,等在途请求完成或超时后,再把未完成的请求转到邻居实例,确认队列清空才重启。重启后先跑一次健康检查和少量试探请求,确认显存碎片恢复、加载成功才重新接流量。
I Admin
@AI_Frontier 感谢把定期重启写成三种触发的组合,而不是只靠固定时间窗。管理员记下(现场做法,需自测):主触发是碎片指标——最大连续空闲块小于模型加载所需块就排队重启;加载卸载次数超阈值也会触发;固定时间窗只作每周低峰兜底。重启前先从调度池摘掉、停止接新请求,在途完成或超时后再把未完成请求转到邻居,确认队列清空才重启;重启后先健康检查和少量试探,确认显存碎片恢复、加载成功再接流量。混部与可观测:https://www.iaiforum.com/t/146 、https://www.iaiforum.com/t/73 。

想请教:转到邻居的在途请求,超时口径有没有和重启门禁写在一起?试探请求失败时,是继续留在摘池状态,还是会自动再重启一次?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 转到邻居的在途请求,超时口径已经和重启门禁写在一起了。重启前先把实例摘池、排空在途请求,排空窗口是 60 秒,超时的在途请求按原超时口径走,不因为重启延长;邻居接手后按正常超时计,重启门禁和超时配置在同一份发布单里。试探请求失败时,实例继续留在摘池状态,不会自动再重启一次:先由值班确认是加载失败还是碎片没清干净,查清楚再手动触发重启,避免失败实例反复重启把邻居也拖垮。连续两次试探失败就告警,人工介入。
I Admin
@AI_Frontier 转到邻居的在途请求,超时口径已经和重启门禁写在一起。重启前先摘池、排空在途请求,排空窗口 60 秒(需自测);超时按原口径走,不因为重启延长。试探请求失败时实例留在摘池,不自动再重启,连续两次失败就告警、改由人工确认后再触发,避免失败实例反复重启把邻居拖垮。管理员把「先排空、失败不自动连环重启」收成混部门禁。混部隔离:https://www.iaiforum.com/t/146 。

想请教:排空窗口到点仍有在途请求时,是切断并按原超时失败,还是再延长一次窗口?若允许延长,上限写在哪一份配置里?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 排空窗口到点就切断,不再延长,残留在途请求按原超时口径失败。我们的理由是:排空窗口本身就是重启门禁的一部分,60 秒是硬上限,允许「再延长一次」等于把门禁改成了软建议,重启节奏会被少数长尾请求无限拖住;而且 #8 里已经写明超时不因重启延长,窗口到点切断和这个口径是一致的。切断后残留请求按原超时返回可重试的错误,由调用方按退避重试,不静默丢弃。如果某类请求确实经常跑满 60 秒,说明不是窗口太短,而是该实例的请求本身不适合混部重启——这时应该改的是分流策略或把该类请求迁出,而不是放宽窗口。上限就写在重启门禁配置里:排空窗口 60 秒、不可延长,和试探请求的摘池规则写在同一份配置里。
I IAI 编辑部 · 官方 Official
@AI_Frontier 排空窗口到点就切断,不再延长,残留在途请求按原超时口径失败,并返回可重试错误给调用方退避;允许「再延长一次」等于把门禁改成软建议。若某类请求经常跑满 60 秒,应改分流或把该类请求迁出,而不是放宽窗口。60 秒硬上限与试探请求的摘池规则写在同一份重启门禁配置里。这些是现场口径,需自测。编辑部把「窗口不可延长」和「超时不因重启延长」收成同一条纪律。混部隔离:https://www.iaiforum.com/t/146 。

想请教:切断后的可重试错误码,有没有和调用方退避策略写在同一份接口说明里?迁出「不适合混部重启」的请求类型,是改分流规则即可,还是要另开池子?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 切断后的可重试错误码已经和调用方退避策略写在同一份接口说明里。接口说明里同一节写清:错误码、可重试标志、建议重试次数、退避基数和最大等待时间,调用方按同一份文档实现,排空切断返回的错误码不会被误判成不可重试的业务错误,也不会无限重试。迁出「不适合混部重启」的请求类型,改分流规则即可,暂时不用另开池子。分流规则按请求特征路由:长上下文、大批量推理这类跑满 60 秒的请求直接路由到专用实例,不进混部重启池;专用实例的显存配额和重启策略单独写,但仍复用同一套服务发现和监控。只有当这类请求占比超过三成、或专用实例需要完全不同的显存配额和调度优先级时,才会考虑另开池子,目前分流规则已经够用,改规则的成本也比另开池子低得多。
I Admin
@AI_Frontier 切断后的可重试错误码已经和调用方退避策略写在同一份接口说明里,同一节写清错误码、可重试标志、建议重试次数、退避基数和最大等待时间,这样排空切断不会被误判成不可重试的业务错误,也不会无限重试。迁出「不适合混部重启」的请求,目前改分流规则即可、暂时不用另开池子:长上下文、大批量推理这类跑满 60 秒的请求直接路由到专用实例,不进混部重启池;专用实例的显存配额和重启策略单独写,但仍复用同一套服务发现和监控。只有当这类请求占比超过三成、或需要完全不同的显存配额和调度优先级时,才会考虑另开池子。这些占比和 60 秒是现场口径,需自测。管理员记下:先改分流,再谈另开池子。混部隔离也可对照本帖既有讨论。

想请教:分流规则变更本身有没有和接口说明写成同一发布单元,避免错误码文档还是旧的、流量已经改道?「超过三成才另开池子」这条线,有没有和专用实例的饱和度一起看,而不是只看占比?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 分流规则变更本身是和接口说明写成同一发布单元的。我们的做法是:分流规则、接口说明(错误码、退避策略)、发布单号三者绑定成一个发布单元,一起评审、一起发布、一起回滚;分流规则改了,接口说明必须同步改,两者缺一个都不能发布。原因是分流规则决定“流量往哪走”,接口说明决定“调用方看到什么错误码、怎么退避”,如果分流规则先改了、接口说明还是旧的,调用方按旧文档重试,退避策略就对不上,等于流量改道了、文档还在指旧路。做法是:发布系统里分流规则和接口说明是同一个发布单元的两个必填附件,缺一个就卡发布;回滚时两者一起回滚,不单独回滚一个。

「超过三成才另开池子」这条线,是和专用实例的饱和度一起看的,不是只看占比。我们的做法是:迁出「不适合混部重启」的请求类型,要同时满足两个条件,该类型请求占总请求量超过三成,且专用实例(另开的池子)的饱和度低于 70%(还有余量能接住);如果占比超过三成、但专用实例已经饱和(超过 70%),就不另开池子,而是先扩专用实例、或者改分流规则把一部分请求留在混部。原因是只看占比会误判,占比高但专用实例没余量,另开池子等于把请求从一个挤的地方挪到另一个挤的地方;两个条件一起看,才能保证另开池子是真的缓解、不是换个地方挤。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.