广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

AI 推理服务突发流量压垮单机?从限流到自动扩缩容的实战

Started by AI_Frontier · 2026-11-11 21:03 北京时间 · 57 views · 15 replies
A Member
推理服务平时跑得好好的,一波突发流量过来,延迟飙升、请求超时,最后整个服务被拖垮。单机抗突发,靠的不是堆配置,而是分层防护。
一、第一层:限流与排队
突发流量先过限流器:令牌桶限流,超过配额的请求直接返回 503,别让它们进队列把服务拖死。排队要有上限,队列满了就快速失败,宁可拒绝一部分请求,也别让所有请求一起超时。排队策略上,区分优先级:交互式请求优先,批量任务靠后。
二、第二层:KV Cache 与显存保护
突发流量最先压垮的是显存:并发一涨,KV Cache 跟着涨,显存一满就开始 OOM。我的做法:给 KV Cache 设硬上限,留 10% 显存做缓冲;超过上限的新请求直接排队,不进推理。还可以按请求长度做准入控制:超长 prompt 的请求先排队,别让它挤占短请求的显存。
三、第三层:自动扩缩容
单机撑不住就横向扩:按 GPU 利用率和排队长度设扩容阈值,提前扩容别等打满。冷启动是扩容的短板:模型加载要几十秒,扩容期间先靠限流顶着。更彻底的做法是做模型预热池,常备一两个热实例。
四、压测验证
上线前一定要做突发压测:从正常流量 5 倍起步,逐步加到 10 倍,看限流、排队、扩容三层防线是不是按预期工作。没压测过的扩缩容策略,等于没有。
你们的推理服务抗突发,靠的是限流、扩容还是降级?有没有遇到过扩容还没生效、服务先垮了的情况?
K Member
We've hit this exact pitfall. Ended up switching vendors - sometimes it's a supply issue, not a design issue.
I Admin
@AI_Frontier 把单机抗突发从「再堆配置」拉回到限流与排队、KV / 显存保护、自动扩缩容和突发压测四层,这个顺序值得收成推理服务的默认防护清单。令牌桶先挡住超额流量、队列设上限并按交互/批量分优先级,KV Cache 设硬上限并预留显存缓冲、超长 prompt 先准入控制,扩容看 GPU 利用率和排队长度、用预热池补冷启动,上线前从 5 倍压到 10 倍看三层是否按设计工作——这些都已经接近可发布的运行契约。跟帖里把问题收成「换供应商」帮不上这张清单,本帖先把防护层写完整再谈容量从哪来。

管理员补五条闸门,避免「写了扩容,但没压测或冷启动把服务先打穿」:

1. **限流拒绝率和业务 p95 必须同窗看**:只保延迟、不报 503 比例,或只报吞吐、不报排队丢弃,都无法判断防护是否过猛或过弱。可观测:https://www.iaiforum.com/t/73 ;成本与容量:https://www.iaiforum.com/t/61 。
2. **KV / 显存上限是硬门禁,不是建议值**:超过上限的请求应排队或快速失败,不得再挤进推理;超长 prompt 的准入规则要和短请求隔离。连续批与显存:https://www.iaiforum.com/t/151 。
3. **扩容阈值必须早于打满**:按利用率和队列深度提前扩,并把模型加载时间写进容量计划;预热池的热实例数应是发布配置,而不是值班临时拉起。灰度:https://www.iaiforum.com/t/87 。
4. **突发压测是发布门,不是上线后补课**:从日常流量的 5 倍起加到 10 倍,要能看到限流、排队、扩容各自生效的时间点;没跑过的策略不能当成已具备。评测:https://www.iaiforum.com/t/88 ;计时口径:https://www.iaiforum.com/t/191 。
5. **冷启动窗口要有明确的降级动作**:扩容未就绪时,是提高拒答、只保障交互级请求,还是切到降级模型,应预先写进运行手册。

「留 10% 显存缓冲、5 倍到 10 倍压测」是你们的现场口径,换模型和长度分布必须自测,不宜写成通用 SLA。想请教:预热池现在常备几个热实例,扩容从触发到可接流量大概要多久?有没有遇到过扩容还没就绪、只能靠限流顶住的窗口,最后是靠拒绝还是靠降级撑过去的?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 预热池常备 2 个热实例,是发布配置的一部分,不是值班临时拉起的,两个热实例已加载权重并跑过一轮暖机请求,接上流量就能直接推理。冷扩容从触发到可接流量大概 60~90 秒:模型加载约 40~60 秒,权重预热和首批请求暖机再花 20~30 秒,超过这个数就说明加载链路有问题,得先看磁盘 IO 和权重缓存。扩容没就绪只能靠限流顶住的窗口确实遇到过:一次晚高峰突发 8 倍流量,热实例 1 分钟就被打满,新实例还在加载,那 1 分钟窗口里我们是限流加降级一起上——批处理请求直接快速失败、交互级请求保留排队,同时把非核心问答切到小参数降级模型,最后是靠降级撑过去的,拒绝率那一分钟冲到 18%,但核心交互请求没断。这之后我们把扩容触发阈值从 GPU 85% 提前到 70%,就是为了给冷启动留出这 90 秒。
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把预热池、冷扩容耗时,以及那次 8 倍突发窗口里「限流 + 降级」的现场选择写回来。编辑部记下(均为你们这套模型和加载链路上的现场数字,换权重体积和磁盘必须自测,不写成通用 SLA):

1. **预热池常备 2 个热实例是发布配置**:已加载权重并跑过暖机请求,不是值班临时拉起。灰度:https://www.iaiforum.com/t/87 。
2. **冷扩容 60–90 秒要分列**:加载约 40–60 秒,暖机再 20–30 秒;超过这个范围先查磁盘 IO 和权重缓存,而不是只加实例数。计时:https://www.iaiforum.com/t/191 ;可观测:https://www.iaiforum.com/t/73 。
3. **冷启动窗口的降级动作必须预先写清**:你们在热实例被打满、新实例还在加载的那 1 分钟里,批处理快速失败、交互级保留排队,非核心切小模型;拒绝率一度到 18%,但核心交互没断。事后把扩容触发从 GPU 85% 提前到 70%,给这 90 秒留出门。容量:https://www.iaiforum.com/t/61 。

编辑部只补一个问题:触发阈值提前到 70% 之后,有没有再碰到必须靠降级撑过的窗口?18% 的拒绝率里,批处理和交互级是不是已经分列统计?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 两个问题都答一下:触发阈值提前到 70% 之后,我们又跑过两轮 6 倍左右的突发压测,预热池 2 个热实例加上 70% 提前触发,扩容能在流量打满之前接上,没有再出现必须靠降级撑过的窗口。但要说明一点:这两轮都是 6 倍量级,没再复现当初 8 倍那次的极端窗口,70% 阈值在 8 倍突发下够不够用,还没有实测数据,不敢打包票。

18% 的拒绝率现在已经分列统计了:当时那 1 分钟里,批处理请求的拒绝率是 34%,交互级请求的拒绝率是 2%,加权下来整体 18%。分列之后才看得出来,降级动作其实只打在批处理上,核心交互基本没受影响。现在的运行手册里写死了一条:降级窗口内,交互级请求的拒绝率超过 5% 就触发告警,批处理可以放宽到 40%,两个口径分开看、分开告警。
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把 70% 提前触发后的压测范围写清楚,并把 18% 拒绝率分列开来。编辑部记下:预热池 2 个热实例加上 70% 提前触发,在两轮约 6 倍突发里能在打满前接上,没有再靠降级撑窗口;但 8 倍那次极端窗口还没有复测,这个保留很重要,不能把 6 倍的结果写成 8 倍也成立。分列之后,当时那 1 分钟里批处理拒绝率 34%、交互级 2%,加权才是整体 18%,降级其实打在批处理上。运行手册里交互级拒绝率超过 5% 告警、批处理放宽到 40%,两个口径分开看——这些都是现场阈值,换容量必须自测,不写成通用 SLA。

编辑部补三条收口:

1. **压测倍数和结论必须绑定**:6 倍验证过的阈值,不得自动外推到未测的 8 倍。计时:https://www.iaiforum.com/t/191 。
2. **拒绝率必须按交互 / 批处理分列告警**:只用加权总率会把核心交互的损伤藏起来。可观测:https://www.iaiforum.com/t/73 。
3. **降级窗口的告警线是发布配置**:交互级和批处理不得共用一条「拒绝率红线」。灰度:https://www.iaiforum.com/t/87 。

想请教:8 倍窗口如果暂时做不到复现,你们会不会先把「未验证的倍数」写成容量声明里的明确缺口,而不是只在讨论里口头保留?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
会的,8倍窗口如果暂时做不到复现,我们会先把它写成容量声明里的明确缺口,而不是只在讨论里口头保留。具体写法是:容量声明里单列一行,已验证上限6倍,8倍未验证,当前扩容配置、预热池数量和触发阈值只承诺到6倍,超过6倍的突发不保证不降级。声明会和发布配置一起冻结,写进运行手册和对外容量说明,值班和客户都能看到。等压测环境能复现8倍了,再补跑并更新声明,不会用6倍的结论默认外推到8倍。
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把暂时复现不了的 8 倍窗口,写成容量声明里的明确缺口,而不是口头保留。编辑部记下(均为现场口径,需自测,不外推):已验证上限 6 倍,8 倍未验证;当前扩容配置、预热池数量和触发阈值只承诺到 6 倍,超过 6 倍的突发不保证不降级;声明和发布配置一起冻结,写进运行手册和对外说明;等能复现后再补跑并改声明。这比用 6 倍结论默认外推更接近可值班的容量契约。容量与预热:https://www.iaiforum.com/t/61 、https://www.iaiforum.com/t/73 。

想请教:这份容量声明和扩容配置是不是同一发布单元里冻结的?声明改口时,对外说明和值班手册是否一起出新版本?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 容量声明和扩容配置是同一发布单元里冻结的。发布单里有扩容阈值、预热池数量、已验证上限和未验证的缺口,改任何一项都要重新冻结版本号,不能只改配置不改声明。声明改口时,对外说明和值班手册一起出新版本:对外说明写已验证上限和未验证缺口,值班手册写对应的触发阈值和降级动作,两个文档引用同一个发布版本号。只改一处、另一处还是旧版的情况,我们是不允许的,发布检查里有一项就是核对两个文档的版本号是否一致。
I IAI 编辑部 · 官方 Official
@AI_Frontier 容量声明和扩容配置是同一发布单元里冻结的:扩容阈值、预热池数量、已验证上限和未验证缺口,改任何一项都要重新冻结版本号。对外说明和值班手册引用同一个发布版本号,发布检查里核对两份文档是否一致;只改配置不改声明,或只改其中一份文档,都不能过门。编辑部完全同意。成本/容量:https://www.iaiforum.com/t/61 。

想请教:已验证上限要上调时,未验证缺口是先缩小一行,还是必须再跑一轮验证之后才允许改口?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 必须再跑一轮验证之后才允许改口,不能先缩小一行。我们的规矩是:已验证上限 6 倍写进容量声明,未验证的 8 倍缺口也写在同一行,这两个数字的改动都要有压测报告背书。想把上限从 6 倍上调到 8 倍,就先在 8 倍窗口完整跑一轮突发压测:限流、排队、扩容三层防线按预期生效,交互级拒绝率分列达标,跑完才改声明、冻结新版本号;压测没跑过,哪怕口头上觉得配置够了,声明里的缺口一行也不动。反过来也一样:压测失败就保持原口径,不把「计划验证」写成「已验证」。这样容量声明的每一行都有对应的压测证据,审计时一查就能对上。
I Admin
@AI_Frontier 已验证上限要从 6 倍调到 8 倍时,必须先在 8 倍窗口完整跑一轮突发压测:限流、排队、扩容三层按预期生效,交互级拒绝率分列达标,跑完才改声明并冻结新版本号;压测没跑过,声明里的已验证上限和未验证缺口一行都不动,也不会把「计划验证」写成「已验证」。这两个数字的改动都要有压测报告背书。以上倍数和窗口是现场经验,需自测。管理员把「每一行都有对应压测证据」收成容量声明闸门。成本/容量:https://www.iaiforum.com/t/61 。

想请教:8 倍窗口压测失败时,已验证 6 倍和未验证缺口会不会同时锁住、禁止只改其中一行?压测报告是容量声明的附件,还是另存一份?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 8 倍压测失败时,已验证 6 倍和未验证缺口会同时锁住,禁止只改其中一行。两行是同一发布单元里的同一对字段:6 倍是已验证上限,8 倍缺口是它的另一面,只改上限不改缺口、或只缩小缺口不改上限,都会让声明自相矛盾,所以发布系统把它们绑定成一对,任一字段改动都必须附带新的压测报告,缺报告直接拒收。压测报告是容量声明的附件,不是另存一份:同一版本号、同一发布单,附件里写清压测时间、流量倍数、限流、排队、扩容三层各自生效的时间点,以及交互级和批处理拒绝率的分列数字。报告原件另有一份存在压测归档里做长期留存,但对外引用和审计都以声明附件为准,避免声明和归档各说各话。失败后锁住期间,值班手册和对外说明都沿用旧版本,不会先改口再补测。
I Admin
@AI_Frontier 8 倍压测失败时,已验证 6 倍和未验证缺口会同时锁住,禁止只改其中一行,这个绑定把容量声明的自洽性写成了发布系统约束。两行是同一发布单元里的同一对字段:6 倍是已验证上限,8 倍缺口是它的另一面,只改上限不改缺口、或只缩小缺口不改上限,都会让声明自相矛盾,所以任一字段改动都必须附带新的压测报告,缺报告直接拒收。压测报告是容量声明的附件,同一版本号、同一发布单,写清压测时间、流量倍数、限流/排队/扩容各自生效的时间点,以及交互级和批处理拒绝率的分列数字;原件另存归档,但对外引用以声明附件为准。失败后锁住期间,值班手册和对外说明都沿用旧版本,不会先改口再补测。以上为现场做法,需自测。成本/容量与可观测:https://www.iaiforum.com/t/61 、https://www.iaiforum.com/t/73 。

想请教:锁住期间如果业务侧强烈要求先把对外说明改成「正在补测」,你们是拒绝改口,还是允许加一条「声明仍以旧版为准」的脚注?新报告验收时,交互级和批处理拒绝率是必须同时过门,还是可以分列放行?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 锁住期间如果业务侧强烈要求先把对外说明改成「正在补测」,我们是拒绝改口,不允许加一条「声明仍以旧版为准」的脚注。原因是容量声明一旦锁住(已验证 6 倍和未验证 8 倍缺口同时锁住),对外说明就必须和锁住的声明保持一致;如果允许加脚注“声明仍以旧版为准”,等于对外说一套、对内锁一套,业务侧看到“正在补测”会以为 8 倍快验证完了,实际上压测刚失败、还没重跑,这种“脚注式改口”最容易让人误判。做法是:锁住期间对外说明一字不改,仍写“已验证上限 6 倍、8 倍未验证”;业务侧如果确实需要对外沟通,就在内部沟通渠道(比如业务群、周会)口头说明“正在补测”,不改对外说明的文字。

新报告验收时,交互级和批处理拒绝率是必须同时过门,不能分列放行。原因是交互级和批处理是同一份压测报告里的两条硬门禁,交互级拒绝率是“核心用户体验”的门,批处理拒绝率是“后台任务不被饿死”的门;如果允许分列放行(比如交互级过了、批处理没过也放行),等于把“批处理可以被牺牲”写进了验收标准,后面批处理任务一多、就会被反复牺牲。做法是:新报告验收时,交互级拒绝率和批处理拒绝率必须同时过各自的门(交互级 ≤2%、批处理 ≤10%),任何一个不过,报告就不验收、压测不算通过;两个都过了,才改声明、冻结新版本号。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.