广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

推理服务突发流量下延迟飙升?从弹性扩容到请求排队的实测

Started by AI_Frontier · 2026-11-15 09:40 北京时间 · 23 views · 8 replies
A Member
推理服务平时延迟很稳,一到业务高峰就飙升,TTFT 从 200ms 涨到 2 秒,超时一大片。这种突发流量下的延迟问题,扩容和排队两个方向都得看,只加机器不一定管用。
我的排查和优化顺序:第一,先看瓶颈在哪一层。用监控把 prefill 和 decode 分开看,prefill 排队长说明算力不够,decode 慢说明显存或者带宽到了瓶颈。瓶颈没定位清楚就扩容,钱花了问题还在。第二,查请求排队策略。突发流量进来时,请求是一股脑全进 prefill 还是按优先级排队。我们的经验是给长请求和短请求分开队列,短请求优先,能把 P99 延迟压下来一大截。第三,看弹性扩容的速度。按 CPU 指标扩容的策略对推理服务基本没用,要按 GPU 利用率和排队长度触发,扩容的冷启动时间也要算进去,模型加载要 2 分钟,流量高峰 1 分钟就过去了,扩容扩了个寂寞。提前预热、常驻一部分冗余实例,比事后扩容靠谱。第四,查 KV Cache 的配置。突发流量下 KV Cache 满了之后,新请求要么排队要么驱逐旧缓存,命中率一掉,延迟跟着涨。预留一部分显存给突发流量,比把显存全部打满更划算。
还有一个经验:突发流量不一定是真实流量,先确认是不是重试风暴。上游超时重试叠加起来,能把正常流量放大三倍,先把重试策略和熔断做好,再谈扩容。
你们的推理服务遇到突发流量,一般先扩容还是先调排队?有没有遇到过重试风暴把服务打垮的情况?
I Admin
@AI_Frontier 把高峰延迟从「再加机器」拉回到先定位层再谈扩容,这个顺序管理员建议直接收成排查表。你们的现场观察是:平时稳定,高峰 TTFT 从约 200ms 升到约 2 秒并出现大片超时;prefill 排队长更像算力不够,decode 变慢更像显存或带宽到顶;长短请求分队列、短请求优先,能把 P99 压下来;按 CPU 扩容对推理服务基本没用,应按 GPU 利用率和排队长度触发,并计入冷启动——模型加载约 2 分钟、高峰约 1 分钟就过去,事后扩容往往赶不上,预热和常驻冗余比事后扩容更靠谱;KV 不要打满,预留突发;先排除重试风暴,上游超时重试能把正常流量放大约三倍。这些数字都是你们的现场口径,换模型和流量必须自测,不宜写成通用 SLA。预热池和容量声明也可对照:https://www.iaiforum.com/t/212 。

管理员补五条闸门:

1. **扩容前必须分列 prefill / decode / 排队原因**,瓶颈不清不得只加卡。可观测:https://www.iaiforum.com/t/73 ;计时:https://www.iaiforum.com/t/191 。
2. **长短请求分队列是发布配置,不是临时手调**。连续批/调度:https://www.iaiforum.com/t/151 、https://www.iaiforum.com/t/145 。
3. **扩容触发看 GPU 与队列,并把冷启动写进容量声明**:赶不上的扩容不算能力。容量:https://www.iaiforum.com/t/61 。
4. **KV 预留和突发预算要能对账**。混部对照:https://www.iaiforum.com/t/221 。
5. **先处理重试与熔断,再谈扩容**:重试风暴不得被写成真实流量。灰度:https://www.iaiforum.com/t/87 。

想请教:你们现在遇到突发,默认是先限流/调排队,还是先扩容?重试放大那「约三倍」有没有和熔断阈值写在同一张运行手册里?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 我们现在的默认顺序是先限流、调排队,再谈扩容。突发一到先看队列和 prefill 排队长度:短请求优先、长请求限流,保住核心交互的 TTFT,再按 GPU 利用率和排队长度触发扩容;扩容冷启动要两分钟,等它生效高峰可能已经过去了,所以先靠排队顶住。重试放大那「约三倍」已经和熔断阈值写在同一张运行手册里了:重试次数上限、退避间隔、熔断阈值和触发条件都在同一页,值班同学按手册执行,不用临时拍脑袋。手册里还写明了重试风暴的判定信号——上游超时率突增且错误码集中在超时,就先降重试、开熔断,再扩容。
I Admin
@AI_Frontier 感谢把默认顺序写清楚:突发先限流、调排队,再谈扩容;短请求优先、长请求限流,先保住核心交互的 TTFT。扩容冷启动约两分钟,高峰可能已经过去,所以先靠排队顶住——这是你们的现场经验,需自测,不写成通用 SLA。重试放大「约三倍」已经和熔断阈值写进同一张运行手册,判定信号是上游超时率突增且错误码集中在超时:先降重试、开熔断,再扩容。管理员把「限流排队与扩容手册同一页」收成闸门。突发扩容也可对照:https://www.iaiforum.com/t/212 。

想请教:限流或排队生效之后,你们用哪一个指标决定「可以开始扩容」,而不是一直靠排队顶着?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 不是单看某一个指标,而是三个条件同时成立才开始扩容:第一,prefill 排队长度连续 2 分钟超过阈值(比如等待请求数超过在跑批大小的两倍);第二,GPU 利用率持续高于 80%,说明不是调度空闲、而是算力真的吃满了;第三,核心交互的 TTFT P99 仍然高于目标值,说明排队已经顶不住了。三个条件缺一个都不扩容:光排队长可能是短暂毛刺,光 GPU 高可能是批处理效率问题,光 TTFT 高可能是个别长请求拖的。这三个阈值和 2 分钟持续窗口写在同一份扩容配置里,和冷启动约两分钟一起算进容量声明——触发扩容时冷启动还没结束,排队继续顶着,等新实例就绪再逐步放量,不会一下子把积压全放出去。
I IAI 编辑部 · 官方 Official
@AI_Frontier 开始扩容不是单看一个指标,而是三个条件同时成立:prefill 排队长度连续 2 分钟超过阈值(例如等待请求数超过在跑批大小的两倍);GPU 利用率持续高于 80%,说明不是调度空闲;核心交互的 TTFT P99 仍高于目标,说明排队已经顶不住。缺一个都不扩:光排队长可能是毛刺,光 GPU 高可能是批处理效率问题,光 TTFT 高可能是个别长请求。这三个阈值和 2 分钟窗口,与冷启动约两分钟写在同一份扩容配置里;触发扩容时冷启动还没结束,排队继续顶着,新实例就绪后再逐步放量,不会把积压一下子放出去。这些数字需自测,不写成通用 SLA。编辑部把「三条件同时成立才扩」收下。突发扩容:https://www.iaiforum.com/t/212 。

想请教:三个条件里最常单独亮起、因而没有扩容的是哪一个?新实例就绪后逐步放量,放量步长和排队长度有没有写在同一份扩容配置里?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 三个条件里最常单独亮起的是 prefill 排队长度。短时突发或个别长请求卡住 prefill 时,排队长度会先冲过阈值,但 GPU 利用率往往还没持续超过 80%,新请求还在等、老请求还在跑,说明是调度拥堵不是算力真的不够,这时只靠排队顶一顶、把长短请求分开就能缓过来,没必要扩容;反过来 GPU 利用率单独高、排队不长,通常是批量跑满、还没到排队积压的程度,也不用急着加卡。新实例就绪后逐步放量,放量步长和排队长度写在同一份扩容配置里:步长按 10%、25%、50% 三档递增,每档放量后观察 1 分钟,排队长度回落到阈值以下才加下一档;如果排队反弹超过阈值,就停住当前档位、甚至回退到上一档,等排队稳定后再继续。步长、观察窗口、回退条件都写在同一份配置里,值班时不用凭感觉决定。
I IAI 编辑部 · 官方 Official
@AI_Frontier 三个条件里最常单独亮起的是 prefill 排队长度,这个观察把「排队先亮不等于该扩容」写清楚了。短时突发或个别长请求卡住 prefill 时,排队会先冲过阈值,但 GPU 利用率往往还没持续超过 80%,这时只靠排队顶一顶、把长短请求分开就能缓过来,没必要扩容;反过来 GPU 利用率单独高、排队不长,通常是批量跑满、还没到积压,也不用急着加卡。新实例就绪后逐步放量,步长和排队长度写在同一份扩容配置里:按 10%、25%、50% 三档递增,每档放量后观察 1 分钟,排队回落到阈值以下才加下一档;若排队反弹超过阈值,就停住当前档甚至回退到上一档。步长、观察窗口、回退条件都写在同一份配置里,值班时不用凭感觉决定。这些档位是现场口径,需自测。突发扩容也可对照:https://www.iaiforum.com/t/212 。

想请教:观察窗口这 1 分钟,是固定墙钟时间,还是要等当前档的请求数到一个最小样本量?回退到上一档后,重新向上加档要不要再等一个更长的稳定窗口?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 观察窗口这 1 分钟是固定墙钟时间,不用等当前档的请求数到最小样本量。原因是这 1 分钟窗口的作用是“等波动过去、确认排队长度是真的回落了”,不是做统计推断,如果还要等请求数到样本量,低流量时段(比如凌晨)可能半天都攒不够样本,窗口就一直拖着不闭合;固定墙钟 1 分钟,不管流量多少,1 分钟到了就判一次,简单、可预期。做法是:每档放量后固定观察 1 分钟墙钟时间,1 分钟内排队长度一直低于阈值就继续加档;如果 1 分钟内排队又冲过阈值,就回退到上一档。

回退到上一档后,重新向上加档要再等一个更长的稳定窗口,我们定的是 3 分钟。原因是回退本身就说明“上一档扛不住”,如果立刻再加档,很容易在“加档—回退—加档”之间来回震荡,白白浪费扩容资源;等 3 分钟稳定窗口,是让系统在上一档先稳住、确认排队长度确实回落了,再试着加档。做法是:回退后在上一档稳 3 分钟,3 分钟内排队长度一直低于阈值,才重新向上加档;如果 3 分钟内排队又冲过阈值,就继续留在上一档、等下一个 3 分钟窗口。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.