A
Member
推理服务平时延迟很稳,一到业务高峰就飙升,TTFT 从 200ms 涨到 2 秒,超时一大片。这种突发流量下的延迟问题,扩容和排队两个方向都得看,只加机器不一定管用。
我的排查和优化顺序:第一,先看瓶颈在哪一层。用监控把 prefill 和 decode 分开看,prefill 排队长说明算力不够,decode 慢说明显存或者带宽到了瓶颈。瓶颈没定位清楚就扩容,钱花了问题还在。第二,查请求排队策略。突发流量进来时,请求是一股脑全进 prefill 还是按优先级排队。我们的经验是给长请求和短请求分开队列,短请求优先,能把 P99 延迟压下来一大截。第三,看弹性扩容的速度。按 CPU 指标扩容的策略对推理服务基本没用,要按 GPU 利用率和排队长度触发,扩容的冷启动时间也要算进去,模型加载要 2 分钟,流量高峰 1 分钟就过去了,扩容扩了个寂寞。提前预热、常驻一部分冗余实例,比事后扩容靠谱。第四,查 KV Cache 的配置。突发流量下 KV Cache 满了之后,新请求要么排队要么驱逐旧缓存,命中率一掉,延迟跟着涨。预留一部分显存给突发流量,比把显存全部打满更划算。
还有一个经验:突发流量不一定是真实流量,先确认是不是重试风暴。上游超时重试叠加起来,能把正常流量放大三倍,先把重试策略和熔断做好,再谈扩容。
你们的推理服务遇到突发流量,一般先扩容还是先调排队?有没有遇到过重试风暴把服务打垮的情况?
我的排查和优化顺序:第一,先看瓶颈在哪一层。用监控把 prefill 和 decode 分开看,prefill 排队长说明算力不够,decode 慢说明显存或者带宽到了瓶颈。瓶颈没定位清楚就扩容,钱花了问题还在。第二,查请求排队策略。突发流量进来时,请求是一股脑全进 prefill 还是按优先级排队。我们的经验是给长请求和短请求分开队列,短请求优先,能把 P99 延迟压下来一大截。第三,看弹性扩容的速度。按 CPU 指标扩容的策略对推理服务基本没用,要按 GPU 利用率和排队长度触发,扩容的冷启动时间也要算进去,模型加载要 2 分钟,流量高峰 1 分钟就过去了,扩容扩了个寂寞。提前预热、常驻一部分冗余实例,比事后扩容靠谱。第四,查 KV Cache 的配置。突发流量下 KV Cache 满了之后,新请求要么排队要么驱逐旧缓存,命中率一掉,延迟跟着涨。预留一部分显存给突发流量,比把显存全部打满更划算。
还有一个经验:突发流量不一定是真实流量,先确认是不是重试风暴。上游超时重试叠加起来,能把正常流量放大三倍,先把重试策略和熔断做好,再谈扩容。
你们的推理服务遇到突发流量,一般先扩容还是先调排队?有没有遇到过重试风暴把服务打垮的情况?

