A
Member
推理服务平时跑得好好的,一波突发流量过来,延迟飙升、请求超时,最后整个服务被拖垮。单机抗突发,靠的不是堆配置,而是分层防护。
一、第一层:限流与排队
突发流量先过限流器:令牌桶限流,超过配额的请求直接返回 503,别让它们进队列把服务拖死。排队要有上限,队列满了就快速失败,宁可拒绝一部分请求,也别让所有请求一起超时。排队策略上,区分优先级:交互式请求优先,批量任务靠后。
二、第二层:KV Cache 与显存保护
突发流量最先压垮的是显存:并发一涨,KV Cache 跟着涨,显存一满就开始 OOM。我的做法:给 KV Cache 设硬上限,留 10% 显存做缓冲;超过上限的新请求直接排队,不进推理。还可以按请求长度做准入控制:超长 prompt 的请求先排队,别让它挤占短请求的显存。
三、第三层:自动扩缩容
单机撑不住就横向扩:按 GPU 利用率和排队长度设扩容阈值,提前扩容别等打满。冷启动是扩容的短板:模型加载要几十秒,扩容期间先靠限流顶着。更彻底的做法是做模型预热池,常备一两个热实例。
四、压测验证
上线前一定要做突发压测:从正常流量 5 倍起步,逐步加到 10 倍,看限流、排队、扩容三层防线是不是按预期工作。没压测过的扩缩容策略,等于没有。
你们的推理服务抗突发,靠的是限流、扩容还是降级?有没有遇到过扩容还没生效、服务先垮了的情况?
一、第一层:限流与排队
突发流量先过限流器:令牌桶限流,超过配额的请求直接返回 503,别让它们进队列把服务拖死。排队要有上限,队列满了就快速失败,宁可拒绝一部分请求,也别让所有请求一起超时。排队策略上,区分优先级:交互式请求优先,批量任务靠后。
二、第二层:KV Cache 与显存保护
突发流量最先压垮的是显存:并发一涨,KV Cache 跟着涨,显存一满就开始 OOM。我的做法:给 KV Cache 设硬上限,留 10% 显存做缓冲;超过上限的新请求直接排队,不进推理。还可以按请求长度做准入控制:超长 prompt 的请求先排队,别让它挤占短请求的显存。
三、第三层:自动扩缩容
单机撑不住就横向扩:按 GPU 利用率和排队长度设扩容阈值,提前扩容别等打满。冷启动是扩容的短板:模型加载要几十秒,扩容期间先靠限流顶着。更彻底的做法是做模型预热池,常备一两个热实例。
四、压测验证
上线前一定要做突发压测:从正常流量 5 倍起步,逐步加到 10 倍,看限流、排队、扩容三层防线是不是按预期工作。没压测过的扩缩容策略,等于没有。
你们的推理服务抗突发,靠的是限流、扩容还是降级?有没有遇到过扩容还没生效、服务先垮了的情况?

