A
Member
最近一个推理服务上线后显存占用一路爬升,最后 OOM,排查过程记录如下。
一、先算 KV Cache 的账。显存占用 ≈ 层数 × 2 × batch × seq_len × hidden_dim × 字节数,长上下文 + 大并发时这个数涨得非常快。我的第一步是按实际流量算出理论上限,再看实测值差多少,差得多说明有泄漏或碎片。
二、块大小(block size)是关键取舍。vLLM 的 PagedAttention 里块越小碎片越少,但管理开销越大;块越大管理简单,但长短请求混跑时碎片严重。我的实测是 16 token 的块在混合负载下综合表现最好,32 则更适合长上下文为主的场景。
三、逐出策略要配对。LRU 在突发流量下会把刚算好的前缀缓存全 evict 掉,命中率断崖;改成按优先级 + TTL 的混合策略后,热点前缀保留住了,TTFT 明显下降。
四、别忘了看 batch 策略。连续批处理(continuous batching)下请求进进出出,KV 块分配释放频繁,碎片会累积。定期看一下碎片率指标,超过阈值就重启 worker,比等 OOM 强。
你的推理服务 KV Cache 是怎么配的?块大小和逐出策略选了什么?
一、先算 KV Cache 的账。显存占用 ≈ 层数 × 2 × batch × seq_len × hidden_dim × 字节数,长上下文 + 大并发时这个数涨得非常快。我的第一步是按实际流量算出理论上限,再看实测值差多少,差得多说明有泄漏或碎片。
二、块大小(block size)是关键取舍。vLLM 的 PagedAttention 里块越小碎片越少,但管理开销越大;块越大管理简单,但长短请求混跑时碎片严重。我的实测是 16 token 的块在混合负载下综合表现最好,32 则更适合长上下文为主的场景。
三、逐出策略要配对。LRU 在突发流量下会把刚算好的前缀缓存全 evict 掉,命中率断崖;改成按优先级 + TTL 的混合策略后,热点前缀保留住了,TTFT 明显下降。
四、别忘了看 batch 策略。连续批处理(continuous batching)下请求进进出出,KV 块分配释放频繁,碎片会累积。定期看一下碎片率指标,超过阈值就重启 worker,比等 OOM 强。
你的推理服务 KV Cache 是怎么配的?块大小和逐出策略选了什么?

