I
Member
一个 8B 模型的推理服务,单张 24 GB 卡,平时并发 20 左右,p99 1.2 s,看着很健康。产品那边把并发上限调到 40,结果 p99 直接到 9 s,日志里 preemption 次数暴涨。这篇把显存和并发的账算清楚,参数怎么设也写下来。
一、先算三笔显存
- 权重:8B 参数 FP16,约 16 GB。这是固定的,跑不掉。
- KV cache:这是变量,按 token 算。以 GQA 的 8B 模型为例,32 层、8 个 KV head、每头 128 维、FP16,每 token 约 128 kB。
- 激活与临时缓冲:prefill 阶段的中间激活跟 batch token 数强相关,长 prompt 时会吃掉 1–2 GB。
- 24 GB 卡,权重占 16 GB,剩 8 GB 给 KV 和激活。按 0.9 的显存利用率算,实际可用约 7.2 GB,KV 能放 56,000 个 token 左右。
二、并发的真实上限不是"几个请求",是"多少 token"
- 每个请求平均 1,024 token(含 prompt 和输出),32 个并发就是 32,768 token,占 KV 空间 58%。
- 40 个并发就是 40,960 token,占 73%。看着还有余量,但请求长度不是均匀的:有几个 4,000 token 的长请求插进来,KV 瞬间打满。
- 打满之后 vLLM 会触发 preemption,把正在跑的请求换出重算。换出重算的代价是重新 prefill,一个 4,000 token 的请求重新 prefill 要 300 ms 以上,p99 就被这些重算拉长了。
- 所以调并发之前,先统计线上请求的长度分布。我们统计下来 p95 长度是 2,600 token,比平均值高一倍多,这就是被低估的部分。
三、参数怎么设
1. `gpu_memory_utilization` 不要给 0.95,给 0.85。留 1 GB 左右的余量给激活峰值,OOM 的概率会明显下降。
2. `max_model_len` 按业务实际上限设,比如 8,192。设成模型支持的最大长度会让调度器以为每个请求都可能很长,反而降低并发利用率。
3. 开 `enable_prefix_caching`:系统提示和少样本示例被大量复用,命中率 60% 时 TTFT 降 40% 左右。
4. 开 chunked prefill,把 `max_num_batched_tokens` 设成 2048 左右。长 prompt 被切块,不会一次性把整个 batch 卡住,preemption 次数能降一半。
5. `max_num_seqs` 按 token 预算反推,别按"我希望能接多少请求"拍脑袋。按上面算的 7.2 GB / 128 kB ≈ 56,000 token,留 20% 余量,实际预算 45,000 token;平均 1,024 token 的话,并发上限 44,但考虑 p95 长度,实际设 32 更稳。
四、两个反例
- 反例一:把 `gpu_memory_utilization` 调到 0.98 换取更高并发。短期看并发生效了,但 prefill 的激活峰值一冲就 OOM,服务直接重启,可用性比并发更重要。
- 反例二:只限制并发数,不限单请求长度。一个 16,000 token 的请求进来,一个人就能吃掉三分之一的 KV 空间,其他请求全部排队。必须在网关层限制单请求长度,不能只靠推理框架。
五、验收
1. 用生产的长度分布压测,不要用固定长度。固定长度压测出来的 p99 没有意义。
2. 观察 preemption 次数,超过总请求数的 2% 就说明 KV 预算不够。
3. 观察 GPU cache usage,稳定在 0.85–0.9 之间是健康的,长期 0.95 以上迟早出事。
4. 长请求单独做一档压测,验证 chunked prefill 是否真的降低了长尾。
想讨论一个具体问题:你们的并发上限是按平均长度算的还是按 p95 长度算的?我这边按 p95 重算之后,并发上限从 40 降到 32,p99 从 9 s 回到 1.3 s,但吞吐掉了 18%,正在找折中。
一、先算三笔显存
- 权重:8B 参数 FP16,约 16 GB。这是固定的,跑不掉。
- KV cache:这是变量,按 token 算。以 GQA 的 8B 模型为例,32 层、8 个 KV head、每头 128 维、FP16,每 token 约 128 kB。
- 激活与临时缓冲:prefill 阶段的中间激活跟 batch token 数强相关,长 prompt 时会吃掉 1–2 GB。
- 24 GB 卡,权重占 16 GB,剩 8 GB 给 KV 和激活。按 0.9 的显存利用率算,实际可用约 7.2 GB,KV 能放 56,000 个 token 左右。
二、并发的真实上限不是"几个请求",是"多少 token"
- 每个请求平均 1,024 token(含 prompt 和输出),32 个并发就是 32,768 token,占 KV 空间 58%。
- 40 个并发就是 40,960 token,占 73%。看着还有余量,但请求长度不是均匀的:有几个 4,000 token 的长请求插进来,KV 瞬间打满。
- 打满之后 vLLM 会触发 preemption,把正在跑的请求换出重算。换出重算的代价是重新 prefill,一个 4,000 token 的请求重新 prefill 要 300 ms 以上,p99 就被这些重算拉长了。
- 所以调并发之前,先统计线上请求的长度分布。我们统计下来 p95 长度是 2,600 token,比平均值高一倍多,这就是被低估的部分。
三、参数怎么设
1. `gpu_memory_utilization` 不要给 0.95,给 0.85。留 1 GB 左右的余量给激活峰值,OOM 的概率会明显下降。
2. `max_model_len` 按业务实际上限设,比如 8,192。设成模型支持的最大长度会让调度器以为每个请求都可能很长,反而降低并发利用率。
3. 开 `enable_prefix_caching`:系统提示和少样本示例被大量复用,命中率 60% 时 TTFT 降 40% 左右。
4. 开 chunked prefill,把 `max_num_batched_tokens` 设成 2048 左右。长 prompt 被切块,不会一次性把整个 batch 卡住,preemption 次数能降一半。
5. `max_num_seqs` 按 token 预算反推,别按"我希望能接多少请求"拍脑袋。按上面算的 7.2 GB / 128 kB ≈ 56,000 token,留 20% 余量,实际预算 45,000 token;平均 1,024 token 的话,并发上限 44,但考虑 p95 长度,实际设 32 更稳。
四、两个反例
- 反例一:把 `gpu_memory_utilization` 调到 0.98 换取更高并发。短期看并发生效了,但 prefill 的激活峰值一冲就 OOM,服务直接重启,可用性比并发更重要。
- 反例二:只限制并发数,不限单请求长度。一个 16,000 token 的请求进来,一个人就能吃掉三分之一的 KV 空间,其他请求全部排队。必须在网关层限制单请求长度,不能只靠推理框架。
五、验收
1. 用生产的长度分布压测,不要用固定长度。固定长度压测出来的 p99 没有意义。
2. 观察 preemption 次数,超过总请求数的 2% 就说明 KV 预算不够。
3. 观察 GPU cache usage,稳定在 0.85–0.9 之间是健康的,长期 0.95 以上迟早出事。
4. 长请求单独做一档压测,验证 chunked prefill 是否真的降低了长尾。
想讨论一个具体问题:你们的并发上限是按平均长度算的还是按 p95 长度算的?我这边按 p95 重算之后,并发上限从 40 降到 32,p99 从 9 s 回到 1.3 s,但吞吐掉了 18%,正在找折中。

