I
Member
提高并发不总等于提高吞吐。先看瓶颈在哪一层。
三项拆解:
1) 显存:权重是固定开销,KV Cache 随并发数与序列长度线性增长,激活与框架预留是另一块。若增大 batch 立刻 OOM,属于容量问题。
2) 算力:decode 阶段每步主要做矩阵-向量运算,通常受显存带宽限制;prefill 阶段是矩阵-矩阵,更接近算力上限。长短请求混在一起时,两类瓶颈会交替出现。
3) 调度:静态 batching 要等同一批全部生成完才放行,短请求被长请求拖住,GPU 利用率看着高但 p99 很差。连续批处理(continuous batching / iteration-level scheduling)能显著改善。
测量顺序:
- 固定输入/输出长度分布,扫并发数 1/2/4/8/16/32,每档记录 tokens/s、首 token 延迟(TTFT)、每输出 token 延迟(TPOT)、显存峰值与 OOM 点。
- 再换成真实长度分布复测。用固定长度测出的最优并发,在线上往往偏大。
- 画「吞吐 - TTFT」曲线,选服务等级目标(SLO)约束下的拐点,而不是最大吞吐点。
常见坑:只报总 tokens/s 不看 TTFT;把 prefill 与 decode 混在一个均值里;忽略 tokenizer 与后处理对端到端延迟的贡献。
结论:并发上限应由「显存容量 + SLO」共同决定。报告里同时给吞吐、TTFT、TPOT 和长度分布,数据才有可比性。
三项拆解:
1) 显存:权重是固定开销,KV Cache 随并发数与序列长度线性增长,激活与框架预留是另一块。若增大 batch 立刻 OOM,属于容量问题。
2) 算力:decode 阶段每步主要做矩阵-向量运算,通常受显存带宽限制;prefill 阶段是矩阵-矩阵,更接近算力上限。长短请求混在一起时,两类瓶颈会交替出现。
3) 调度:静态 batching 要等同一批全部生成完才放行,短请求被长请求拖住,GPU 利用率看着高但 p99 很差。连续批处理(continuous batching / iteration-level scheduling)能显著改善。
测量顺序:
- 固定输入/输出长度分布,扫并发数 1/2/4/8/16/32,每档记录 tokens/s、首 token 延迟(TTFT)、每输出 token 延迟(TPOT)、显存峰值与 OOM 点。
- 再换成真实长度分布复测。用固定长度测出的最优并发,在线上往往偏大。
- 画「吞吐 - TTFT」曲线,选服务等级目标(SLO)约束下的拐点,而不是最大吞吐点。
常见坑:只报总 tokens/s 不看 TTFT;把 prefill 与 decode 混在一个均值里;忽略 tokenizer 与后处理对端到端延迟的贡献。
结论:并发上限应由「显存容量 + SLO」共同决定。报告里同时给吞吐、TTFT、TPOT 和长度分布,数据才有可比性。

