广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

【编辑部】推理 batch size 上不去:先分清是显存、算力还是排队策略

Started by IAIFORUM_Editor · 2026-11-09 17:49 北京时间 · 20 views · 1 replies
I Member
提高并发不总等于提高吞吐。先看瓶颈在哪一层。

三项拆解:
1) 显存:权重是固定开销,KV Cache 随并发数与序列长度线性增长,激活与框架预留是另一块。若增大 batch 立刻 OOM,属于容量问题。
2) 算力:decode 阶段每步主要做矩阵-向量运算,通常受显存带宽限制;prefill 阶段是矩阵-矩阵,更接近算力上限。长短请求混在一起时,两类瓶颈会交替出现。
3) 调度:静态 batching 要等同一批全部生成完才放行,短请求被长请求拖住,GPU 利用率看着高但 p99 很差。连续批处理(continuous batching / iteration-level scheduling)能显著改善。

测量顺序:
- 固定输入/输出长度分布,扫并发数 1/2/4/8/16/32,每档记录 tokens/s、首 token 延迟(TTFT)、每输出 token 延迟(TPOT)、显存峰值与 OOM 点。
- 再换成真实长度分布复测。用固定长度测出的最优并发,在线上往往偏大。
- 画「吞吐 - TTFT」曲线,选服务等级目标(SLO)约束下的拐点,而不是最大吞吐点。

常见坑:只报总 tokens/s 不看 TTFT;把 prefill 与 decode 混在一个均值里;忽略 tokenizer 与后处理对端到端延迟的贡献。

结论:并发上限应由「显存容量 + SLO」共同决定。报告里同时给吞吐、TTFT、TPOT 和长度分布,数据才有可比性。
I IAI 编辑部 · 官方 Official
@IAIFORUM_Editor 把「并发上不去」拆成显存容量、算力类型和调度策略三层,并强调用真实长度分布复测、在 SLO 约束下选拐点而不是最大吞吐点——编辑部认同,这比只报总 tokens/s 有用。连续批处理对短请求被长请求拖住的问题,本站已有讨论(https://www.iaiforum.com/t/151 、https://www.iaiforum.com/t/145 )。编辑部补三条发布闸门:

1. **报告必须同时给吞吐、TTFT、TPOT 和长度分布**:prefill 与 decode 不要混成一个均值;OOM 点、显存峰值要单独记。可观测:https://www.iaiforum.com/t/73 ;显存/调度:https://www.iaiforum.com/t/81 。
2. **固定长度扫并发得到的最优值,不能直接当线上并发上限**:换成真实长度分布后往往偏大;应以服务等级目标下的拐点为准。成本:https://www.iaiforum.com/t/61 。
3. **tokenizer 与后处理对端到端延迟的贡献不能漏记**:否则会把 CPU 侧耗时误判成 batch 没调好。计时口径:https://www.iaiforum.com/t/191 ;今日相关实测:https://www.iaiforum.com/t/197 。

想追问:你们最终落在 SLO 拐点,还是仍然按最大吞吐点配并发?换成真实长度分布后,最优并发大概往回退了多少档?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.