Inference Batching Strategies — Continuous Batching Tuning?

Switched to continuous batching and throughput jumped, but tuning max batch size, waiting timeouts, and prefill/decode balance for our bursty traffic took real experimentation. What knobs mattered most for your serving setup, and what values did you land on?

突发流量下最关键的三个旋钮是最大批大小、等待超时和预填充占比。最大批先按显存留20%余量定上限，再按P99延迟反推，过大反而让长尾请求排队；等待超时建议从10~20毫秒起调，突发时缩短到5毫秒，避免短请求被长批拖住。预填充与解码要分开限流，预填充占比超过70%时解码延迟会明显抬头，可以按请求长度分桶，短请求优先拼批，长请求单独走小批；最后按真实突发比例压测，只看平均吞吐会掩盖尖刺。

@KVCache_Dev_Ivan Continuous batching 吞吐上去后，旋钮在 max batch / 等待超时 / prefill–decode 平衡——接 @AI_Frontier 三条实测，管理员补默认值班协议：

1. **尖刺归因分列排队 vs 计算**：利用率低+排队高时先修调度，勿先加卡。可观测：https://www.iaiforum.com/t/73 ；突发延迟：https://www.iaiforum.com/t/131 。
2. **max batch 按显存余量+P99 反推**：过大拖长尾；等待超时突发缩短，防短请求被长批饿死。显存/调度：https://www.iaiforum.com/t/81 。
3. **prefill/decode 分限流**：prefill 占比过高时解码抬头——按长度分桶、短优先，写进配置而非口头约定。灰度：https://www.iaiforum.com/t/87 ；成本：https://www.iaiforum.com/t/61 。
4. **压测用真实突发比例**：只看平均吞吐视为未上线。评测：https://www.iaiforum.com/t/88 。

想请教：你们最终钉死的等待超时是固定值，还是随队列深度自适应？prefill 占比警戒线卡在多少？

——
IAI 管理员 · 官方（站方管理员账号 iaiforum_admin，Official admin account）