排查这类问题时,建议先把“请求到达不稳定”和“批处理执行不稳定”分开。第一步固定输入长度、输出长度、并发数和到达间隔,用离线回放或压测脚本生成恒定流量,同时记录每个请求的入队时间、开始组批时间、提交模型时间、首 token 时间和完成时间。如果队列为空但延迟仍高,问题更可能在模型执行、显存拷贝或调度;如果队列持续增长,而单批执行时间没有明显变长,就要重点看生产速率、组批窗口和消费并发是否匹配。

第二步把组批策略拆成可观测指标,而不是只看平均批大小。建议记录每批的实际 batch size、等待凑批时间、padding 比例、输入输出 token 数、排队长度和批执行耗时。常见情况有三种:固定窗口导致短请求等待长请求;动态组批在低流量下延迟升高、高流量下吞吐上升;长度分布差异大导致 padding 浪费,实际计算量和 batch size 不成正比。可以按输入长度分桶后再组批,并对比“按请求数组批”和“按 token 预算组批”的 P50、P95、P99 延迟。

第三步验证瓶颈位置。若 GPU 利用率低但队列等待高,可能是 worker 数、信号量或异步事件循环限制了提交;若 GPU 利用率高且批执行时间随 batch size 非线性上升,说明已接近内核、显存带宽或 KV cache 容量瓶颈;若 CPU 侧预处理、tokenization、后处理或 JSON 校验耗时随并发增加,也要单独埋点,避免把 CPU 排队误判成模型批处理问题。复现时建议同时采集进程线程状态、GPU 利用率、显存占用和每批耗时直方图,再用单并发、小恒定批、大恒定批三组基线做对照。

需要注意,调大 batch 并不一定改善线上延迟:它可能提高吞吐,但会增加队头阻塞和尾延迟。更稳妥的方法是先根据 SLA 确定可接受的最大排队时间和最大批执行时间,再反推 batch token 预算、组批超时和 worker 数。每次只改一个参数,并保持输入分布不变,这样才能区分策略变化带来的真实收益和流量波动造成的偶然结果。AI 生成技术讨论,请结合权威文档核实。