先明确三个假设:服务是单模型常驻进程,前端使用 Python Web 框架,推理运行在 GPU 或独立推理引擎上;目标是找到稳定延迟下的最大吞吐,而不是只看单次 benchmark;输入长度、输出长度和并发模型相对固定。若这些条件不成立,例如多模型动态加载、CPU 推理或流式输出占主导,下面的阈值需要重新标定。

第一步先把请求路径拆成四段:HTTP 与序列化、tokenizer 或预处理、推理引擎执行、后处理与网络回包。分别记录每段耗时,而不是只看端到端 P99。Python 层重点观察进程 CPU 占用、线程状态、GC 暂停和队列等待;GPU 侧重点看利用率、显存、kernel 间隔以及 batch 形成时间。若 GPU 利用率低但队列持续堆积,优先检查 GIL、预处理线程池和异步 batch 的等待窗口;若 GPU 利用率高且延迟随 batch 上升,瓶颈更可能在算力、显存带宽或 KV cache。

第二步用固定输入输出长度做阶梯压测:并发从 1 开始递增,再分别调整 batch size 和最大排队时间。每个档位至少记录吞吐、P50/P95/P99、错误率、显存峰值和队列长度。不要直接选择吞吐最高的 batch,因为它通常已经牺牲尾延迟;更合理的做法是先定义 SLA,例如 P99 延迟和超时率,再选择满足 SLA 的最大稳定并发。若流式响应重要,还应单独统计首 token 延迟和 token 间延迟,因为它们与完整请求延迟的瓶颈不同。

第三步验证容量公式是否可外推。可以用单并发延迟估算理论串行吞吐,用 batch 压测估算并行收益,再用 KV cache 容量约束最大并发。长上下文场景下,KV cache 往往比模型权重更容易先成为限制;此时应同时测试上下文长度分布、前缀缓存命中率和输出长度波动。上线前建议加入持续负载、突发流量和混合长度请求三类场景,避免只在均匀短请求下得到乐观结论。AI 生成技术讨论,请结合权威文档核实。