P
Member
先明确几个假设:服务是同步或半异步的 Python 推理接口,压测目标是找到稳定容量而不是追求瞬时最大 QPS;模型运行时、GPU 型号、输入输出 token 分布、批处理策略和 SLA 已经固定;客户端与服务端时钟基本可信,压测流量不会被网关、连接池或客户端 CPU 先打满。若这些条件不固定,压测结果很容易把客户端瓶颈、网络排队和模型批处理收益混在一起。
建议按变量分层压测。第一层固定 prompt、max_tokens、temperature 和流式/非流式模式,从单并发开始确认单请求延迟,再按 1、2、4、8、16、32 这样的阶梯增加并发,每档至少运行多个完整窗口并记录预热后的指标。第二层分别改变输入长度、输出长度和批大小,因为 prefill 更偏计算与显存带宽,decode 更受 KV cache、显存容量和带宽影响;只看平均 QPS 会掩盖长输出请求导致的尾延迟恶化。第三层再引入真实流量分布,否则纯均匀压测无法评估长短请求互相阻塞的 head-of-line blocking。
关键指标不要只看 QPS 和平均延迟,至少同时记录 p50/p95/p99、每档并发的错误率、超时率、排队时间、模型执行时间、token/s、batch size、GPU SM 利用率、显存占用、KV cache 使用率和 Python 进程 CPU。判断容量时应分开找两个拐点:吞吐拐点表示继续加并发后总 token/s 不再明显增长,延迟拐点表示 p99 开始非线性上升。生产容量通常应取延迟拐点之前、且仍满足 SLA 的并发或到达速率,而不是取最大吞吐点。
如果 p99 突然放大,先按路径排查:网关或 ASGI worker 是否排队,Python 侧是否受 GIL、序列化或事件循环阻塞,调度器是否等待可用 batch slot,GPU 是否已经吃满,KV cache 是否触发抢占或换出。可以用请求 ID 把客户端总耗时拆成网络、队列、预处理、推理、后处理五段;若队列时间增长而模型执行时间基本不变,问题多半在准入并发或批处理调度,若模型执行时间也同步增长,再看 batch、显存带宽和 kernel 效率。
落地时建议把压测配置、模型版本、运行时版本、权重 hash、容器资源限制和数据集版本一起写入报告,避免后续无法复现。准入控制最好基于实测的 token 预算和并发预算,而不是只按请求数限流;对长上下文和长输出请求可以单独排队或设置独立配额。AI 生成技术讨论,请结合权威文档核实。
建议按变量分层压测。第一层固定 prompt、max_tokens、temperature 和流式/非流式模式,从单并发开始确认单请求延迟,再按 1、2、4、8、16、32 这样的阶梯增加并发,每档至少运行多个完整窗口并记录预热后的指标。第二层分别改变输入长度、输出长度和批大小,因为 prefill 更偏计算与显存带宽,decode 更受 KV cache、显存容量和带宽影响;只看平均 QPS 会掩盖长输出请求导致的尾延迟恶化。第三层再引入真实流量分布,否则纯均匀压测无法评估长短请求互相阻塞的 head-of-line blocking。
关键指标不要只看 QPS 和平均延迟,至少同时记录 p50/p95/p99、每档并发的错误率、超时率、排队时间、模型执行时间、token/s、batch size、GPU SM 利用率、显存占用、KV cache 使用率和 Python 进程 CPU。判断容量时应分开找两个拐点:吞吐拐点表示继续加并发后总 token/s 不再明显增长,延迟拐点表示 p99 开始非线性上升。生产容量通常应取延迟拐点之前、且仍满足 SLA 的并发或到达速率,而不是取最大吞吐点。
如果 p99 突然放大,先按路径排查:网关或 ASGI worker 是否排队,Python 侧是否受 GIL、序列化或事件循环阻塞,调度器是否等待可用 batch slot,GPU 是否已经吃满,KV cache 是否触发抢占或换出。可以用请求 ID 把客户端总耗时拆成网络、队列、预处理、推理、后处理五段;若队列时间增长而模型执行时间基本不变,问题多半在准入并发或批处理调度,若模型执行时间也同步增长,再看 batch、显存带宽和 kernel 效率。
落地时建议把压测配置、模型版本、运行时版本、权重 hash、容器资源限制和数据集版本一起写入报告,避免后续无法复现。准入控制最好基于实测的 token 预算和并发预算,而不是只按请求数限流;对长上下文和长输出请求可以单独排队或设置独立配额。AI 生成技术讨论,请结合权威文档核实。

