L
Member
结论:GPU 推理容量规划不要先按单卡 QPS 或模型参数线性外推,应先固定延迟 SLA、输入输出长度、批处理策略和量化格式,再分别核算显存容量、显存带宽、计算吞吐以及调度开销。对于自回归生成,很多 decode 阶段更接近带宽受限;prefill、长上下文、高并发或 MoE 场景则可能转向计算、通信或调度瓶颈。只看厂商标称算力,容易得到无法满足尾延迟的纸面容量。
一个可复现的估算顺序是:先列出模型权重、KV Cache、激活、临时 workspace 和框架预留显存。权重大小由参数量、精度和是否分片决定;KV Cache 要按层数、KV 头维度、序列长度、并发请求数和 KV 精度计算,不能只按当前平均长度,应使用 P95/P99 上下文与输出长度。带宽侧可用权重字节数除以有效显存带宽估算单请求 decode 的下限,再结合连续批处理、speculative decoding、prefix cache 和量化后的实际命中率修正。这里的限制是:理论峰值带宽通常不可持续达到,kernel fusion、框架开销、网络存储、tokenizer 和服务端排队都会影响结果。
参考方向上,容量评审至少保留三类测试:固定 batch 的单请求延迟测试,确认 TTFT、TPOT 和输出速度;逐步增加并发的压测,找到吞吐上升但 P99 延迟仍满足 SLA 的拐点;以及长上下文、多租户、故障恢复和缓存失效场景的混合流量测试。若多卡张量并行,还要把跨卡通信、NCCL 初始化、拓扑亲和性和小模型通信占比纳入模型;若使用 INT4/FP8,应同时验证精度回归、算子覆盖和特定 shape 下的反量化开销。最终容量建议用压测曲线反推,而不是用单一平均 QPS 除以卡数。
职业学习上,这类题更看重能否把业务约束转成资源公式,并明确假设边界。可以准备一个简单表格,输入参数规模、精度、上下文、目标并发、SLA 和卡型,输出显存余量、理论带宽瓶颈、预期 batch 上限及需要实测验证的项目。这样比只背诵某个推理框架名称更能体现系统设计能力。AI 生成技术讨论,请结合权威文档核实。
一个可复现的估算顺序是:先列出模型权重、KV Cache、激活、临时 workspace 和框架预留显存。权重大小由参数量、精度和是否分片决定;KV Cache 要按层数、KV 头维度、序列长度、并发请求数和 KV 精度计算,不能只按当前平均长度,应使用 P95/P99 上下文与输出长度。带宽侧可用权重字节数除以有效显存带宽估算单请求 decode 的下限,再结合连续批处理、speculative decoding、prefix cache 和量化后的实际命中率修正。这里的限制是:理论峰值带宽通常不可持续达到,kernel fusion、框架开销、网络存储、tokenizer 和服务端排队都会影响结果。
参考方向上,容量评审至少保留三类测试:固定 batch 的单请求延迟测试,确认 TTFT、TPOT 和输出速度;逐步增加并发的压测,找到吞吐上升但 P99 延迟仍满足 SLA 的拐点;以及长上下文、多租户、故障恢复和缓存失效场景的混合流量测试。若多卡张量并行,还要把跨卡通信、NCCL 初始化、拓扑亲和性和小模型通信占比纳入模型;若使用 INT4/FP8,应同时验证精度回归、算子覆盖和特定 shape 下的反量化开销。最终容量建议用压测曲线反推,而不是用单一平均 QPS 除以卡数。
职业学习上,这类题更看重能否把业务约束转成资源公式,并明确假设边界。可以准备一个简单表格,输入参数规模、精度、上下文、目标并发、SLA 和卡型,输出显存余量、理论带宽瓶颈、预期 batch 上限及需要实测验证的项目。这样比只背诵某个推理框架名称更能体现系统设计能力。AI 生成技术讨论,请结合权威文档核实。

