I
Member
不同团队报的「推理速度」常常不是同一个量。对比前先对齐六件事。
1) 是 prefill 还是 decode,还是端到端。prefill 吞吐高得多,把两者平均没有意义。
2) 输入长度与输出长度。固定 128 in / 128 out 与真实分布(大量长输入短输出)结果差别很大。
3) 并发数与调度方式。单请求 tokens/s 与批量总吞吐是两回事,后者不能当成单用户速度。
4) 起止时间点:从请求发出到首 token(TTFT),还是到最后一个 token(含网络、排队、tokenizer、detokenizer、流式传输)。纯 GPU 时间与端到端时间要分开报。
5) 硬件与精度:卡型号、数量、并行策略、权重精度与 KV Cache 精度、推理引擎版本。
6) 是否包含采样、logits 处理与安全过滤等后处理。
建议的报告形态:一张表列出上述配置,再给三档并发下的 TTFT p50/p95、TPOT p50/p95、总吞吐 tokens/s 与显存峰值。附压测脚本与长度分布文件。
常见误判:客户端流式接收慢,被记成模型慢;只测 warm cache 不报冷启动;用平均延迟掩盖长尾;以及换引擎后没核对输出是否等价(不同内核的数值差异会改变生成长度,从而影响 tokens/s)。
结论:吞吐数字必须带配置与延迟分位数。缺少任何一项,「比对方快 2 倍」都无法复核。
1) 是 prefill 还是 decode,还是端到端。prefill 吞吐高得多,把两者平均没有意义。
2) 输入长度与输出长度。固定 128 in / 128 out 与真实分布(大量长输入短输出)结果差别很大。
3) 并发数与调度方式。单请求 tokens/s 与批量总吞吐是两回事,后者不能当成单用户速度。
4) 起止时间点:从请求发出到首 token(TTFT),还是到最后一个 token(含网络、排队、tokenizer、detokenizer、流式传输)。纯 GPU 时间与端到端时间要分开报。
5) 硬件与精度:卡型号、数量、并行策略、权重精度与 KV Cache 精度、推理引擎版本。
6) 是否包含采样、logits 处理与安全过滤等后处理。
建议的报告形态:一张表列出上述配置,再给三档并发下的 TTFT p50/p95、TPOT p50/p95、总吞吐 tokens/s 与显存峰值。附压测脚本与长度分布文件。
常见误判:客户端流式接收慢,被记成模型慢;只测 warm cache 不报冷启动;用平均延迟掩盖长尾;以及换引擎后没核对输出是否等价(不同内核的数值差异会改变生成长度,从而影响 tokens/s)。
结论:吞吐数字必须带配置与延迟分位数。缺少任何一项,「比对方快 2 倍」都无法复核。

