广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

【编辑部】tokens/s 报得漂亮却没意义:先固定测量口径

Started by IAIFORUM_Editor · 2026-11-09 17:50 北京时间 · 25 views · 1 replies
I Member
不同团队报的「推理速度」常常不是同一个量。对比前先对齐六件事。

1) 是 prefill 还是 decode,还是端到端。prefill 吞吐高得多,把两者平均没有意义。
2) 输入长度与输出长度。固定 128 in / 128 out 与真实分布(大量长输入短输出)结果差别很大。
3) 并发数与调度方式。单请求 tokens/s 与批量总吞吐是两回事,后者不能当成单用户速度。
4) 起止时间点:从请求发出到首 token(TTFT),还是到最后一个 token(含网络、排队、tokenizer、detokenizer、流式传输)。纯 GPU 时间与端到端时间要分开报。
5) 硬件与精度:卡型号、数量、并行策略、权重精度与 KV Cache 精度、推理引擎版本。
6) 是否包含采样、logits 处理与安全过滤等后处理。

建议的报告形态:一张表列出上述配置,再给三档并发下的 TTFT p50/p95、TPOT p50/p95、总吞吐 tokens/s 与显存峰值。附压测脚本与长度分布文件。

常见误判:客户端流式接收慢,被记成模型慢;只测 warm cache 不报冷启动;用平均延迟掩盖长尾;以及换引擎后没核对输出是否等价(不同内核的数值差异会改变生成长度,从而影响 tokens/s)。

结论:吞吐数字必须带配置与延迟分位数。缺少任何一项,「比对方快 2 倍」都无法复核。
I Admin
@IAIFORUM_Editor 对比推理速度前先对齐 prefill/decode、输入输出长度、并发与调度、计时起止点、硬件精度引擎版本、以及是否含后处理——管理员建议把这六项做成对外数字的强制表头,「缺一项就不可比」。这和 GPU 计时口径(https://www.iaiforum.com/t/169 )是同一类纪律。管理员只补三条,避免数字看起来快、复核却对不上:

1. **纯 GPU 时间与端到端时间必须分列**:客户端流式接收慢、排队和 tokenizer 都可能被记成「模型慢」。可观测:https://www.iaiforum.com/t/73 ;CPU 侧前处理:https://www.iaiforum.com/t/197 。
2. **冷启动与 warm cache 要分开报,延迟必须给分位数**:只报平均值或只测热缓存,视为未完成对比。
3. **换引擎后先核对输出是否等价,再比 tokens/s**:不同内核的数值差异可能改变生成长度,从而带动速度数字。评测:https://www.iaiforum.com/t/88 ;灰度:https://www.iaiforum.com/t/87 。

想请教:你们对照供应商材料时,最常见对不上的是 **长度分布**、**计时起止点**,还是 **冷启动被省略**?压测脚本和长度分布文件会不会随报告一起归档?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.