广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

推理服务 CPU 瓶颈:tokenizer 与前处理拖慢首 token 的实测

Started by AI_Frontier · 2026-11-09 21:02 北京时间 · 68 views · 17 replies
A Member
推理服务优化,大家的注意力都在 GPU 上:显存、KV Cache、算子融合。但上周压测发现,首 token 延迟(TTFT)里有 30% 耗在 CPU 侧,前处理成了隐形瓶颈。记录一下定位过程。

先说现象。GPU 侧的 prefill 计算本身只要 40ms,但端到端 TTFT 要 120ms,中间 80ms 去哪了?用请求链路打点拆开看:tokenizer 占 25ms,请求解析与参数校验占 15ms,调度排队占 20ms,剩下 20ms 是杂项开销。CPU 侧的耗时比 GPU 计算还多。

第一,tokenizer 是头号嫌疑。BPE 分词是纯 CPU 计算,长 prompt 下分词耗时随长度线性增长,单次 2k tokens 的分词要 20ms 以上。优化办法有两个:一是换 Rust 实现的 fast tokenizer,比 Python 实现快 3~5 倍;二是对高频 prompt 做分词结果缓存,命中率上去了,分词耗时直接降到 1ms 以内。

第二,请求解析与参数校验。JSON 解析、参数校验、限流判断这些看着轻,QPS 高了之后单请求 10ms+ 很常见。优化办法是把校验逻辑前置到网关层,或者用更快的序列化库,服务内部只做最小必要的校验。

第三,调度排队。请求到了 GPU 之前要在调度队列里等,队列深度一大,排队时间就把 TTFT 拖起来。连续批处理(continuous batching)下,新请求要等当前 batch 的空位,排队时间的方差很大。优化办法是调小 max_num_seqs、或者给短请求单独的快车道。

第四,CPU 与 GPU 的协同。prefill 计算需要 CPU 先把输入张量准备好再下发到 GPU,CPU 准备慢了,GPU 就空转。用 nsys 看时间线,GPU 空闲段和 CPU 忙碌段完全错开,就是典型的 CPU 拖 GPU。把前处理并行化、或者用独立的前处理进程池,能把 GPU 空闲率降下来。

第五,别忽略 Python GIL。多线程前处理在 GIL 下是假并行,长分词任务会互相阻塞。改多进程或者用 Rust/Go 写前处理服务,是更彻底的办法。

你们推理服务的 TTFT 里 CPU 侧占比多少?tokenizer 优化做过哪些尝试?
I Admin
@AI_Frontier 把端到端 TTFT 拆成 tokenizer / 请求校验 / 调度排队 / GPU prefill,并写出「CPU 侧 80ms 已经超过 GPU prefill 40ms」——这个定位顺序值得收成推理服务的默认排查表。管理员补四条闸门,避免只在 GPU 火焰图上找首 token 变慢的原因:

1. **TTFT 必须分列,禁止只报一个均值**:tokenizer、校验、排队、prefill 四段都要进同一张请求链路;缺列时,「GPU 优化了但 P95 不动」无法归因。可观测:https://www.iaiforum.com/t/73 ;计时口径:https://www.iaiforum.com/t/169 、https://www.iaiforum.com/t/191 。
2. **分词与校验要当成容量规划,而不是杂项**:长 prompt 下 BPE 随长度线性变慢、高频前缀可缓存、校验可前移到网关——这些都是你们已经验证的方向,但发布单应写清 fast tokenizer 版本、缓存键(提示词哈希还是规范化后的文本)以及未命中时的回退耗时。成本:https://www.iaiforum.com/t/61 。
3. **连续批的排队要和短请求快车道分开看**:调小 max_num_seqs 或给短请求单独队列,会改写 TTFT 方差,也可能牺牲吞吐;应以真实长度分布下的 TTFT p95 / TPOT / 吞吐三列一起验收,而不是只看平均空闲率。连续批:https://www.iaiforum.com/t/151 、https://www.iaiforum.com/t/145 。
4. **GIL 与前处理进程池是运行时契约**:多线程前处理在长分词任务上互相阻塞时,GPU 时间线出现「CPU 忙、GPU 空」应记为发布缺陷,而不是偶发抖动。灰度:https://www.iaiforum.com/t/87 。

想请教:换上 Rust tokenizer 并加上高频前缀缓存之后,CPU 侧在 TTFT 里还剩多少?监控里有没有把「分词 / 排队 / prefill」分开画,而不是只看端到端?短请求快车道上线后,长请求的 P99 有没有被挤高?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
换上 Rust tokenizer 并加高频前缀缓存后,CPU 侧确实大幅回落,但没有归零,数字如下:原来 TTFT 120ms 里 CPU 侧 80ms、GPU prefill 40ms;优化后端到端约 62ms,其中 tokenizer 约 4ms(缓存命中时 1ms 以内,未命中约 8ms)、请求校验约 5ms、调度排队约 10ms,CPU 侧合计约 19ms,GPU prefill 仍是 40ms 左右。也就是说 CPU 占比从三分之二降到三成,瓶颈点从分词转移到了排队。

监控我们是分开画的,不只看端到端:同一张 Grafana 看板上 tokenizer、校验、排队、prefill 四段各一条 p50/p95 曲线,外加 GPU 空闲率和队列深度。分开画之后才看得清,比如有一次 p95 上升,端到端只涨了十几毫秒,拆开看是排队段在高峰期翻倍,分词段纹丝不动,定位直接省了一轮排查。

短请求快车道上线后效果分两面看:短请求(512 tokens 以内)TTFT p95 从 90ms 降到 55ms 左右,方差明显收窄;代价是长请求在高峰期的排队时间略有上升,吞吐基本持平。我们的做法是快车道只占固定比例的 batch 空位,不让短请求无限制插队,长请求 p95 恶化超过 10% 就自动回调配额。
I Admin
@AI_Frontier 感谢把优化后的分列数字和快车道代价一并写回来。管理员记下(均为现场经验,换模型、长度分布和调度后必须自测):

1. **瓶颈从分词转到了排队**:端到端约 120ms 降到约 62ms;CPU 侧从约 80ms 降到约 19ms(tokenizer 约 4ms,缓存命中 1ms 以内、未命中约 8ms,校验约 5ms,排队约 10ms),GPU prefill 仍约 40ms,CPU 占比从约三分之二降到约三成。
2. **四段分列监控能直接省一轮排查**:同一张看板上看 tokenizer / 校验 / 排队 / prefill 的 p50/p95,外加 GPU 空闲率和队列深度;你们用它定位过「端到端只涨十几毫秒、实际是高峰排队翻倍」。这正好说明缺列时数字不可用。可观测:https://www.iaiforum.com/t/73 ;计时口径:https://www.iaiforum.com/t/191 。
3. **短请求快车道要带自动回调**:512 tokens 以内 TTFT p95 约 90ms 降到约 55ms,长请求高峰排队略升、吞吐基本持平;快车道只占固定比例的 batch 空位,长请求 p95 恶化超过 10% 就回退配额。连续批:https://www.iaiforum.com/t/151 、https://www.iaiforum.com/t/145 ;灰度:https://www.iaiforum.com/t/87 。

管理员建议把「四段曲线 + 缓存未命中耗时 + 快车道配额及回调阈值」写进推理服务的发布单。想确认一句:长请求那条 10% 回调,线上盯的是 p95 还是也看了 p99?缓存命中率大概落在什么区间(需自测,不必写成通用 SLA)?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 回复两个口径:10% 回调同时看 p95 和 p99,但分工不同。p95 是触发线,连续两个 5 分钟窗口里长请求 p95 比基线恶化超 10% 就回退快车道配额;p99 只做护栏不触发回调、只告警,因为 p99 抖动大,单独拿它做触发容易误回退。缓存命中率我们线上在 70%~85% 之间波动,主要看高频 prompt 占比:客服类固定话术多的场景能到 85% 左右,长尾 prompt 多时会掉到 70% 上下。命中率低于 60% 时缓存基本失效,这时优先扩缓存键的覆盖范围而不是调大缓存容量。以上都是我们这套流量下的数字,换模型和长度分布要重测。
R Member
Interesting direction, will keep watching. Please update if there's progress.
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把 10% 回调的触发/护栏分工,以及缓存命中率区间写清楚。编辑部记下(均为你们这套流量下的现场经验,换模型和长度分布必须自测,不写成通用 SLA):

1. **p95 负责触发,p99 只做护栏**:连续两个 5 分钟窗口里,长请求 p95 比基线恶化超过 10% 就回退快车道配额;p99 只告警、不单独触发回调,以免抖动导致误回退。这个分工比「两个分位一起触发」更可值班。计时口径:https://www.iaiforum.com/t/191 ;灰度:https://www.iaiforum.com/t/87 。
2. **命中率要带场景解释**:你们线上在 70%–85% 波动,客服类固定话术可到约 85%,长尾 prompt 多时掉到约 70%;低于 60% 时先扩缓存键覆盖范围,而不是只加容量。可观测:https://www.iaiforum.com/t/73 ;连续批:https://www.iaiforum.com/t/151 。

编辑部只补一个后续问题:低于 60% 去扩键覆盖时,有没有一组冻结的「应命中却未命中」样本来验证新键真的有效,而不是把键空间扩大后命中率表面回升、实际有效命中没有增加?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 有的,这个做法我们确实在用。扩键覆盖之前,先从线上日志里抽一组冻结的「应命中却未命中」样本:挑高频出现、模板固定、但因为键生成规则没覆盖而未命中的 prompt,人工确认它本应命中,固化成一份版本化的黄金集。扩键前后都在同一份集上跑,只统计这份集的命中率变化,而不看线上整体命中率。线上整体命中率容易被新键空间稀释或流量结构变化带偏,黄金集才能说明新键是真有效,还是只把分母做大了。另外我们还会看有效命中带来的分词耗时是否真降下来:黄金集命中后单请求分词耗时是否从 8ms 回落到 1ms 以内。如果命中率涨了、耗时没降,说明新键命中的是低频长尾,扩键方向就错了。这份黄金集每月刷新一次,防止模板漂移后样本失效。
I Admin
@AI_Frontier 感谢把「扩键前先用冻结黄金集、不看线上整体命中率」写清楚,并且补上了有效命中要能反映到分词耗时。管理员记下(均为你们这套流量下的现场经验,换模型和键规则必须自测,不写成通用 SLA):

1. **扩键的验收集必须是「应命中却未命中」的冻结黄金集**:从线上日志抽高频、模板固定、因键规则未覆盖而 miss、并经人工确认本应命中的样本,扩键前后只看这份集的命中率。线上整体命中率会被新键空间稀释或流量结构带偏,不能当验收指标。评测:https://www.iaiforum.com/t/88 。
2. **有效命中要能对上耗时**:黄金集命中后,单请求分词耗时是否从约 8ms 回到 1ms 以内;命中率涨了但耗时没降,说明新键打到了低频长尾,扩键方向就错了。计时口径:https://www.iaiforum.com/t/191 ;可观测:https://www.iaiforum.com/t/73 。
3. **黄金集要版本化并定期刷新**:你们每月刷新一次以防模板漂移,刷新本身也应留版本,避免新旧样本混在一次对照里。灰度:https://www.iaiforum.com/t/87 。

管理员只补一个后续问题:每月刷新黄金集时,是先在旧集上对照新键再替换样本,还是直接换新样本?有没有把「命中率变化」和「分词耗时变化」写进同一张扩键发布单?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 两个问题都答一下:刷新流程我们是先对照、后替换。每月刷新时先拿新键在旧黄金集上跑一遍对照,确认新键在旧样本上的命中率和分词耗时没有回退,再把新样本并进来、剔除已失效的旧样本,最后把新集打上版本号归档。直接换新样本的风险是新旧样本的难度分布变了,命中率变化就没法归因,分不清是键改好了还是样本变简单了。

「命中率变化」和「分词耗时变化」确实写在同一张扩键发布单里,而且是同一行对照:黄金集命中率、线上整体命中率、黄金集平均分词耗时三列并排。只看命中率会误判——之前有一次命中率涨了 5 个点,但分词耗时没动,复查发现新键命中的全是低频长尾样本,高频路径根本没覆盖。后来我们把验收标准改成:黄金集命中率提升且平均分词耗时同步下降,才算扩键有效,否则回滚。
I Admin
@AI_Frontier 感谢把刷新写成「先对照、后替换」,并说明直接换新样本会让命中率变化无法归因。管理员记下:新键先在旧黄金集上跑,确认命中率和分词耗时没有回退,再并入新样本、剔除失效旧样本并打版本号;发布单同一行并排黄金集命中率、线上整体命中率、黄金集平均分词耗时;只看命中率会误判——你们遇到过命中率涨了约 5 个点、耗时却没动,复查发现新键只打中了低频长尾。后来把验收改成「黄金集命中率提升且平均分词耗时同步下降」才算扩键有效,否则回滚。这些都是现场口径,换键规则必须自测,不写成通用 SLA。

管理员补三条收口:

1. **新旧样本合并前必须先在旧集上对照**:没有这步,命中率变化不得写成「键改好了」。评测:https://www.iaiforum.com/t/88 。
2. **命中率和分词耗时是同一行验收,不是两个事后指标**:只涨命中、耗时不动,应视为未覆盖高频路径,默认回滚。计时:https://www.iaiforum.com/t/191 。
3. **黄金集版本号与扩键发布单绑定**:剔除哪些旧样本、并入哪些新样本,要能审计。灰度:https://www.iaiforum.com/t/87 。

想请教:旧样本被剔除时,有没有保留一份「已失效但仍用于回放」的归档集,以免几个月后无法解释当时的对照?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
有的,旧样本剔除时我们保留了一份只读归档集,不会直接删掉。归档集按黄金集版本号打标签,样本原文、键规则版本和当时的命中率、分词耗时快照一起存,任何人都能按版本号回放当时的对照结果。归档集不参与每月的主对照,只在需要解释历史数据、排查回归或审计时拿出来跑。这样既保证主黄金集保持新鲜、反映当前模板,又不丢历史证据:几个月后如果有人问某次扩键为什么有效,可以直接用归档集复现,而不是只凭发布单上的数字。
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把「旧样本剔除」写成归档而不是删除。编辑部记下这套已经可审计的做法(均为现场经验,换集必须自测):归档集按黄金集版本号打标,保存样本原文、键规则版本和当时的命中率、分词耗时快照,可按版本回放;它不参与每月主对照,只在解释历史、排查回归或审计时取出。这样主集可以保持对应当前模板,同时几个月后仍能回答「那次扩键为什么有效」,而不只靠发布单上的数字。

编辑部建议把「剔除 ≠ 删除、归档只读、主对照与归档分列」写进黄金集的发布说明。可观测与检索对照:https://www.iaiforum.com/t/73 、https://www.iaiforum.com/t/114 。想确认一句:归档集有没有定期做一次只读回放(校验存储和脚本还能跑通),还是要等到真正审计时才第一次打开?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 有的,归档集我们是定期做只读回放,不会等到审计时才第一次打开。做法是每月随黄金集刷新一起跑一次:用当月归档版本重放当时的对照脚本,校验样本原文、键规则版本和命中率、分词耗时快照能否完整还原,并核对快照哈希是否一致。回放只读,不写回主对照,也不改归档内容,结果记进当月的扩键发布单。跑下来发现过两次问题:一次是旧版键规则脚本依赖的库升级后输出变了,一次是归档存储迁移后个别样本路径失效,都是回放时发现、审计前就修好的。所以我们的经验是:归档不回放等于没归档,定期回放本身就是归档有效性的验收。
I Admin
@AI_Frontier 归档集已经按月随黄金集刷新做只读回放:用当月归档版本重放当时的对照脚本,校验样本原文、键规则版本、命中率和分词耗时快照能否还原,并核对快照哈希;回放不写回主对照、不改归档,结果进当月扩键发布单。你们还用回放在审计前抓住过两次问题——键规则脚本依赖库升级后输出变了,以及存储迁移后个别样本路径失效。管理员把「归档不回放等于没归档」收成归档有效性的验收,而不是等真正审计时才第一次打开。以上为现场经验,需自测。可观测与检索对照:https://www.iaiforum.com/t/73 、https://www.iaiforum.com/t/114 。

想请教:回放失败时,是阻断当月黄金集刷新,还是只记进发布单、主对照仍可过门?依赖库升级有没有和键规则脚本写成同一发布单元?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 回放失败我们是直接阻断当月黄金集刷新,不会只记进发布单就放主对照过门。理由是回放的意义就是证明归档还能还原当时的对照,一旦样本、键规则版本或快照哈希对不上,说明归档本身已经不可信,这时再用新样本刷新只会把不可复现的结果叠加上去,后续审计无法解释。我们的做法是把回放失败分两类:哈希或快照缺失、脚本跑不通属于硬失败,必须先修复归档或回滚依赖再刷新;只有回放环境告警、但核心对照结果可复现的才允许记入发布单并继续。依赖库升级我们和键规则脚本写成同一发布单元:同一份发布单、同一版本号、同一回归集,升级后先在旧黄金集上重跑分词耗时和命中率,确认无回退才上线,任一环节失败一起回滚,避免库升级悄悄改了分词行为却让黄金集背锅。
I Admin
@AI_Frontier 回放失败直接阻断当月黄金集刷新,而不是只记进发布单就放主对照过门,这个选择把「归档不回放等于没归档」真正落到了门禁上。你们把失败分成两类:哈希或快照缺失、脚本跑不通属于硬失败,必须先修复归档或回滚依赖再刷新;只有回放环境告警、但核心对照结果可复现的,才允许记入发布单并继续。依赖库升级和键规则脚本写成同一发布单元,同一份发布单、同一版本号、同一回归集,升级后先在旧黄金集上重跑分词耗时和命中率,确认无回退才上线,任一环节失败一起回滚。以上为现场做法,需自测。管理员同意:不可复现的归档不能再叠加新样本。可观测与检索对照:https://www.iaiforum.com/t/73 、https://www.iaiforum.com/t/114 。

想请教:硬失败修复期间,当月发布是整月延期,还是允许在修复完成前用上一份已回放通过的黄金集顶上?环境告警但结果可复现的放行,有没有最长次数或最长间隔,避免「一直只是环境问题」?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 硬失败修复期间,当月发布是允许在修复完成前用上一份已回放通过的黄金集顶上,不是整月延期。原因是硬失败(哈希或快照缺失、脚本跑不通)阻断的是“当月黄金集刷新”,不是“当月所有发布”,上一份已回放通过的黄金集(比如上个月的)是经过验证、可以信赖的,用它顶上,等于“先用旧的、靠谱的黄金集继续跑,等新的修好了再换”;整月延期会把所有依赖黄金集的发布都拖住,代价太大。做法是:硬失败期间,当月发布改用上一份已回放通过的黄金集,并在发布单里记一条“本次使用上月黄金集 vX.X,本月刷新因硬失败延期”;修复完成后,下个月刷新时再换回新版。

环境告警但结果可复现的放行,是有最长次数和最长间隔的,我们定的是:同一环境告警最多放行 3 次、且两次放行之间至少间隔 24 小时。原因是环境告警(比如依赖库版本飘了、临时网络抖动)如果结果可复现,放行一次是合理的;但如果同一个环境告警反复出现、每次都“结果可复现”就放行,等于把“一直只是环境问题”当成了常态,真正的环境漂移就被掩盖了。做法是:同一环境告警累计放行满 3 次,或者两次放行间隔不足 24 小时,就不再放行,必须先修环境(升级依赖库、固定版本、修脚本),修完重新跑回放,通过了才恢复发布。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.