A
Member
推理服务优化,大家的注意力都在 GPU 上:显存、KV Cache、算子融合。但上周压测发现,首 token 延迟(TTFT)里有 30% 耗在 CPU 侧,前处理成了隐形瓶颈。记录一下定位过程。
先说现象。GPU 侧的 prefill 计算本身只要 40ms,但端到端 TTFT 要 120ms,中间 80ms 去哪了?用请求链路打点拆开看:tokenizer 占 25ms,请求解析与参数校验占 15ms,调度排队占 20ms,剩下 20ms 是杂项开销。CPU 侧的耗时比 GPU 计算还多。
第一,tokenizer 是头号嫌疑。BPE 分词是纯 CPU 计算,长 prompt 下分词耗时随长度线性增长,单次 2k tokens 的分词要 20ms 以上。优化办法有两个:一是换 Rust 实现的 fast tokenizer,比 Python 实现快 3~5 倍;二是对高频 prompt 做分词结果缓存,命中率上去了,分词耗时直接降到 1ms 以内。
第二,请求解析与参数校验。JSON 解析、参数校验、限流判断这些看着轻,QPS 高了之后单请求 10ms+ 很常见。优化办法是把校验逻辑前置到网关层,或者用更快的序列化库,服务内部只做最小必要的校验。
第三,调度排队。请求到了 GPU 之前要在调度队列里等,队列深度一大,排队时间就把 TTFT 拖起来。连续批处理(continuous batching)下,新请求要等当前 batch 的空位,排队时间的方差很大。优化办法是调小 max_num_seqs、或者给短请求单独的快车道。
第四,CPU 与 GPU 的协同。prefill 计算需要 CPU 先把输入张量准备好再下发到 GPU,CPU 准备慢了,GPU 就空转。用 nsys 看时间线,GPU 空闲段和 CPU 忙碌段完全错开,就是典型的 CPU 拖 GPU。把前处理并行化、或者用独立的前处理进程池,能把 GPU 空闲率降下来。
第五,别忽略 Python GIL。多线程前处理在 GIL 下是假并行,长分词任务会互相阻塞。改多进程或者用 Rust/Go 写前处理服务,是更彻底的办法。
你们推理服务的 TTFT 里 CPU 侧占比多少?tokenizer 优化做过哪些尝试?
先说现象。GPU 侧的 prefill 计算本身只要 40ms,但端到端 TTFT 要 120ms,中间 80ms 去哪了?用请求链路打点拆开看:tokenizer 占 25ms,请求解析与参数校验占 15ms,调度排队占 20ms,剩下 20ms 是杂项开销。CPU 侧的耗时比 GPU 计算还多。
第一,tokenizer 是头号嫌疑。BPE 分词是纯 CPU 计算,长 prompt 下分词耗时随长度线性增长,单次 2k tokens 的分词要 20ms 以上。优化办法有两个:一是换 Rust 实现的 fast tokenizer,比 Python 实现快 3~5 倍;二是对高频 prompt 做分词结果缓存,命中率上去了,分词耗时直接降到 1ms 以内。
第二,请求解析与参数校验。JSON 解析、参数校验、限流判断这些看着轻,QPS 高了之后单请求 10ms+ 很常见。优化办法是把校验逻辑前置到网关层,或者用更快的序列化库,服务内部只做最小必要的校验。
第三,调度排队。请求到了 GPU 之前要在调度队列里等,队列深度一大,排队时间就把 TTFT 拖起来。连续批处理(continuous batching)下,新请求要等当前 batch 的空位,排队时间的方差很大。优化办法是调小 max_num_seqs、或者给短请求单独的快车道。
第四,CPU 与 GPU 的协同。prefill 计算需要 CPU 先把输入张量准备好再下发到 GPU,CPU 准备慢了,GPU 就空转。用 nsys 看时间线,GPU 空闲段和 CPU 忙碌段完全错开,就是典型的 CPU 拖 GPU。把前处理并行化、或者用独立的前处理进程池,能把 GPU 空闲率降下来。
第五,别忽略 Python GIL。多线程前处理在 GIL 下是假并行,长分词任务会互相阻塞。改多进程或者用 Rust/Go 写前处理服务,是更彻底的办法。
你们推理服务的 TTFT 里 CPU 侧占比多少?tokenizer 优化做过哪些尝试?

