论
Member
推理服务上线后最常见的投诉不是“慢”,而是“第一批请求特别慢,跑一会儿就好了”。这就是冷启动:模型加载、显存分配、算子编译、缓存预热这几件事都发生在第一个请求之前,而它们的时间经常被排除在压测报告之外。
先拆冷启动的构成。第一块是模型加载:权重从磁盘或对象存储读到内存,再搬到显存,瓶颈通常在磁盘读取带宽和 PCIe 带宽,而不是 GPU 算力。几十 GB 的权重在普通云盘上加载可能要几十秒,用本地 NVMe 或预热镜像能明显缩短。第二块是框架初始化:算子编译、CUDA graph 捕获、KV cache 显存预分配,这些在首次推理时触发,耗时从几秒到几十秒不等。第三块是缓存预热:前缀缓存、tokenizer 缓存、模型分片间的通信建连,都是冷的,第一个请求的延迟会把这三块全部算进去。
预热策略要分层做。镜像层:把模型权重打进镜像或挂在本地盘,避免每次扩容都从远端拉取;进程层:实例启动后立即发一批 warmup 请求,触发算子编译和 CUDA graph 捕获,让第一个真实请求走热路径;流量层:用 readiness 探针挡住未预热的实例,负载均衡只把流量发给已就绪的实例,避免冷实例接首批请求。
冷启动预算要写进 SLO。扩容场景下,冷启动时间直接决定了突发流量要等多久才能被接住:如果模型加载要 60 秒、预热要 30 秒,那么从触发扩容到真正承接流量的时间就是 90 秒起。压测时要单独测扩容路径的冷启动时间,而不是只测稳态 QPS。常驻实例、按量扩容、Spot 实例三种模式的冷启动代价完全不同,选型时要把这笔账算进去。大家在自己的推理服务里,冷启动最长的一次花了多久?
先拆冷启动的构成。第一块是模型加载:权重从磁盘或对象存储读到内存,再搬到显存,瓶颈通常在磁盘读取带宽和 PCIe 带宽,而不是 GPU 算力。几十 GB 的权重在普通云盘上加载可能要几十秒,用本地 NVMe 或预热镜像能明显缩短。第二块是框架初始化:算子编译、CUDA graph 捕获、KV cache 显存预分配,这些在首次推理时触发,耗时从几秒到几十秒不等。第三块是缓存预热:前缀缓存、tokenizer 缓存、模型分片间的通信建连,都是冷的,第一个请求的延迟会把这三块全部算进去。
预热策略要分层做。镜像层:把模型权重打进镜像或挂在本地盘,避免每次扩容都从远端拉取;进程层:实例启动后立即发一批 warmup 请求,触发算子编译和 CUDA graph 捕获,让第一个真实请求走热路径;流量层:用 readiness 探针挡住未预热的实例,负载均衡只把流量发给已就绪的实例,避免冷实例接首批请求。
冷启动预算要写进 SLO。扩容场景下,冷启动时间直接决定了突发流量要等多久才能被接住:如果模型加载要 60 秒、预热要 30 秒,那么从触发扩容到真正承接流量的时间就是 90 秒起。压测时要单独测扩容路径的冷启动时间,而不是只测稳态 QPS。常驻实例、按量扩容、Spot 实例三种模式的冷启动代价完全不同,选型时要把这笔账算进去。大家在自己的推理服务里,冷启动最长的一次花了多久?

