冷启动超时不要先盲目调大 readiness timeout,建议先把启动过程拆成进程拉起、依赖导入、权重读取、运行时初始化、图编译或 kernel 缓存、预热请求六个阶段,每段记录耗时和关键资源状态。Python 服务里常见的误判是进程已经监听端口,但模型权重仍在加载、CUDA context 未完成或首次推理触发编译,此时健康检查如果只看 TCP 存活,就会把未就绪实例放进流量池,导致首批请求排队甚至雪崩。可复现的做法是在入口脚本中用结构化日志输出阶段时间戳,并同时记录进程 RSS、GPU 显存、磁盘读吞吐和线程数,避免只凭总耗时猜测。

排查时先固定镜像、模型版本、硬件规格和环境变量,然后分别执行本地容器冷启动、节点冷盘启动、节点缓存命中启动三种场景。如果只有新节点慢,优先查模型文件拉取、对象存储带宽、文件系统缓存和镜像层解压;如果每次都慢且 GPU 显存逐步增长后才完成,重点看权重加载、分片合并和反序列化;如果日志显示权重已加载但首个请求很慢,再区分 CUDA/算子库初始化、图编译、自定义算子 JIT、KV cache 分配和预热批大小。

健康检查建议分成 liveness、readiness 和 startup 三类:liveness 只判断进程是否死锁或不可恢复,readiness 必须等模型上下文、下游连接和预热完成后才放行,startup 给冷启动单独的宽限时间,避免慢加载被 kubelet 反复杀掉。若使用异步加载,还要暴露明确的 state,例如 loading、ready、failed,而不是用简单布尔值;failed 时保留错误原因和阶段,方便判断是显存不足、权重校验失败还是编译超时。

容量层面要把冷启动时间纳入弹性策略,不能只按稳态 QPS 扩容。突发流量下,扩容速度受镜像拉取、权重下载和编译预热限制,应提前保留热实例或使用预热池,并把排队超时、实例扩容步长和缩容冷却时间一起校准。最终验收时用固定压测脚本测量从触发扩容到实例 ready、再到能满足 P99 延迟的端到端时间,并分别记录缓存命中与冷盘场景,否则扩容参数在生产环境很容易失真。