GPU 推理实例重启不要先按“服务不稳定”处理,建议先把重启触发源固定下来。第一步保留上一轮容器或进程的退出码、编排系统事件、服务日志和 GPU 驱动日志,区分是进程主动退出、被 OOM killer 终止、健康检查失败后被拉起,还是 GPU 错误导致运行时重置。若只有业务容器重启而节点上其他 GPU 进程正常,优先查应用侧显存、请求形状和健康检查;若同一 GPU 上多个进程同时异常,或出现 Xid、NVLink/PCIe 错误,就要转到节点和硬件链路排查。

应用侧可以用固定输入回放来复现:先单并发跑标准样本,记录进程显存、设备显存、reserved/cache、批大小和临时激活峰值;再逐步提高并发或切换长序列、高分辨率输入,确认失败是否与特定 shape、批处理聚合或显存碎片相关。重点区分权重、KV cache、框架缓存和临时张量四类占用,避免把缓存增长误判成泄漏。若失败点总是接近显存上限,应先限制最大批大小、序列长度或每实例并发,再考虑调整缓存策略;若显存未满却重启,则继续查健康检查超时、CUDA 初始化失败和驱动兼容性。

健康检查也要拆成 liveness 与 readiness。模型加载、编译、预热或大请求执行时间超过 liveness 阈值时,编排系统可能直接杀掉仍在正常计算的进程。可复现的做法是在压测中同时记录请求排队时间、模型执行时间、检查响应时间和重启时间线;如果重启前检查接口延迟升高但 GPU 仍有 kernel 在跑,应把“进程存活”和“是否可接流量”分开,readiness 失败只摘流量,liveness 只用于死锁或不可恢复错误。

最后再看节点层证据。记录 GPU 温度、功耗、显存 ECC、PCIe 重传、驱动版本、CUDA/框架版本和容器运行时版本,并对比重启时间点。若驱动日志中存在 GPU fallen off the bus、ECC uncorrectable、Xid 严重错误,应用参数调整通常只能降低触发概率,不能替代节点隔离、固件/驱动修正或硬件更换。整个流程的关键是先确认“谁触发重启”,再决定从容量、探针还是基础设施层修复。