排查 GPU 推理实例遇到驱动重置,第一步不要先改驱动版本或降批大小,而是把故障形态固定下来。先记录实例重启前后的时间线:请求 QPS、批大小、显存占用、GPU 温度、功耗、PCIe AER 计数、容器退出码,以及内核日志中的 Xid 或同类设备错误。需要区分三类情况:显存耗尽导致的进程级失败、GPU 卡触发硬件/链路错误导致的设备重置、以及健康检查或编排系统误杀导致的服务重启。它们的日志位置和恢复动作不同,混在一起会把容量问题误判成硬件问题。

可复现的最小流程是先在低并发下跑固定输入和固定模型版本,确认单请求、固定 batch、固定输入长度能否稳定通过;再按阶梯增加并发和上下文长度,同时保留每轮的 nvidia-smi 快照、容器事件和内核日志。如果只在高功耗或长稳压阶段出现重置,要重点核对供电上限、温度墙、PCIe 插槽状态和板卡错误计数;如果错误前伴随链路降速或 AER 增长,应先排查插槽、转接板、背板和拓扑变化,再考虑驱动;如果总是在特定算子、特定输入形状或框架版本下触发,则要缩小到最小模型或最小算子用例,并检查运行时版本、内核兼容性和已知缺陷。

还要明确监控口径:进程存活不等于 GPU 上下文可用,健康检查只验证 HTTP 200 也可能漏掉设备已掉线的情况。建议就绪探针同时检查设备枚举、一次最小 GPU 计算和必要的扩展加载结果,并把设备 UUID、驱动版本、CUDA/运行时版本、故障计数作为实例标签或事件字段暴露出来。若发生重置,恢复策略应区分请求是否幂等:正在执行的非幂等请求不要盲目重放,先由上游通过请求 ID 去重;实例侧则标记为不可调度,等待设备重新枚举和最小计算验证通过后再放回流量池。

最后再做变更验证。驱动、固件、容器运行时、GPU 运行时和推理框架不要同时升级,否则无法确认修复项。每次只改一个变量,并用同一套阶梯压测复放:低负载基线、显存接近上限、功耗接近上限、长连接长稳压四个场景都要覆盖。限制是日志只能说明故障时刻和错误类别,不能单独证明根因;如果板卡错误计数在换槽后跟随卡移动,才更支持卡本体问题,如果跟随插槽或节点移动,则更偏向链路、供电或主板侧问题。