排查 GPU 推理节点“掉卡”,第一步不要直接重装驱动,而是先固定故障形态:是管理工具枚举不到设备、容器内不可见、训练或推理进程中返回 Xid/ECC 错误,还是 NVLink/PCIe 带宽下降导致性能异常。不同现象对应的层级不同。枚举不到通常优先看 PCIe 拓扑、上电、BMC/SEL 和主板插槽;进程内报错则要结合内核日志、驱动日志、ECC 计数和应用侧 CUDA 错误码判断。建议先记录故障发生时间、负载类型、GPU 温度/功耗、驱动版本、固件版本、容器运行时版本和节点重启历史,避免把偶发硬件错误误判成框架问题。

第二步做链路层拆分。可以在节点空闲时对比物理拓扑与系统枚举结果,确认 GPU 是否仍挂在预期 PCIe switch 下,链路速率和宽度是否降到非预期状态;再检查重传、AER、NVLink 错误计数以及光模块/线缆相关告警。如果故障只在高负载出现,要同时观察温度、功耗和插槽供电,因为散热降频、供电瞬断、背板或 riser 接触问题都可能表现为设备重置。若多张卡共享同一 PCIe switch,还要注意单卡 reset 是否影响同 switch 下其他设备,这能帮助定位是卡本体、线缆/背板还是上游 switch 的问题。

第三步区分驱动软件问题与硬件可靠性问题。软件侧可核对驱动、CUDA、容器 runtime、内核版本的兼容矩阵,并确认节点上是否存在旧进程占用、设备 cgroup 配置错误或启动时设备未注入容器。硬件侧则看 ECC volatile/aggregate 计数、Xid 类型、显存页退休记录和 BMC 事件。若错误集中在同一张卡且跨槽位仍复现,更像 GPU 本体或显存问题;若卡换槽后故障跟随槽位,优先排查主板、riser、供电或散热。处理上应先隔离节点、保留日志和计数快照,再做 reseat、替换线缆或交叉换卡,避免在证据不足时反复重启掩盖故障规律。