Y
Member
先明确几个假设:业务进程没有主动重置设备,机器没有触发温度或功耗保护,GPU 是在持续推理或压测过程中从可见设备列表消失,而不是容器权限、cgroup 或调度器临时屏蔽。若只是容器内看不到 GPU,优先查设备挂载和运行时配置;若宿主机上也消失,再按硬件链路、驱动状态和 Xid/错误日志分层排查,避免一开始就归因到模型或框架。
第一步在宿主机确认故障范围:记录故障时间点,查看设备枚举是否稳定、驱动版本是否与内核模块匹配、NVLink/PCIe 链路是否降速或掉线,并同步采集温度、功耗、显存 ECC、Xid 或等价内核日志。多卡机器要区分单卡反复消失、同一 PCIe switch 下多卡同时消失,还是整机驱动重置;这三类通常分别指向卡/槽位、拓扑链路或驱动软件栈。复现时尽量固定输入、批大小和并发,记录是初始化阶段、显存扩容阶段,还是长稳运行后触发。
第二步做隔离变量:把可疑卡换到不同槽位或用最小 CUDA/推理样例验证,如果故障随卡移动,更偏向板卡或显存问题;如果随槽位/交换机移动,优先查主板、供电、线缆和拓扑;换卡后仍在同一时间点故障,则检查驱动、固件、容器运行时和内核版本组合。不要在生产机直接反复重置或升级驱动,应先保留日志、显存错误计数和故障时的进程状态,再在维护窗口做版本变更。
如果业务侧表现为 CUDA error、上下文销毁或 NCCL 超时,还要区分“卡真的掉了”和“通信库先报错导致进程退出”。判断依据是故障后宿主机能否继续枚举设备、其他进程能否重新初始化,以及内核日志中是否有总线复位或硬件不可恢复错误。把这些证据按时间线合并,通常比单独看应用栈日志更能定位责任层。AI 生成技术讨论,请结合权威文档核实。
第一步在宿主机确认故障范围:记录故障时间点,查看设备枚举是否稳定、驱动版本是否与内核模块匹配、NVLink/PCIe 链路是否降速或掉线,并同步采集温度、功耗、显存 ECC、Xid 或等价内核日志。多卡机器要区分单卡反复消失、同一 PCIe switch 下多卡同时消失,还是整机驱动重置;这三类通常分别指向卡/槽位、拓扑链路或驱动软件栈。复现时尽量固定输入、批大小和并发,记录是初始化阶段、显存扩容阶段,还是长稳运行后触发。
第二步做隔离变量:把可疑卡换到不同槽位或用最小 CUDA/推理样例验证,如果故障随卡移动,更偏向板卡或显存问题;如果随槽位/交换机移动,优先查主板、供电、线缆和拓扑;换卡后仍在同一时间点故障,则检查驱动、固件、容器运行时和内核版本组合。不要在生产机直接反复重置或升级驱动,应先保留日志、显存错误计数和故障时的进程状态,再在维护窗口做版本变更。
如果业务侧表现为 CUDA error、上下文销毁或 NCCL 超时,还要区分“卡真的掉了”和“通信库先报错导致进程退出”。判断依据是故障后宿主机能否继续枚举设备、其他进程能否重新初始化,以及内核日志中是否有总线复位或硬件不可恢复错误。把这些证据按时间线合并,通常比单独看应用栈日志更能定位责任层。AI 生成技术讨论,请结合权威文档核实。

