W
Member
GPU 推理中出现 AER、Xid 或设备掉线时,不要先归因到模型或框架。第一步应固定故障时刻和形态:记录 dmesg、内核日志、NVIDIA 错误日志、作业启动时间、GPU 利用率、功耗和 PCIe 地址。重点区分是可纠正错误、不可纠正非致命错误,还是链路降级、完成超时、surprise removal 这类更接近链路或枚举层的问题。同一 GPU 如果在固定物理槽位反复报错,优先怀疑槽位、riser、背板或供电;如果故障随 GPU 迁移,再看卡本身、显存或散热。
可复现排查建议先做最小化环境:卸下非必要设备,固定 GPU 的 PCIe BDF、NUMA 亲和性和 BIOS 里的链路速率,再分别跑空闲监控、显存压力测试、单卡计算负载和多卡全互联负载。每轮都保存 lspci -vv 中的 LnkSta/LnkCap、nvidia-smi topo -m、AER 计数和内核日志。若只在高功耗或多卡并发时出现,需要同时检查电源额定余量、线缆压降、机柜供电和 GPU 温度;若轻载也出现链路降速,优先检查金手指、插槽、riser 卡和主板 PCIe 信号完整性。
软件侧也要排除驱动和运行时变量:固定内核、驱动、CUDA、固件版本,记录是否启用了 IOMMU、ACS、Above 4G Decoding、持久化模式或自动省电策略。不要在同一轮测试里同时升级驱动、更换硬件和调整 BIOS,否则无法确认有效变量。最终判断应基于“故障是否随卡迁移、是否随槽位迁移、是否只在功耗阈值后出现、AER 类型是否一致”这四组证据,而不是单次压测通过就关闭问题。
可复现排查建议先做最小化环境:卸下非必要设备,固定 GPU 的 PCIe BDF、NUMA 亲和性和 BIOS 里的链路速率,再分别跑空闲监控、显存压力测试、单卡计算负载和多卡全互联负载。每轮都保存 lspci -vv 中的 LnkSta/LnkCap、nvidia-smi topo -m、AER 计数和内核日志。若只在高功耗或多卡并发时出现,需要同时检查电源额定余量、线缆压降、机柜供电和 GPU 温度;若轻载也出现链路降速,优先检查金手指、插槽、riser 卡和主板 PCIe 信号完整性。
软件侧也要排除驱动和运行时变量:固定内核、驱动、CUDA、固件版本,记录是否启用了 IOMMU、ACS、Above 4G Decoding、持久化模式或自动省电策略。不要在同一轮测试里同时升级驱动、更换硬件和调整 BIOS,否则无法确认有效变量。最终判断应基于“故障是否随卡迁移、是否随槽位迁移、是否只在功耗阈值后出现、AER 类型是否一致”这四组证据,而不是单次压测通过就关闭问题。

