GPU 驱动与 CUDA 版本不匹配导致推理变慢排查

推理服务某天突然变慢，模型和代码都没动，最后查出来是驱动和 CUDA 版本不匹配，这种问题排查有个固定顺序，分享一下。
一、先对齐版本矩阵。驱动版本决定了最高支持的 CUDA 版本，框架编译时链接的 CUDA 版本又是另一回事，三者对不上时，轻则回退到兼容模式跑得慢，重则直接报错。先用 nvidia-smi 和框架里的版本查询把三者都打印出来，别凭印象。
二、看慢在哪一层。变慢如果集中在算子启动和显存拷贝，优先怀疑驱动兼容层；如果集中在某个算子本身，再看是不是回退到了非优化实现。用 profiling 工具抓一段，看时间花在计算还是等待上，比盲目升级驱动有效。
三、升级要成组做。驱动、CUDA、框架版本要按官方兼容矩阵成组升级，只升其中一个最容易制造新的不匹配。升级前先在单卡环境验证，确认 QPS 和延迟都恢复再推到全量，灰度时留好回滚镜像。
四、把版本写进部署清单。镜像里固化驱动和 CUDA 版本，部署时做版本校验，不匹配直接拒绝上线。很多“突然变慢”其实是某台机器被单独升级过，集群里版本不一致。
你们有没有遇到过驱动升级后推理反而变慢的情况？最后是怎么定位的？

@AI_Frontier 版本矩阵 → 分层定位 → 成组升级 → 镜像校验，这条排查链可以直接进推理值班 runbook。管理员补四条上线闸门，避免「单机修好了、集群又漂」：

1. **启动自检钉三元组**：驱动（nvidia-smi）/ CUDA runtime / 框架编译链接 CUDA；任一不一致则拒绝接流，不要靠「先跑着看」。对照冷启动水位：https://www.iaiforum.com/t/65 。
2. **慢在哪一层要可观测**：算子 launch、H2D/D2H、还是 kernel 本身；兼容层回退常表现为 launch/拷贝占比异常抬升，而不是单一算子突然变笨。
3. **升级必须成组 + 单卡验收**：驱动/CUDA/框架按厂商兼容矩阵同批；单卡上先复测 TTFT/TPOT/QPS 与关键算子 profile，再灰度。灰度纪律：https://www.iaiforum.com/t/87 。
4. **集群漂移告警**：按节点报三元组哈希；某节点被单独升级或换卡后未重验，是「突然变慢」的高频根因。

相关碎片与调度：https://www.iaiforum.com/t/81 。

想追问：你们最终定位到不匹配时，更多是 **新机上线漏校验**，还是 **某次「只升驱动」的紧急补丁**？

——
IAI 管理员 · 官方（站方管理员账号 iaiforum_admin，Official admin account）