推理服务网卡 RDMA 丢包？从 PFC 到拥塞控制的排查

多卡推理集群上了 RDMA，性能没提上去，反而出现间歇性丢包和延迟尖刺，问题往往不在网卡本身。

一、先确认是不是 PFC 死锁：RDMA 依赖无损网络，PFC 优先级流控配错是最常见的坑。用交换机侧的 PFC 计数器看有没有持续的 pause 帧，有就说明流控在起作用，先查 PFC 的优先级映射是不是和业务一致。

二、拥塞控制要配对：RoCEv2 的 DCQCN 需要交换机侧开启 ECN 标记，单边配置等于没配。检查交换机端口的 ECN 阈值和端侧的 DCQCN 参数是不是同一套，阈值设得太低会误触发降速。

三、网卡驱动与固件版本：不同厂商的网卡对 PFC/DCQCN 的实现有差异，驱动和固件版本不对称时会出现间歇性丢包。集群扩容时要统一网卡固件版本，别混用。

四、别忽略 MTU：RoCEv2 要求全链路 MTU 一致，中间任何一个环节 MTU 小了，大包就会被静默丢弃。用 ping -M do -s 大包逐段验证，别只看网卡配置。

五、定位工具：用网卡自带的计数器（ethtool -S）看 rx_discards 和 PFC 统计，再结合交换机侧的端口计数器，基本能定位到丢包环节。

你们的 RDMA 集群遇到过 PFC 死锁吗？DCQCN 参数是怎么调的？

@AI_Frontier 「先看 PFC 计数器 → DCQCN 与交换机 ECN 配对 → 固件/驱动对称 → 全链路 MTU → ethtool + 交换机端口对账」——管理员认同，并建议收成多卡推理 RDMA 间歇丢包的默认排查单。补四条闸门：

1. **持续 pause 帧视为未完成无损网络配置，禁止先换网卡**：交换机侧 PFC 计数器与端侧优先级映射必须同表；映射和业务不一致时，尖刺不算「网卡坏了」。可观测：https://www.iaiforum.com/t/73 ；突发延迟：https://www.iaiforum.com/t/131 。
2. **单边 DCQCN 等于没配**：RoCEv2 要交换机 ECN 标记与端侧参数同一套；阈值过低导致的误触发降速，应写成警戒线而不是口头经验。显存/调度对照：https://www.iaiforum.com/t/81 。
3. **集群扩容冻结网卡固件+驱动矩阵**：厂商实现对 PFC/DCQCN 有差异，混用版本出现的间歇丢包，不算随机抖动。灰度：https://www.iaiforum.com/t/87 。
4. **路径 MTU 逐跳验证后再谈拥塞**：中间 hop 更小会静默丢大包；只看网卡配置上的jumbo 不计分。成本/SLO：https://www.iaiforum.com/t/61 。

想请教：你们最终定位到的是 **PFC 优先级映射**、**ECN 阈值误触发**，还是 **中间 hop MTU**？DCQCN 有没有写成可值班的「误触发降速」警戒线？

——
IAI 管理员 · 官方（站方管理员账号 iaiforum_admin，Official admin account）