I
Member
我们做的是一个 8 卡推理节点、四个节点组成的小集群,跑 7B 到 70B 的模型。上线后发现一个反直觉的现象:单节点把 batch 拉满,吞吐很好;一旦跨节点做张量并行,吞吐反而掉 30%,GPU 利用率却上不去。查了两周,问题不在模型,在带宽配比。
一、先把三笔账分开算
- 卡内互联:8 卡节点用 NVLink,单卡双向约 900 GB/s。这是最快的通道,任何能放进一个节点的并行都应该优先放进来。
- 卡间(跨节点走 PCIe/网卡):PCIe Gen5 x16 双向 128 GB/s,但实际给网卡用的是 x16 里的一部分,一张 400G 网卡单向 50 GB/s。
- 节点间:400G 端口单向 50 GB/s,两个端口 100 GB/s。对比 NVLink 的 450 GB/s 单向,差了一个数量级。
- 结论:跨节点的每一次 all-reduce,成本比节点内高一个数量级。所以 TP(张量并行)的切分边界应该尽量落在节点内,跨节点用 PP(流水并行)或 DP(数据并行)。
二、症状是怎么表现出来的
- 8 卡节点内做 TP=8,单请求 TTFT 平均 180 ms,吞吐 1,900 token/s。
- 两个节点做 TP=16,TTFT 掉到 620 ms,吞吐只有 1,300 token/s。GPU 利用率从 82% 掉到 47%,因为时间都花在等 all-reduce。
- 换成 TP=8 + PP=2(每节点 8 卡做 TP,两节点做 PP),TTFT 340 ms,吞吐 2,400 token/s。同样的硬件,吞吐反而超过单节点。
- 这笔账的关键不是"跨节点慢",而是"跨节点的通信量随 TP 度数增长"。TP=16 时每层要做两次 all-reduce,每次的数据量是 hidden size × batch × 2 字节,70B 模型 hidden 8192,batch 32,一次就是 1 MB 量级,一层几十次,累积起来非常可观。
三、网卡和光模块的配比怎么定
- 经验值:每张 GPU 配 1 个 400G 端口,8 卡节点出 8 个 400G,用两台交换机做双平面(每平面 4 口)。
- 双平面的意义是:一个平面故障,带宽减半但业务不断;同时两个平面可以并行承载 all-reduce 的两个环,实测 all-reduce 时间下降 35%。
- 别用 200G 端口去凑数:TP 跨节点时,200G 单口 25 GB/s 会把 all-reduce 时间拉到 400G 的两倍,省下的交换机端口钱会在吞吐上赔回去。
- 光模块选型上,2 km 以内用 400G DR4/FR4 都够,注意单端功耗 8–12 W,一个节点 8 个模块就是 64–96 W,机柜散热要提前算。
四、我踩过的两个坑
- 第一个坑:以为带宽够就没问题,结果交换机 buffer 太小。400G 到 400G 的 incast 场景下,8 打 1 的微突发直接把 buffer 打爆,丢包重传让 all-reduce 时间抖动 3 倍。换了大 buffer 交换机、开了 PFC 才稳住。
- 第二个坑:NCCL 的 ring 与 tree 算法在跨节点拓扑下表现差别很大。默认 ring 在 4 节点 8 卡下不如 tree,实测 all-reduce 时间差 40%。这个必须按实际拓扑测,不能照抄参数。
五、验收怎么测
1. 先在节点内跑 TP=8,记录 TTFT 与吞吐,作为基线。
2. 再跑 TP=16 跨节点,看吞吐掉多少——如果掉超过 25%,说明切分策略错了,不是网络问题。
3. 用 NCCL tests 单独测 all-reduce 带宽,8 卡节点内应接近 NVLink 的 80%,跨节点应接近端口带宽的 70%。
4. 最后跑 incast 场景,看 p99 时延有没有因为 buffer 溢出抬高。
想讨论一个具体问题:你们跨节点的并行是优先 PP 还是 DP?我这边 PP 的代价是流水气泡,DP 的代价是梯度同步,两个都不便宜,正在找更细的切分方式。
一、先把三笔账分开算
- 卡内互联:8 卡节点用 NVLink,单卡双向约 900 GB/s。这是最快的通道,任何能放进一个节点的并行都应该优先放进来。
- 卡间(跨节点走 PCIe/网卡):PCIe Gen5 x16 双向 128 GB/s,但实际给网卡用的是 x16 里的一部分,一张 400G 网卡单向 50 GB/s。
- 节点间:400G 端口单向 50 GB/s,两个端口 100 GB/s。对比 NVLink 的 450 GB/s 单向,差了一个数量级。
- 结论:跨节点的每一次 all-reduce,成本比节点内高一个数量级。所以 TP(张量并行)的切分边界应该尽量落在节点内,跨节点用 PP(流水并行)或 DP(数据并行)。
二、症状是怎么表现出来的
- 8 卡节点内做 TP=8,单请求 TTFT 平均 180 ms,吞吐 1,900 token/s。
- 两个节点做 TP=16,TTFT 掉到 620 ms,吞吐只有 1,300 token/s。GPU 利用率从 82% 掉到 47%,因为时间都花在等 all-reduce。
- 换成 TP=8 + PP=2(每节点 8 卡做 TP,两节点做 PP),TTFT 340 ms,吞吐 2,400 token/s。同样的硬件,吞吐反而超过单节点。
- 这笔账的关键不是"跨节点慢",而是"跨节点的通信量随 TP 度数增长"。TP=16 时每层要做两次 all-reduce,每次的数据量是 hidden size × batch × 2 字节,70B 模型 hidden 8192,batch 32,一次就是 1 MB 量级,一层几十次,累积起来非常可观。
三、网卡和光模块的配比怎么定
- 经验值:每张 GPU 配 1 个 400G 端口,8 卡节点出 8 个 400G,用两台交换机做双平面(每平面 4 口)。
- 双平面的意义是:一个平面故障,带宽减半但业务不断;同时两个平面可以并行承载 all-reduce 的两个环,实测 all-reduce 时间下降 35%。
- 别用 200G 端口去凑数:TP 跨节点时,200G 单口 25 GB/s 会把 all-reduce 时间拉到 400G 的两倍,省下的交换机端口钱会在吞吐上赔回去。
- 光模块选型上,2 km 以内用 400G DR4/FR4 都够,注意单端功耗 8–12 W,一个节点 8 个模块就是 64–96 W,机柜散热要提前算。
四、我踩过的两个坑
- 第一个坑:以为带宽够就没问题,结果交换机 buffer 太小。400G 到 400G 的 incast 场景下,8 打 1 的微突发直接把 buffer 打爆,丢包重传让 all-reduce 时间抖动 3 倍。换了大 buffer 交换机、开了 PFC 才稳住。
- 第二个坑:NCCL 的 ring 与 tree 算法在跨节点拓扑下表现差别很大。默认 ring 在 4 节点 8 卡下不如 tree,实测 all-reduce 时间差 40%。这个必须按实际拓扑测,不能照抄参数。
五、验收怎么测
1. 先在节点内跑 TP=8,记录 TTFT 与吞吐,作为基线。
2. 再跑 TP=16 跨节点,看吞吐掉多少——如果掉超过 25%,说明切分策略错了,不是网络问题。
3. 用 NCCL tests 单独测 all-reduce 带宽,8 卡节点内应接近 NVLink 的 80%,跨节点应接近端口带宽的 70%。
4. 最后跑 incast 场景,看 p99 时延有没有因为 buffer 溢出抬高。
想讨论一个具体问题:你们跨节点的并行是优先 PP 还是 DP?我这边 PP 的代价是流水气泡,DP 的代价是梯度同步,两个都不便宜,正在找更细的切分方式。

