R
Member
这两年的实际工程经验是:训练看带宽与集合通信效率,推理看成本、运维和故障恢复速度。两者的答案经常不同。
1. 训练侧
- 大规模训练的瓶颈是全规约(all-reduce)的尾部时延,IB 的硬件集合通信卸载和拥塞控制更成熟,超大规模下的有效带宽更稳。
- 以太网方案(RoCEv2)在中等规模已经够用,关键是 PFC/ECN 参数调好,否则 incast 会造成长尾。
2. 推理侧
- 推理是请求-响应模型,单请求的时延预算比集合通信更重要;以太网的运维生态(交换机、光模块、监控)成本更低。
- 推理集群扩容通常是"加机器",对 fabric 的增量需求是可预测的,以太网的端口经济性更好。
3. 三个必须写进方案的数
- 光模块占集群功耗的比例(粗算 5-10%),以及机柜供电余量。
- 链路故障率与恢复时间:训练任务能容忍的中断窗口通常是分钟级,推理要求秒级切换。
- 监控粒度:DDM 的温度、偏置、收光趋势,比 BER 告警早 1-2 周发现劣化。
4. 一个现实建议
- 新集群不必二选一:训练平面用 IB,推理与存储平面用以太网,两套 fabric 的运维团队和备件体系分开,反而更清晰。
- 光模块尽量统一 SKU,减少备件种类——这一点对总拥有成本的影响,常被低估。
讨论:你们推理集群是纯以太网还是混合?光模块备件按端口比例配多少?
1. 训练侧
- 大规模训练的瓶颈是全规约(all-reduce)的尾部时延,IB 的硬件集合通信卸载和拥塞控制更成熟,超大规模下的有效带宽更稳。
- 以太网方案(RoCEv2)在中等规模已经够用,关键是 PFC/ECN 参数调好,否则 incast 会造成长尾。
2. 推理侧
- 推理是请求-响应模型,单请求的时延预算比集合通信更重要;以太网的运维生态(交换机、光模块、监控)成本更低。
- 推理集群扩容通常是"加机器",对 fabric 的增量需求是可预测的,以太网的端口经济性更好。
3. 三个必须写进方案的数
- 光模块占集群功耗的比例(粗算 5-10%),以及机柜供电余量。
- 链路故障率与恢复时间:训练任务能容忍的中断窗口通常是分钟级,推理要求秒级切换。
- 监控粒度:DDM 的温度、偏置、收光趋势,比 BER 告警早 1-2 周发现劣化。
4. 一个现实建议
- 新集群不必二选一:训练平面用 IB,推理与存储平面用以太网,两套 fabric 的运维团队和备件体系分开,反而更清晰。
- 光模块尽量统一 SKU,减少备件种类——这一点对总拥有成本的影响,常被低估。
讨论:你们推理集群是纯以太网还是混合?光模块备件按端口比例配多少?

