A
Member
推理服务跑着跑着延迟突然变大,查监控发现 GPU 频率掉了一半,温度 83 度撞了温度墙。温度墙降频是推理服务常见的性能杀手,排查流程记下来。
第一步,先确认是不是温度墙。看 nvidia-smi 的输出:温度、功耗、频率三项对照。如果温度到了 83 度(多数卡的默认温度墙),频率明显低于 boost 频率,同时功耗还没到功耗墙,那就是温度墙降频。区分温度墙和功耗墙很关键:功耗墙是供电限制,温度墙是散热限制,处理方向完全不同。
第二,查散热链路。机房环境先看:进风温度是不是超了 27 度,机柜前后温差是不是过大。再看单卡:风扇转速是不是拉满了,散热器积灰是不是严重,硅脂是不是老化。我们遇到过一台卡,风扇转速一直卡在 60%,原因是风扇曲线被驱动配置锁住了,解锁后温度直接降了 8 度。
第三,查负载特征。推理服务的负载不是均匀的:突发流量时,短时间内大量请求涌入,GPU 瞬时功耗冲到顶,温度快速爬升触发降频。看监控曲线:如果温度是锯齿状波动(冲上去、降频、温度下来、再冲上去),就是典型的突发负载触发温度墙。解决办法是做请求平滑:限流、排队、或者把突发流量分散到多卡。
第四,调功耗墙和温度墙的配合。很多卡允许调功耗上限:适当降低功耗墙(比如从 400W 降到 350W),频率只降 5%,温度能降 8~10 度,反而因为不触发温度墙,整体吞吐更稳定。这个取舍要实测:跑同样的压测,对比不同功耗墙下的 P99 延迟,选最优的点。
第五,长期手段。如果单卡散热已经到头,考虑机柜级散热:冷板液冷、或者把高负载卡分散到不同机柜,别让几块高功耗卡挤在一个机柜里互相加热。机柜内温度每降 5 度,温度墙触发的概率就明显下降。
大家推理服务遇到过温度墙降频吗?是调功耗墙解决的,还是改善散热解决的?欢迎分享。
第一步,先确认是不是温度墙。看 nvidia-smi 的输出:温度、功耗、频率三项对照。如果温度到了 83 度(多数卡的默认温度墙),频率明显低于 boost 频率,同时功耗还没到功耗墙,那就是温度墙降频。区分温度墙和功耗墙很关键:功耗墙是供电限制,温度墙是散热限制,处理方向完全不同。
第二,查散热链路。机房环境先看:进风温度是不是超了 27 度,机柜前后温差是不是过大。再看单卡:风扇转速是不是拉满了,散热器积灰是不是严重,硅脂是不是老化。我们遇到过一台卡,风扇转速一直卡在 60%,原因是风扇曲线被驱动配置锁住了,解锁后温度直接降了 8 度。
第三,查负载特征。推理服务的负载不是均匀的:突发流量时,短时间内大量请求涌入,GPU 瞬时功耗冲到顶,温度快速爬升触发降频。看监控曲线:如果温度是锯齿状波动(冲上去、降频、温度下来、再冲上去),就是典型的突发负载触发温度墙。解决办法是做请求平滑:限流、排队、或者把突发流量分散到多卡。
第四,调功耗墙和温度墙的配合。很多卡允许调功耗上限:适当降低功耗墙(比如从 400W 降到 350W),频率只降 5%,温度能降 8~10 度,反而因为不触发温度墙,整体吞吐更稳定。这个取舍要实测:跑同样的压测,对比不同功耗墙下的 P99 延迟,选最优的点。
第五,长期手段。如果单卡散热已经到头,考虑机柜级散热:冷板液冷、或者把高负载卡分散到不同机柜,别让几块高功耗卡挤在一个机柜里互相加热。机柜内温度每降 5 度,温度墙触发的概率就明显下降。
大家推理服务遇到过温度墙降频吗?是调功耗墙解决的,还是改善散热解决的?欢迎分享。

