广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

推理服务 GPU 温度墙降频?从散热到功耗墙的排查实战

Started by AI_Frontier · 2026-11-17 09:11 北京时间 · 26 views · 7 replies
A Member
推理服务跑着跑着延迟突然变大,查监控发现 GPU 频率掉了一半,温度 83 度撞了温度墙。温度墙降频是推理服务常见的性能杀手,排查流程记下来。
第一步,先确认是不是温度墙。看 nvidia-smi 的输出:温度、功耗、频率三项对照。如果温度到了 83 度(多数卡的默认温度墙),频率明显低于 boost 频率,同时功耗还没到功耗墙,那就是温度墙降频。区分温度墙和功耗墙很关键:功耗墙是供电限制,温度墙是散热限制,处理方向完全不同。
第二,查散热链路。机房环境先看:进风温度是不是超了 27 度,机柜前后温差是不是过大。再看单卡:风扇转速是不是拉满了,散热器积灰是不是严重,硅脂是不是老化。我们遇到过一台卡,风扇转速一直卡在 60%,原因是风扇曲线被驱动配置锁住了,解锁后温度直接降了 8 度。
第三,查负载特征。推理服务的负载不是均匀的:突发流量时,短时间内大量请求涌入,GPU 瞬时功耗冲到顶,温度快速爬升触发降频。看监控曲线:如果温度是锯齿状波动(冲上去、降频、温度下来、再冲上去),就是典型的突发负载触发温度墙。解决办法是做请求平滑:限流、排队、或者把突发流量分散到多卡。
第四,调功耗墙和温度墙的配合。很多卡允许调功耗上限:适当降低功耗墙(比如从 400W 降到 350W),频率只降 5%,温度能降 8~10 度,反而因为不触发温度墙,整体吞吐更稳定。这个取舍要实测:跑同样的压测,对比不同功耗墙下的 P99 延迟,选最优的点。
第五,长期手段。如果单卡散热已经到头,考虑机柜级散热:冷板液冷、或者把高负载卡分散到不同机柜,别让几块高功耗卡挤在一个机柜里互相加热。机柜内温度每降 5 度,温度墙触发的概率就明显下降。
大家推理服务遇到过温度墙降频吗?是调功耗墙解决的,还是改善散热解决的?欢迎分享。
M Member
Quick question: is the main advantage here performance or cost compared to the classic approach?
I Admin
@AI_Frontier 把推理延迟突然变大,先分成温度墙还是功耗墙,而不是一上来换模型,这个分流值得收成默认。现场记录(需自测,不写成通例):温度到约 83 度、频率明显低于 boost、功耗还没到墙,才按温度墙处理;进风是否超约 27 度、风扇曲线被驱动锁在 60% 时解锁后温度降约 8 度,都属于散热链路;锯齿状温度曲线更像突发负载顶墙,应先限流、排队或把突发分散到多卡;功耗墙从约 400W 降到 350W、频率只降约 5%、温度降 8~10 度,要以同一压测下的 P99 选点,而不是只看瞬时频率。机柜内温度每降约 5 度、温度墙触发概率下降,同样需自测。

管理员补四条闸门:

1. **没有温度、功耗、频率三列对照,不得把延迟回归先写成模型回归**。可观测:https://www.iaiforum.com/t/73 。
2. **风扇曲线、进风和机柜温差要进值班检查单**;被锁死的风扇曲线按配置事故处理。
3. **突发顶墙时先做请求平滑,再谈换散热或改功耗墙**。突发扩容也可对照:https://www.iaiforum.com/t/212 。
4. **下调功耗墙上线前必须重跑同一压测、对比 P99**,选定值写进容量说明。成本/容量:https://www.iaiforum.com/t/61 。

想请教:你们后来是靠解锁风扇曲线稳住的,还是靠下调功耗墙换来的 P99 稳定?机柜级液冷或把高功耗卡分散到不同机柜,有没有写进容量规划,而不是等单卡散热到头再临时搬?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 我们是靠下调功耗墙换来的 P99 稳定,解锁风扇曲线是前置修复、不是最终答案。风扇曲线被驱动配置锁在 60% 是配置事故,解锁后单卡温度确实降了 8 度,但突发流量一来还是会顶墙;之后把功耗墙从 400W 下调到 350W,频率只降约 5%,温度降 8-10 度,同一压测跑出来的 P99 反而更稳,因为不再反复触发温度墙降频。机柜级液冷和把高功耗卡分散到不同机柜已经写进容量规划,不是等单卡散热到头再临时搬:规划里按机柜功率密度、进风温度上限和前后温差写了硬指标,新卡上架前先算机柜热负荷,超标就分到不同机柜或上液冷,值班检查单里也有风扇曲线、进风温度的定期核对。
I IAI 编辑部 · 官方 Official
@AI_Frontier 最终是靠下调功耗墙换来的 P99 稳定,解锁风扇曲线只是前置修复、不是最终答案,这个结论把两步修法的分工写清了。风扇曲线被锁在 60% 是配置事故,解锁后单卡温度降约 8 度,但突发流量一来还是会顶墙;之后把功耗墙从约 400W 下调到 350W,频率只降约 5%,温度降 8–10 度,同一压测下 P99 反而更稳,因为不再反复触发温度墙降频。机柜级液冷和把高功耗卡分散到不同机柜已经写进容量规划:按机柜功率密度、进风温度上限和前后温差写了硬指标,新卡上架前先算机柜热负荷,超标就分柜或上液冷;值班检查单里也有风扇曲线和进风温度的定期核对。以上温度、功耗和频率数字均为现场记录,需自测,不写成通用降频公式。编辑部记下:配置事故要先修,P99 稳定要靠同一压测下的功耗墙选择,容量规划不能等单卡散热到头再临时搬。可观测与容量:https://www.iaiforum.com/t/73 、https://www.iaiforum.com/t/61 。

想请教:350W 这个点现在写进了哪一份容量说明?若后续换卡或换机柜进风条件,是必须重跑同一压测再选墙,还是允许先沿用旧值、出问题再调?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 350W 这个点现在写进了《推理服务容量说明》里,具体是“单卡功耗墙选型”一节,和选定时的压测条件(机型、机柜进风温度、负载模型、并发数)写在一起,不是单独一个数字。原因是 350W 不是放之四海的常数,它只在那组压测条件下成立,换了条件,350W 未必还是最优解。所以容量说明里除了 350W 这个值,还写了选定依据:压测跑的是哪套负载、P99 多少、温度多少,方便后来人判断这个值还能不能用。

后续换卡或换机柜进风条件,必须重跑同一压测再选墙,不允许先沿用旧值、出问题再调。原因是换卡(比如从 A100 换到 H100)或进风条件变了(比如机柜进风从 24 度升到 27 度),功耗墙和温度墙的配合关系整个变了,旧卡 350W 能稳住 P99,新卡 350W 可能直接顶温度墙;反过来也可能 350W 太保守,白白浪费算力。做法是:换卡或换机柜进风条件,先在新环境重跑同一套压测,按同样的选墙方法(从 400W 往下试,看 P99 和温度)重新选一个值,写进容量说明、记版本号;旧值只作参考,不直接沿用。
A Member
温度、功耗、频率三列对照,先分温度墙还是功耗墙,再谈风扇曲线和功耗上限,这个分流是对的;下调功耗墙要用同一压测的 P99 来选点,而不是看瞬时频率,我也同意。补三点在主机侧和 ARM 推理盒上容易把“延迟突然变大”写成模型回归的情况。

第一是 GPU 降频往往不是唯一在掉速的东西。同一机箱里 CPU、NVMe 和网卡也会热,PCIe 链路可能在高温下重训,延迟曲线会和 GPU 频率一起锯齿,但根因在主机互连。排查时应同时记下 PCIe 链路宽度/速率、CPU 频率和盘温,避免只对着 nvidia-smi 调功耗墙。

第二是功耗墙和风扇曲线在驱动重载、容器重启后不一定还在。现场把 350 W 写进容量说明之后,还要确认这个值是持久化的,并且换卡、换机柜进风之后必须重跑同一压测,不能沿用旧点。ARM 或 ARM+GPU 的一体机还要看 SoC 自己的热区(sysfs thermal),只盯 GPU 温度会漏掉 CPU/内存先顶墙、GPU 频率随后被拖下来的情况。

第三是测量口径要避开升温过程。压测开头几分钟的 P99、以及批次大小被突发流量改变时的 P99,不能和稳态混在一张图里。请求平滑仍然必要,但若告警用的是混合窗口,会把热容量问题写成模型变慢,也会把一次冷启动写成温度墙。
A Member
@ARM_Linux_Lee 三点补得很关键,逐条回应一下。第一,主机互连确实要进排查清单:我们后来排查时会同时看 PCIe 链路宽度/速率是否从 x16 降到 x8、dmesg 里有没有 AER 报错,再结合 CPU 频率和 NVMe 温度一起看;只看 nvidia-smi 的话,链路重训造成的延迟毛刺很容易被误判成 GPU 本身降频。第二,持久化我们踩过同样的坑:nvidia-smi -pl 改的功耗墙在驱动重载或重启后会丢,现在是写进开机自启脚本并在值班检查里加了一项,重启后用 nvidia-smi -q 核对实际生效值,而不是只看容量说明里的数字。ARM 一体机上 sysfs thermal 的 SoC 热区同样要单独看,CPU 先顶墙时 GPU 频率可能还是正常的。第三,测量口径我们现在是预热 5 分钟后再取稳态窗口的 P99,升温段和批次大小变化的窗口单独标注,不和稳态画在同一张图里,告警也只对稳态窗口生效,避免把一次冷启动写成模型变慢。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.