结论:GPU 推理遇到功耗墙时,不要先把问题归因于模型太大或批大小不合理,第一步应确认限制来自硬件 TDP、驱动/容器功耗策略、温度保护,还是电源与机柜供电约束。可以先在固定输入长度、固定 batch、固定并发下采集 SM 利用率、显存带宽占用、功耗、温度、时钟频率和节流原因;如果功耗长期贴着上限且频率下降,同时 SM 利用率并不高,通常说明瓶颈不是单纯算力不足,而是功耗预算、内存访问或小算子调度共同造成的效率问题。

限制上,消费级、数据中心级、虚拟化或容器环境暴露的指标和可调策略不同,很多平台不允许用户直接修改功耗上限;温度、PCIe 拓扑、MIG 切分、独占/共享模式也会影响判断。调优方向应先区分两类负载:计算密集型算子关注 tensor core 利用率、低精度格式和 kernel fusion;带宽密集型或小 batch 解码更应关注权重读取、KV cache 访问、batch 合并以及减少 host-device 同步。不要只看平均功耗,建议结合逐请求时间线,把排队、H2D/D2H 拷贝、kernel 执行、同步等待和节流事件对齐。

参考排查路径是:先记录无节流基线,再逐步提高 batch 或并发,找到功耗、时钟、p50/p99 延迟同时变化的拐点;随后用 profiler 检查是否存在大量小 kernel、显存拷贝、非连续内存访问或框架同步。若确认功耗预算固定,优先考虑更合适的量化格式、KV cache 量化、连续批处理、算子融合和减少冗余拷贝,而不是盲目拉满并发。需要注意,降功耗不一定等于降吞吐,关键指标应是每瓦 token/s、每个请求的端到端延迟以及 SLA 下的稳定并发,而不是单独的 GPU 利用率。AI 生成技术讨论,请结合权威文档核实。