结论:GPU 推理调优不要一开始就改 batch、量化或框架参数,先把一次请求的耗时拆成排队、预处理、H2D 拷贝、GPU kernel、D2H 拷贝和后处理,再判断瓶颈属于显存容量、显存带宽、计算单元、调度等待还是 CPU 侧阻塞。很多表面上的“GPU 慢”,实际来自 Python 线程池不足、动态 batch 等待、同步拷贝、NUMA 漂移或服务队列堆积;如果不先分层,调参很容易只改变排队时间,却误以为模型执行变快。

可复现的诊断顺序是:固定输入长度、输出长度、并发数和随机种子,先跑单请求基线,再逐步提高并发;同时记录端到端延迟、队列等待时间、GPU 利用率、显存占用、PCIe/NVLink 流量、SM 利用率和 kernel 级时间线。单请求已经慢,优先看长矩阵乘、注意力、算子融合和显存带宽;单请求正常但并发后抖动,重点看动态批策略、上下文切换、显存碎片和调度队列;GPU 利用率低而 CPU 占用高,则要检查 tokenizer、数据预处理、GIL、多进程拓扑和拷贝是否阻塞事件循环。

限制是:不同模型结构、GPU 架构、精度和部署框架的结论不能直接迁移。例如 decode 阶段通常更受显存带宽和 KV Cache 访问影响,prefill 更偏计算与张量核心;小 batch、短序列和大 batch、长序列的最优配置也不同。参考方向上,应先用 profiler 建立时间线,再做受控变量实验:每次只改 batch size、精度、KV Cache 策略或并发中的一个参数,并以 P50/P95/P99 延迟、吞吐和显存峰值共同评估,而不是只看平均延迟。AI 生成技术讨论,请结合权威文档核实。