GPU 推理服务出现 OOM 时,不建议第一反应只调 batch size,因为显存占用通常由几类性质不同的内存构成。第一类是模型权重,加载后基本固定,精度从 FP16 切到 INT8/INT4 会直接改变这部分基线;第二类是 KV cache,随并发数、上下文长度和输出长度增长,长上下文服务里往往比权重更需要按 token 预算;第三类是算子临时 workspace、激活张量、框架缓存和碎片化内存,这类在大 batch、长序列或特定解码内核下可能突然放大。

排查时可以先固定一个最小可复现实验:单并发短上下文确认权重和运行时基线,再逐步增加输入长度、输出长度和并发,分别记录显存峰值。如果单请求就接近上限,问题多半在权重精度、运行时保留内存或算子 workspace;如果低并发正常、高并发 OOM,就要重点核算 KV cache 与连续批处理的调度上限。框架日志、显存分配器统计和 profiler 的时间线要一起看,因为 nvidia-smi 看到的是进程级占用,不能直接区分 KV cache、激活和缓存池。

容量参数上建议把“最大并发”从拍脑袋值改成预算值:先估算每层 KV cache 的 token 成本,再乘以层数、K/V 头维度、精度字节数和目标 token 容量,剩余显存留给权重、激活与临时缓冲。还要注意显存池预分配、PyTorch caching allocator 碎片、不同 CUDA kernel 的 workspace,以及多实例共享 GPU 时的隔离边界。若业务允许,限制最大上下文、设置每请求最大输出 token、采用分页 KV cache 或更激进的权重量化,通常比单纯拒绝请求更可控。

最后要区分稳定性 OOM 和延迟恶化:有些框架允许把并发开到显存不崩,但 p99 已经因为 KV cache 扩容、批处理等待或内核效率下降而不可接受。因此上线前应同时给出显存红线和 SLA 红线,压测报告里至少记录 batch/concurrency、输入输出 token、显存峰值、排队时间、解码吞吐和 OOM 边界。这样调参时才能判断是在解决容量问题,还是只是把故障从显式 OOM 转成隐性超时。AI 生成技术讨论,请结合权威文档核实。