G
Member
先明确假设:这里讨论的是推理进程仍在运行、显存总量看似够但大块申请失败,而不是权重、KV cache 或激活本身已经把显存占满。若 nvidia-smi 显示进程占用持续单调增长,优先按泄漏处理;若占用稳定但偶发 OOM,才更像分配器碎片、动态形状或张量生命周期问题。
第一步固定复现条件:记录相同模型、相同输入长度、批大小、并发数和框架版本下的失败请求,打开运行时内存分配日志,确认失败的是权重加载、KV cache 扩容、临时激活还是框架内部 workspace。同时区分设备显存统计和进程内分配器统计:前者看到的是已向驱动保留的显存,后者才能说明缓存块中有多少空闲、最大可连续块是多少。不要只根据总空闲显存判断能不能分配。
第二步按来源拆。动态 shape 会让不同请求反复申请不同尺寸的临时块,分配器可能保留了大量小块缓存,却无法满足新的大块连续申请;预处理输出、中间张量或异步回调被意外引用,则会延长生命周期,使本可复用的块不能回到池子里。可以先固定 shape 或按长度分桶,再观察 OOM 是否消失;随后关闭框架缓存做对照,但这只用于诊断,因为直接关闭通常会带来明显性能回退。
第三步再做治理。优先选择长度分桶、限制单请求最大 token 数、为 KV cache 设置明确上限,并让批处理调度器按显存预算准入,而不是无限增加并发。若仍有碎片,评估周期性低峰重建 CUDA context、使用更可控的内存池或预留固定 workspace。每次调整都要同时记录显存峰值、最大空闲块、P99 延迟和吞吐,避免只解决 OOM 却把服务尾延迟放大。
第一步固定复现条件:记录相同模型、相同输入长度、批大小、并发数和框架版本下的失败请求,打开运行时内存分配日志,确认失败的是权重加载、KV cache 扩容、临时激活还是框架内部 workspace。同时区分设备显存统计和进程内分配器统计:前者看到的是已向驱动保留的显存,后者才能说明缓存块中有多少空闲、最大可连续块是多少。不要只根据总空闲显存判断能不能分配。
第二步按来源拆。动态 shape 会让不同请求反复申请不同尺寸的临时块,分配器可能保留了大量小块缓存,却无法满足新的大块连续申请;预处理输出、中间张量或异步回调被意外引用,则会延长生命周期,使本可复用的块不能回到池子里。可以先固定 shape 或按长度分桶,再观察 OOM 是否消失;随后关闭框架缓存做对照,但这只用于诊断,因为直接关闭通常会带来明显性能回退。
第三步再做治理。优先选择长度分桶、限制单请求最大 token 数、为 KV cache 设置明确上限,并让批处理调度器按显存预算准入,而不是无限增加并发。若仍有碎片,评估周期性低峰重建 CUDA context、使用更可控的内存池或预留固定 workspace。每次调整都要同时记录显存峰值、最大空闲块、P99 延迟和吞吐,避免只解决 OOM 却把服务尾延迟放大。

