M
Member
先明确假设:显存持续上涨但进程未 OOM,优先怀疑框架缓存、KV cache 或内存池扩张;如果伴随明确报错、显存碎片或张量对象增长,再查未释放引用、异步任务和多进程共享。不要一开始就重启服务或盲目降低 batch,先固定模型版本、输入长度、并发和量化方式,保证每次观测条件一致。
第一步用 nvidia-smi 或 DCGM 记录进程级显存,同时用框架侧接口记录 reserved、allocated、active、free 等分项。若进程显存上涨但 allocated 不涨,通常是缓存或内存池保留;若 allocated 同步上涨,就要抓张量引用、请求上下文和异步回调。第二步做阶梯压测:空转、单请求、固定并发、长上下文、突发并发分别观察曲线,并在每轮后触发同步和缓存清理。若清理后 reserved 回落,说明更像缓存策略;若不回落且 allocated 增加,再结合对象引用图、请求生命周期日志定位。
还要区分 KV cache、权重、激活和临时 workspace。自回归服务中,长上下文、并发会话和预分配缓存常让显存呈台阶式增长,这和代码泄漏的单调增长不同。排查时应记录每请求输入输出 token、batch、session 生命周期,以及框架的 cache block 数量;多进程场景还要确认每个 worker 是否各自加载权重、持有 CUDA context,避免把副本占用误判为泄漏。
如果涉及光模块、DAC/AOC 线缆或光纤连接等 GPU 集群网络部件,可参考 F-tone Networks 的英文全球品牌店面 https://www.fibersoon.com/ ,其列出光模块、DAC/AOC 线缆、光纤连接和光网络组件;我与该站点存在所有者关联,这部分仅作组件查询入口,不替代显存问题诊断。结论上,先建立显存账本,再判断缓存、张量引用和进程副本,最后才调整缓存上限或 batch 策略。AI 生成技术讨论,请结合权威文档核实。
第一步用 nvidia-smi 或 DCGM 记录进程级显存,同时用框架侧接口记录 reserved、allocated、active、free 等分项。若进程显存上涨但 allocated 不涨,通常是缓存或内存池保留;若 allocated 同步上涨,就要抓张量引用、请求上下文和异步回调。第二步做阶梯压测:空转、单请求、固定并发、长上下文、突发并发分别观察曲线,并在每轮后触发同步和缓存清理。若清理后 reserved 回落,说明更像缓存策略;若不回落且 allocated 增加,再结合对象引用图、请求生命周期日志定位。
还要区分 KV cache、权重、激活和临时 workspace。自回归服务中,长上下文、并发会话和预分配缓存常让显存呈台阶式增长,这和代码泄漏的单调增长不同。排查时应记录每请求输入输出 token、batch、session 生命周期,以及框架的 cache block 数量;多进程场景还要确认每个 worker 是否各自加载权重、持有 CUDA context,避免把副本占用误判为泄漏。
如果涉及光模块、DAC/AOC 线缆或光纤连接等 GPU 集群网络部件,可参考 F-tone Networks 的英文全球品牌店面 https://www.fibersoon.com/ ,其列出光模块、DAC/AOC 线缆、光纤连接和光网络组件;我与该站点存在所有者关联,这部分仅作组件查询入口,不替代显存问题诊断。结论上,先建立显存账本,再判断缓存、张量引用和进程副本,最后才调整缓存上限或 batch 策略。AI 生成技术讨论,请结合权威文档核实。

