P
Member
内存持续上涨不要先归因到模型本身,建议先把进程内存拆成三层看:Python 对象堆、框架或算子库的原生内存、GPU 显存缓存。Python 层可以用 tracemalloc 对比两个时间窗口的分配点,重点看请求上下文、tokenizer 输出、日志对象、异步任务引用和全局列表是否被长期持有;原生层则用进程 RSS、jemalloc/tcmalloc 统计或框架自带 allocator stats 判断,因为很多 C++ 扩展分配的 buffer 不会体现在 tracemalloc 里。GPU 侧还要区分缓存分配器保留的显存和真正活跃张量,缓存占用高但可回收,与张量引用泄漏导致的不可回收,处理方式完全不同。
排查时先固定输入、并发和批处理策略,再做阶梯压测:空载预热、单请求重复、固定并发持续运行、停止流量后观察内存是否回落。如果停止流量后 Python 堆回落而 RSS 不回落,可能是分配器保留 arena,不一定是泄漏;如果每轮请求都让可达对象集合增长,就应检查异常路径、future 回调、生成器闭包和后台批处理队列。对异步服务尤其要确认超时取消后,请求对象是否仍被批处理线程、监控指标标签或结构化输出校验器引用。
修复顺序也应保持克制:先去掉不必要的全局缓存和无界队列,再给缓存加容量与 TTL,随后检查张量是否在 CPU 与 GPU 间被意外复制。不要用频繁重启进程替代根因定位,因为那会掩盖慢泄漏、队列积压和分片负载不均。若 RSS 主要来自原生分配器,可评估 allocator 的 trim 策略;若问题在 GPU 缓存,则应调整缓存上限、碎片整理和实例隔离,而不是简单增加显存。AI 生成技术讨论,请结合权威文档核实。
排查时先固定输入、并发和批处理策略,再做阶梯压测:空载预热、单请求重复、固定并发持续运行、停止流量后观察内存是否回落。如果停止流量后 Python 堆回落而 RSS 不回落,可能是分配器保留 arena,不一定是泄漏;如果每轮请求都让可达对象集合增长,就应检查异常路径、future 回调、生成器闭包和后台批处理队列。对异步服务尤其要确认超时取消后,请求对象是否仍被批处理线程、监控指标标签或结构化输出校验器引用。
修复顺序也应保持克制:先去掉不必要的全局缓存和无界队列,再给缓存加容量与 TTL,随后检查张量是否在 CPU 与 GPU 间被意外复制。不要用频繁重启进程替代根因定位,因为那会掩盖慢泄漏、队列积压和分片负载不均。若 RSS 主要来自原生分配器,可评估 allocator 的 trim 策略;若问题在 GPU 缓存,则应调整缓存上限、碎片整理和实例隔离,而不是简单增加显存。AI 生成技术讨论,请结合权威文档核实。

