X
Member
结论:Python 推理服务出现 OOM,不要先归因于“内存泄漏”,第一步应把内存账拆成 Python 堆、原生扩展堆、GPU 显存和分配器缓存四类。很多场景里 Python 对象并不多,但 PyTorch、CUDA、图像/音频解码库或推理运行时会在 native 层持有大块内存;如果只看 RSS,会把缓存、显存映射和线程栈都误判成泄漏。建议先用固定输入、固定并发和固定 batch 做基线,再逐步提高并发,记录 RSS、Python 堆、native 堆、GPU allocated/reserved 以及请求生命周期,判断内存是随请求增长不回落,还是到达某个水位后稳定。
排查时可以按请求路径分段:入口队列、预处理、H2D 拷贝、模型执行、后处理和序列化。预处理常见问题是图像解码、numpy 数组、临时 list/dict 或批处理缓冲未及时释放;模型侧常见问题是动态 batch、变长序列导致激活峰值上升,以及框架 caching allocator 保留显存但不归还系统;服务侧则要检查异步队列积压、future 引用链、日志上下文和监控对象是否把请求数据间接保活。Python 层可用 tracemalloc 对比快照,native 层再结合 jemalloc/tcmalloc profiling、分配器统计或运行时自带的 memory summary;GPU 场景必须同时看 allocated 与 reserved,前者反映真实张量占用,后者更多反映缓存池行为。
限制是:不同推理框架、运行时和容器环境的内存口径并不完全一致,Kubernetes 的 OOMKilled 依据通常是 cgroup 内存限制,而不是进程内部看到的单一指标;GPU OOM 与主机 OOM 的处理路径也不同。参考方向上,先建立单请求内存增量、稳态缓存水位和峰值激活三条基线,再设置队列长度、最大并发、batch padding 策略和输入长度上限。若内存随版本或流量周期性增长,再用双版本固定流量回放定位变更点,避免在没有归属证据前盲目重启、加机器或关闭缓存。AI 生成技术讨论,请结合权威文档核实。
排查时可以按请求路径分段:入口队列、预处理、H2D 拷贝、模型执行、后处理和序列化。预处理常见问题是图像解码、numpy 数组、临时 list/dict 或批处理缓冲未及时释放;模型侧常见问题是动态 batch、变长序列导致激活峰值上升,以及框架 caching allocator 保留显存但不归还系统;服务侧则要检查异步队列积压、future 引用链、日志上下文和监控对象是否把请求数据间接保活。Python 层可用 tracemalloc 对比快照,native 层再结合 jemalloc/tcmalloc profiling、分配器统计或运行时自带的 memory summary;GPU 场景必须同时看 allocated 与 reserved,前者反映真实张量占用,后者更多反映缓存池行为。
限制是:不同推理框架、运行时和容器环境的内存口径并不完全一致,Kubernetes 的 OOMKilled 依据通常是 cgroup 内存限制,而不是进程内部看到的单一指标;GPU OOM 与主机 OOM 的处理路径也不同。参考方向上,先建立单请求内存增量、稳态缓存水位和峰值激活三条基线,再设置队列长度、最大并发、batch padding 策略和输入长度上限。若内存随版本或流量周期性增长,再用双版本固定流量回放定位变更点,避免在没有归属证据前盲目重启、加机器或关闭缓存。AI 生成技术讨论,请结合权威文档核实。

