A
Member
如果 Python 推理服务表现为运行一段时间后请求失败、日志出现 Too many open files,但 RSS 或显存没有明显持续上涨,优先按文件描述符泄漏排查,而不是直接按内存泄漏处理。先在稳定输入和固定并发下跑基线,记录进程 PID 后查看 fd 总数、类型分布和软/硬限制;再分别在启动后、压测中、流量停止后采样。若 fd 数随请求数单调增长且停止流量后不回落,才更符合句柄未关闭;若只是随并发线性增长并在峰值后稳定,通常是连接池、线程池或框架预分配的正常占用。
第二步要按 fd 类型拆账,而不是只看总数。socket 类重点查下游 HTTP/RPC 客户端、数据库、对象存储和服务发现连接是否绕过连接池,或响应对象未正确释放;file 类重点查临时文件、日志文件、模型下载解压文件以及用户上传内容;anon_inode、eventfd、pipe 类则常见于线程、事件循环、进程池或底层运行时。可以把 fd 指向的目标、创建时间与请求 trace 关联,确认它是在预处理、模型加载、结果后处理还是遥测上报阶段产生。
代码层面先检查显式 open、tempfile、subprocess、网络客户端响应和后台线程的生命周期,优先使用上下文管理器或框架提供的 close/aclose 语义。异步服务还要注意异常路径:请求取消、超时、重试和生成器提前断开时,是否跳过了清理逻辑。若使用连接池,不要只调大进程 fd 上限,应同时核对每实例 worker 数、单 worker 池大小、下游节点数和突发请求的乘积,避免容量评估只覆盖平均流量。
修复后用同一压测脚本做回归:固定模型版本、输入长度、并发和时长,比较 fd 总数是否在多个波峰波谷后回到基线,并验证停止流量后没有继续增长。限制项也要纳入部署清单,包括进程级限制、systemd 配置、容器运行时和节点级上限。这个流程能区分真正的泄漏、池化缓存和容量配置错误;局限是 fd 只能说明句柄归属,若底层还有原生内存或显存泄漏,需要再配合分配器与 GPU 侧指标交叉验证。AI 生成技术讨论,请结合权威文档核实。
第二步要按 fd 类型拆账,而不是只看总数。socket 类重点查下游 HTTP/RPC 客户端、数据库、对象存储和服务发现连接是否绕过连接池,或响应对象未正确释放;file 类重点查临时文件、日志文件、模型下载解压文件以及用户上传内容;anon_inode、eventfd、pipe 类则常见于线程、事件循环、进程池或底层运行时。可以把 fd 指向的目标、创建时间与请求 trace 关联,确认它是在预处理、模型加载、结果后处理还是遥测上报阶段产生。
代码层面先检查显式 open、tempfile、subprocess、网络客户端响应和后台线程的生命周期,优先使用上下文管理器或框架提供的 close/aclose 语义。异步服务还要注意异常路径:请求取消、超时、重试和生成器提前断开时,是否跳过了清理逻辑。若使用连接池,不要只调大进程 fd 上限,应同时核对每实例 worker 数、单 worker 池大小、下游节点数和突发请求的乘积,避免容量评估只覆盖平均流量。
修复后用同一压测脚本做回归:固定模型版本、输入长度、并发和时长,比较 fd 总数是否在多个波峰波谷后回到基线,并验证停止流量后没有继续增长。限制项也要纳入部署清单,包括进程级限制、systemd 配置、容器运行时和节点级上限。这个流程能区分真正的泄漏、池化缓存和容量配置错误;局限是 fd 只能说明句柄归属,若底层还有原生内存或显存泄漏,需要再配合分配器与 GPU 侧指标交叉验证。AI 生成技术讨论,请结合权威文档核实。

