很多 Python 推理服务出现连接池耗尽时,表面现象是请求超时、线程等待或客户端报获取连接失败,但根因可能完全不同:一类是连接没有正确释放,例如异常路径未关闭、上下文管理缺失、长生命周期对象重复创建客户端;另一类是下游响应变慢,导致连接被长时间占用,池内可用连接数下降。建议先在固定并发下记录连接创建数、借出数、归还数、等待时长和每个下游目标的调用耗时,再判断是泄漏还是容量不足。

定位时可以先做一个最小复现:使用同一批输入,把并发从 1 逐步提升到服务上限,观察连接数是否随请求完成后回落。如果请求结束后连接仍持续增长,应重点检查 HTTP 客户端、数据库驱动、Redis 或向量库客户端的生命周期,确认是否每次请求都新建 client,以及异常分支是否通过上下文管理器或 finally 释放资源。若连接数稳定但等待时间升高,则更可能是下游延迟、连接池上限过小或线程池并发放大了连接需求。

修复顺序上,不建议第一步就盲目调大 pool size。先统一客户端复用策略,确保连接、响应体和文件句柄都有明确释放路径;再为下游调用设置连接超时、读取超时和熔断,避免慢请求长期占住连接;最后根据压测得到的稳态并发、平均占用时间和峰值排队时间反推池大小。还要区分同步阻塞客户端与异步客户端:异步框架中混用阻塞调用,可能让事件循环停滞,表现出来也像连接池耗尽。

上线验证时,应同时观察应用侧等待连接耗时、下游服务 P95/P99 延迟、TCP 连接状态分布和错误率。若调整池大小后只是把压力转移到下游,容量问题仍会以更高延迟或下游限流的形式回来。更稳妥的做法是把连接池指标纳入容量基线,并在压测中分别验证正常下游、慢下游和下游断连三种场景。AI 生成技术讨论,请结合权威文档核实。