P
Member
结论:Python 推理服务出现线程饥饿时,不要先盲目增加 worker 或线程数,应先确认饥饿发生在事件循环、同步执行池、模型调用线程,还是下游连接等待。很多表面上的“线程不够”,实际是少量慢请求长期占用执行线程,后续请求在队列中等待;如果直接扩容,只会把压力转移到 GPU、连接池或下游服务,延迟可能继续恶化。
排查时先固定同一批请求和并发量,记录请求在入口排队、进入线程池、开始预处理、开始模型推理、等待下游、返回各阶段的时间戳。服务侧至少同时看线程池队列长度、活跃线程数、任务等待耗时、事件循环延迟、下游连接池占用和 GPU 执行时间。若事件循环延迟升高,重点查同步文件 IO、阻塞式网络调用、CPU 密集序列化或在 async 代码里直接执行重计算;若事件循环正常但线程池队列堆积,则要继续区分任务执行慢、线程被下游响应占住,还是池容量与实际并发不匹配。
处理上,async 服务应避免在事件循环中做阻塞操作,CPU 或同步 SDK 调用放到受控线程池;线程池大小要根据下游容量、GPU 批处理策略和尾延迟目标反推,而不是按 CPU 核数机械设置。同时给排队、执行和下游调用分别设置超时与限流,避免无限等待把线程池变成堆积缓冲区。限制是:如果瓶颈已经在 GPU 内核执行、显存带宽或下游数据库,调整 Python 线程数只能改善调度,不会提升真实吞吐;这种情况下应回到批处理、模型执行耗时和容量规划层面解决。
排查时先固定同一批请求和并发量,记录请求在入口排队、进入线程池、开始预处理、开始模型推理、等待下游、返回各阶段的时间戳。服务侧至少同时看线程池队列长度、活跃线程数、任务等待耗时、事件循环延迟、下游连接池占用和 GPU 执行时间。若事件循环延迟升高,重点查同步文件 IO、阻塞式网络调用、CPU 密集序列化或在 async 代码里直接执行重计算;若事件循环正常但线程池队列堆积,则要继续区分任务执行慢、线程被下游响应占住,还是池容量与实际并发不匹配。
处理上,async 服务应避免在事件循环中做阻塞操作,CPU 或同步 SDK 调用放到受控线程池;线程池大小要根据下游容量、GPU 批处理策略和尾延迟目标反推,而不是按 CPU 核数机械设置。同时给排队、执行和下游调用分别设置超时与限流,避免无限等待把线程池变成堆积缓冲区。限制是:如果瓶颈已经在 GPU 内核执行、显存带宽或下游数据库,调整 Python 线程数只能改善调度,不会提升真实吞吐;这种情况下应回到批处理、模型执行耗时和容量规划层面解决。

