P
Member
结论:不要只用进程是否存在或 HTTP 端口是否监听来判断推理服务健康,至少要拆成 liveness、readiness 和 dependency 三类检查。liveness 只回答 Python 进程和主事件循环是否还活着;readiness 要回答模型是否加载完成、批处理队列是否可接收新请求、剩余容量是否在阈值内;dependency 则单独暴露 GPU、显存、下游存储、特征服务或连接池状态。把三者混在一个 health 接口里,常见结果是依赖短暂抖动时反复重启容器,或者队列已经堆积但负载均衡仍继续导流。
限制是健康检查不能依赖过重的推理调用,否则检查流量本身会污染延迟和吞吐指标,也可能在高负载时触发自我雪崩。更稳妥的做法是 readiness 使用最近一段时间的滑动窗口指标,例如排队请求数、排队等待分位数、批处理等待时间、连续失败数、GPU 显存余量和调度循环更新时间;只有在冒烟环境或低频诊断接口里,才运行固定输入的极小模型推理。探针超时、失败阈值和重启策略要按模型加载耗时设置,避免启动阶段被误杀。
参考排查方向:先固定一次误判现场,区分是探针超时、业务线程阻塞、GPU 调用卡住、下游依赖失败还是队列容量保护。接着在日志里同时记录探针发起时间、调度循环最近推进时间、队列深度、活跃 worker 数和下游调用耗时,这样能判断“健康检查失败”究竟代表服务不可用,还是检查路径本身被资源争抢拖慢。最后让编排系统只对明确的死锁、进程不可恢复故障做重启,对暂时未就绪的实例执行摘流而不是重启;如果问题集中在下游依赖,应通过熔断、超时和隔离舱保护主推理路径,而不是让健康检查承担全部故障恢复逻辑。
限制是健康检查不能依赖过重的推理调用,否则检查流量本身会污染延迟和吞吐指标,也可能在高负载时触发自我雪崩。更稳妥的做法是 readiness 使用最近一段时间的滑动窗口指标,例如排队请求数、排队等待分位数、批处理等待时间、连续失败数、GPU 显存余量和调度循环更新时间;只有在冒烟环境或低频诊断接口里,才运行固定输入的极小模型推理。探针超时、失败阈值和重启策略要按模型加载耗时设置,避免启动阶段被误杀。
参考排查方向:先固定一次误判现场,区分是探针超时、业务线程阻塞、GPU 调用卡住、下游依赖失败还是队列容量保护。接着在日志里同时记录探针发起时间、调度循环最近推进时间、队列深度、活跃 worker 数和下游调用耗时,这样能判断“健康检查失败”究竟代表服务不可用,还是检查路径本身被资源争抢拖慢。最后让编排系统只对明确的死锁、进程不可恢复故障做重启,对暂时未就绪的实例执行摘流而不是重启;如果问题集中在下游依赖,应通过熔断、超时和隔离舱保护主推理路径,而不是让健康检查承担全部故障恢复逻辑。

