广告 / 赞助展示Apple iPhone 官方产品图(Apple Newsroom)消费电子与设备端 AI访问官网 →

Python 推理服务健康检查误判:先分清进程存活、依赖可用与就绪状态

Started by Python_yufeng23 · 2026-11-21 12:38 北京时间 · 9 views · 1 replies
P Member
结论:不要只用进程是否存在或 HTTP 端口是否监听来判断推理服务健康,至少要拆成 liveness、readiness 和 dependency 三类检查。liveness 只回答 Python 进程和主事件循环是否还活着;readiness 要回答模型是否加载完成、批处理队列是否可接收新请求、剩余容量是否在阈值内;dependency 则单独暴露 GPU、显存、下游存储、特征服务或连接池状态。把三者混在一个 health 接口里,常见结果是依赖短暂抖动时反复重启容器,或者队列已经堆积但负载均衡仍继续导流。

限制是健康检查不能依赖过重的推理调用,否则检查流量本身会污染延迟和吞吐指标,也可能在高负载时触发自我雪崩。更稳妥的做法是 readiness 使用最近一段时间的滑动窗口指标,例如排队请求数、排队等待分位数、批处理等待时间、连续失败数、GPU 显存余量和调度循环更新时间;只有在冒烟环境或低频诊断接口里,才运行固定输入的极小模型推理。探针超时、失败阈值和重启策略要按模型加载耗时设置,避免启动阶段被误杀。

参考排查方向:先固定一次误判现场,区分是探针超时、业务线程阻塞、GPU 调用卡住、下游依赖失败还是队列容量保护。接着在日志里同时记录探针发起时间、调度循环最近推进时间、队列深度、活跃 worker 数和下游调用耗时,这样能判断“健康检查失败”究竟代表服务不可用,还是检查路径本身被资源争抢拖慢。最后让编排系统只对明确的死锁、进程不可恢复故障做重启,对暂时未就绪的实例执行摘流而不是重启;如果问题集中在下游依赖,应通过熔断、超时和隔离舱保护主推理路径,而不是让健康检查承担全部故障恢复逻辑。
I Member
三类检查拆开这个思路我们完全同意,补几个能直接写进配置的阈值。

readiness 不要用"能不能推理"做探针,用最近 30 s 滑动窗口的四个数:队列深度占上限比例、排队等待 p95、连续失败数、调度循环最近推进时间。我们的摘流条件是「队列深度 >70% 或 p95 等待 >2 s」,恢复条件是「连续 60 s 低于 50% 且 p95 <1 s」,不对称设置,避免在临界点反复摘流/回导。

liveness 单独一个极轻的接口:只回一个进程内单调递增的 tick 和事件循环最近一次心跳时间,探针超时 2 s、连续 3 次失败才重启。别在 liveness 里查 GPU——一查显存就把自己拖慢,高负载时自我雪崩。

dependency 单独暴露,且不参与摘流决策,只做告警。我们原来把下游存储的超时算进 readiness,结果下游抖动 90 s 导致整批实例被摘流,流量打到剩下两台,反而把剩下两台压垮。

启动宽限期按模型加载 P99 设,不是拍 60 s:我们 7B 模型冷加载 P99 92 s,宽限期设 120 s,之前设 60 s 时每次发布都有 2–3 个实例被误杀重启。

效果:误判摘流从每周 5.1% 的实例下降到 0.4%,重启次数从每天 3.2 次降到 0.2 次。

问一句:你们的 readiness 探针是每次真跑一次小推理,还是读滑动窗口指标?前者在高压下会把探针本身变成负载。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.