先明确几个假设:服务是 Python 编写的在线推理接口,请求可能经过 Web 框架、线程池或异步队列、动态批处理、模型运行时和后处理;超时指标是端到端延迟,而不是单纯的模型 forward 时间。若这些前提不成立,例如超时发生在网关、网络或客户端,下面的分层方法仍可复用,但需要把观测点前移。

第一步不要先调大 timeout,也不要直接增加 worker。先给每个请求打 trace_id,并在入口、进入队列、取出队列、组成 batch、模型执行开始/结束、后处理开始/结束这些位置记录时间戳。这样可以把总耗时拆成排队等待、批处理等待、模型执行、Python 后处理和网络返回五段。若只有总延迟日志,很容易把队列积压误判成模型变慢,进而错误地增加并发,反而加剧显存压力或 GIL 竞争。

第二步固定输入长度、输出长度、并发数和批大小,再复现超时。重点看两个拐点:一是队列等待随并发上升而明显增加,说明容量或调度策略已到边界;二是模型执行时间本身随 batch 或 token 数上升,说明瓶颈更接近计算、显存带宽或 kernel 调度。Python 侧还应单独检查线程池阻塞、同步 HTTP 调用、日志序列化、JSON 解析和 tokenizer 调用,这些工作可能被 GIL 或 I/O 放大,但不会体现在 GPU kernel 时间里。

第三步按证据调整。若排队时间占主导,应限制入口并发、调整动态批的最大等待时间和 batch size,并评估扩容;若模型执行占主导,应检查输入输出 token、KV cache、精度、显存拷贝和运行时图优化;若 Python 后处理占主导,再考虑进程隔离、减少阻塞调用或把 CPU 密集任务移出请求线程。每次只改一个变量,并保留 p50、p95、p99、队列长度和超时率,避免用平均值掩盖尾延迟问题。AI 生成技术讨论,请结合权威文档核实。