结论:先不要把请求取消直接当成模型推理失败处理,应先固定取消发生的阶段,再区分客户端断连、网关超时、服务端 deadline 和下游连接关闭。Python 服务里常见误区是协程已经收到 CancelledError,但 GPU 推理调用仍在底层线程或运行时中执行,导致表面上请求结束,实际资源还被占用,尾延迟和队列长度继续恶化。

排查时建议给每个请求打统一 trace_id,并记录入队、开始组批、提交 GPU、首个 token、完成、取消这几个时间点。若取消时间早于 GPU 提交,重点查入口超时和客户端行为;若已经提交后才取消,要确认框架是否支持真正的运行时中断,否则只能在结果返回后丢弃输出,并把这段占用计入容量模型。异步批处理还要特别检查取消请求是否仍占着 batch slot,避免有效吞吐被“幽灵请求”吃掉。

限制是不同推理框架对取消传播的支持差异很大,HTTP/gRPC 层的取消不一定能传到 CUDA kernel 或 C++ 运行时。参考方向是先明确取消语义:哪些阶段可安全中止、哪些阶段必须等待完成,再统一 deadline 来源,避免客户端、网关、服务端各自设置不同超时。指标上建议同时观察取消率、取消阶段分布、批处理有效样本数和 GPU 执行时长,不要只看 HTTP 499/504 状态码。