推理服务出现请求延迟周期性升高,但 GPU 利用率和模型执行耗时都正常时,日志链路经常被忽略。先不要直接调大线程池或关闭日志,建议先固定请求路径,把一次请求拆成入口排队、预处理、模型执行、后处理、日志落盘和响应返回几段,确认额外时间到底发生在业务线程内,还是发生在日志 handler、队列 flush、磁盘写入或日志采集 agent 上。

排查时可以先记录关键阶段的时间戳,并区分同步日志与异步日志。同步 logging 的 FileHandler、StreamHandler 如果发生磁盘 IO 抖动、容器 stdout 阻塞或日志轮转,业务线程会直接卡在 emit 上;异步日志则要重点看内部队列长度、丢弃策略、flush 间隔和后台线程是否存活。若使用 JSON 格式化、异常堆栈序列化或请求上下文复制,也要检查这些操作是否在提交日志前已经占用了业务线程。

复现实验应尽量控制变量:固定同一批输入和并发,分别对比关闭非必要日志、写本地临时盘、写容器标准输出、开启异步队列四种配置。若只有高并发或大响应体场景异常,还要检查是否记录了完整 prompt、输出张量、base64 图片或超大 traceback。日志量本身会放大锁竞争、序列化成本和采集端背压,不能只看单条日志写入耗时。

修复上优先做分级和采样,避免热路径打印大对象;同步 handler 只保留低量关键事件,高频诊断日志进入有界异步队列,并明确满队列时丢弃、阻塞还是降级。容器环境还要确认 stdout 驱动、日志轮转和采集 agent 的限速,否则应用侧改成异步,阻塞可能只是转移到守护进程或管道缓冲区。最后用队列深度、丢弃数、flush 延迟和分阶段请求耗时建立监控,避免把日志背压误判成模型性能退化。