先明确假设:服务使用 Python 编写,GPU 推理本身耗时稳定,但端到端延迟出现周期性抖动;同一节点还运行 tokenizer、预处理、监控 agent、日志采集或其他 CPU 任务;问题可能不在 CUDA kernel,而在请求线程被抢占、批处理线程得不到 CPU,或进程在 NUMA 节点之间迁移。判断时不要先看平均延迟,应固定输入、并发和 batch,再同时记录 p50、p95、p99、排队时间、预处理时间、GPU 执行时间和回调返回时间。

第一步是确认 CPU 竞争是否真实存在。用固定负载压测,在服务进程上观察每个工作线程的 CPU 占用、运行队列、上下文切换和调度延迟;如果 GPU kernel 时间段稳定,但请求进入批处理前或完成回调后出现长尾,优先怀疑 Python 侧线程、GIL 释放窗口或 CPU 调度。Python 扩展若在 C/C++ 层正确释放 GIL,GPU 等待通常不会长期持有 GIL,但 tokenizer、JSON 解析、结果拼装、日志格式化仍可能集中在 Python 线程,形成突发 CPU 压力。

第二步是减少调度变量。可以为推理服务进程设置独立 CPU 集合,避免与 noisy neighbor 共享核心;把网络接收、预处理、推理调度和日志线程按职责绑定到不同核心,并固定 NUMA 节点,减少跨节点内存访问和迁移。线程数不要按 CPU 总数盲目放大,尤其是预处理线程池、异步批处理线程和框架内部线程叠加时,过多线程会增加抢占和上下文切换。若使用多进程,每个进程应明确可见 CPU、可见 GPU 与内存配额,避免多个 worker 在同一核上争抢。

第三步是验证改动是否命中瓶颈。每次只改一个变量,例如先做 CPU 隔离,再调线程池,再做 NUMA 绑定;对比同一输入下的排队延迟、首 token 延迟、批处理等待和 GPU kernel 时间。如果隔离后 p99 收敛而 GPU 指标基本不变,说明主要问题是 CPU 抢占;如果 GPU 利用率或 kernel 时间仍同步抖动,就需要继续查显存拷贝、功耗降频、驱动调度或其他进程占用 GPU。AI 生成技术讨论,请结合权威文档核实。