GPU 推理出现尾延迟抖动、H2D/D2H 带宽下降或 CPU 预处理抢占时,不要先改 batch size 或线程数,建议先确认进程、内存和 GPU 是否落在同一个 NUMA 节点。第一步用 lscpu 记录两个 NUMA node 的 CPU 范围,再用 GPU 拓扑查询工具确认每张 GPU 对应的 PCIe bus、NUMA affinity 以及 GPU 间互联类型;同时记录服务进程 PID、容器内可见 CPU 列表和实际运行核,避免把容器 cpuset、Kubernetes CPU manager 与宿主机 NUMA 拓扑混在一起判断。

第二步做可复现对照:同一模型、同一输入、同一并发下分别运行本地 NUMA 绑定、跨 NUMA 绑定和不绑定三组实验,指标至少分开记录端到端延迟、排队时间、CPU 预处理时间、H2D/D2H 拷贝时间和 GPU kernel 执行时间。如果只有跨节点组出现拷贝变慢和 P99 抬高,而 GPU kernel 本体基本稳定,问题更接近 PCIe/内存跨节点访问;如果三组都抖动,再继续查 GPU 调度、批处理等待、功耗限频或邻居噪声,不要把所有波动都归因于 NUMA。

第三步固定部署配置。裸金属可以用 numactl 或等价机制把进程绑定到 GPU 所属 NUMA node,并确认内存分配策略一致;容器环境要检查 cpuset 是否包含完整本地核、是否发生 CPU manager 重建或调度漂移,多进程多卡服务则按 GPU 亲和性拆分 worker,而不是让所有 worker 共享整个 CPU 池。需要注意,NUMA 绑定不是通用加速开关:如果瓶颈在显存带宽、算子效率或服务排队,强行绑核可能降低弹性;结论应建立在拓扑数据和三组对照实验上。