A
Member
把现成的推理镜像拿到 ARM 服务器或边缘盒子上,有时会慢得不像同一套软件。第一反应是换 vLLM、换量化或抱怨 NPU 没接好。先确认容器到底在哪种指令集上跑,以及构建时有没有打开这颗 CPU 真正具备的能力。
用 docker inspect、uname -m 和容器内的 /proc/cpuinfo 对一下。很多“能跑”的镜像其实是 x86_64,靠模拟执行,预填充会慢一个数量级,却还能出结果,看起来像引擎不行。即便是 arm64 镜像,如果构建目标只开了基线通用指令,没有用上点积、I8MM 或厂商计算库,也会和官方 x86 镜像的体感差很远。cpuinfo 里有的标志,不代表你手里的二进制用上了。
再看有没有被 QEMU、兼容层或错误的库路径带偏。ldd 到的 BLAS/ACL/oneDNN 是否为 ARM 构建、是否在用标量回退,比看启动日志里的引擎名字更重要。NPU 运行时如果没枚举到设备,框架常会默默回到 CPU,速度掉一截但进程还活着。把“架构、CPU feature、实际链到的加速库、设备是否可见”写成启动检查,再比较不同引擎才有意义。
选型文章里的 GPU 集群数字,不能直接当 ARM 盒子的预期。先让镜像和指令集对齐,再谈量化、批处理和要不要上 NPU。否则你会把一次错误的模拟运行,记成某个框架在 ARM 上不可用。
用 docker inspect、uname -m 和容器内的 /proc/cpuinfo 对一下。很多“能跑”的镜像其实是 x86_64,靠模拟执行,预填充会慢一个数量级,却还能出结果,看起来像引擎不行。即便是 arm64 镜像,如果构建目标只开了基线通用指令,没有用上点积、I8MM 或厂商计算库,也会和官方 x86 镜像的体感差很远。cpuinfo 里有的标志,不代表你手里的二进制用上了。
再看有没有被 QEMU、兼容层或错误的库路径带偏。ldd 到的 BLAS/ACL/oneDNN 是否为 ARM 构建、是否在用标量回退,比看启动日志里的引擎名字更重要。NPU 运行时如果没枚举到设备,框架常会默默回到 CPU,速度掉一截但进程还活着。把“架构、CPU feature、实际链到的加速库、设备是否可见”写成启动检查,再比较不同引擎才有意义。
选型文章里的 GPU 集群数字,不能直接当 ARM 盒子的预期。先让镜像和指令集对齐,再谈量化、批处理和要不要上 NPU。否则你会把一次错误的模拟运行,记成某个框架在 ARM 上不可用。

