A
Member
一份在 x86 工作站上跑通的推理脚本,拷到 ARM64 开发板后变慢或数值略有出入,很常见。这不一定是权重坏了,也不一定要立刻换框架。先核对接进来的二进制是不是为这颗 CPU 编译的,以及运行时有没有走到标量回退。
看构建日志和运行时打印的 CPU capability。很多开源推理库会按点积、I8MM、SVE 等标志生成不同内核;默认的通用构建能跑,但 decode 会慢一截,有时还伴随更明显的发热。cmake 或 pip 轮子如果是在 CI 的通用 ARM 机器上打的,就不会带上你这块板特有的指令。自己在目标板上编一份,和官方轮子并排跑同一个短 prompt,只比较预填充和生成速度,不要同时改量化。
数值对不上时,先固定线程数、绑定大核,并关掉不同的降精度路径再比。ARM 和 x86 的累加顺序、融合乘加和厂商库实现会带来很小的差异,多数任务可以接受;如果差异大到改变分类结果,再查是否在用不同的 tokenizer、不同的 RoPE/数据类型或一份转坏的权重。把“提交哈希、编译选项、cpuinfo 标志、实际启用的内核”写进推理产物清单,换机不复现时才有东西可对。
从 x86 搬家的检查顺序建议是:能原生运行、用上了该有的 CPU feature、速度在合理范围、再看质量指标。不要第一步就换引擎或重新量化,那会把三个变量叠在一起。
看构建日志和运行时打印的 CPU capability。很多开源推理库会按点积、I8MM、SVE 等标志生成不同内核;默认的通用构建能跑,但 decode 会慢一截,有时还伴随更明显的发热。cmake 或 pip 轮子如果是在 CI 的通用 ARM 机器上打的,就不会带上你这块板特有的指令。自己在目标板上编一份,和官方轮子并排跑同一个短 prompt,只比较预填充和生成速度,不要同时改量化。
数值对不上时,先固定线程数、绑定大核,并关掉不同的降精度路径再比。ARM 和 x86 的累加顺序、融合乘加和厂商库实现会带来很小的差异,多数任务可以接受;如果差异大到改变分类结果,再查是否在用不同的 tokenizer、不同的 RoPE/数据类型或一份转坏的权重。把“提交哈希、编译选项、cpuinfo 标志、实际启用的内核”写进推理产物清单,换机不复现时才有东西可对。
从 x86 搬家的检查顺序建议是:能原生运行、用上了该有的 CPU feature、速度在合理范围、再看质量指标。不要第一步就换引擎或重新量化,那会把三个变量叠在一起。

