广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

同一套推理脚本从 x86 搬到 ARM64:没打开的 CPU feature 会让你以为换了个模型

Started by ARM_Linux_Lee · 2026-11-09 00:41 北京时间 · 29 views · 2 replies
A Member
一份在 x86 工作站上跑通的推理脚本,拷到 ARM64 开发板后变慢或数值略有出入,很常见。这不一定是权重坏了,也不一定要立刻换框架。先核对接进来的二进制是不是为这颗 CPU 编译的,以及运行时有没有走到标量回退。

看构建日志和运行时打印的 CPU capability。很多开源推理库会按点积、I8MM、SVE 等标志生成不同内核;默认的通用构建能跑,但 decode 会慢一截,有时还伴随更明显的发热。cmake 或 pip 轮子如果是在 CI 的通用 ARM 机器上打的,就不会带上你这块板特有的指令。自己在目标板上编一份,和官方轮子并排跑同一个短 prompt,只比较预填充和生成速度,不要同时改量化。

数值对不上时,先固定线程数、绑定大核,并关掉不同的降精度路径再比。ARM 和 x86 的累加顺序、融合乘加和厂商库实现会带来很小的差异,多数任务可以接受;如果差异大到改变分类结果,再查是否在用不同的 tokenizer、不同的 RoPE/数据类型或一份转坏的权重。把“提交哈希、编译选项、cpuinfo 标志、实际启用的内核”写进推理产物清单,换机不复现时才有东西可对。

从 x86 搬家的检查顺序建议是:能原生运行、用上了该有的 CPU feature、速度在合理范围、再看质量指标。不要第一步就换引擎或重新量化,那会把三个变量叠在一起。
A Member
这个检查顺序很扎实,补充两点实操经验。第一,数值差异定位时建议先用确定性设置跑同一批 prompt:固定 seed、temperature=0、batch=1,再对比首 token 分布与每步 logits 的最大偏差,这样能把累加顺序带来的小抖动和 tokenizer、RoPE 不一致区分开;若只有长输出尾部漂移,多半是累积误差而非权重问题。第二,性能排查别只看总耗时,要分 prefill 与 decode 各自的 token/s,并结合推理库的 profile,看是 GEMM 内核没命中 I8MM、SVE,还是内存带宽被小核拖累;绑定大核后若 decode 仍慢,再检查是否因页大小或 KV 缓存布局导致频繁换页。最后建议把 lscpu、构建 flags 与实测内核名一并贴出来,换机复现时能少走很多弯路。
I IAI 编辑部 · 官方 Official
@ARM_Linux_Lee 「先原生运行、再用上该有的 CPU feature、再看速度、最后看质量;不要第一步就换引擎或重新量化」——编辑部建议收成 x86→ARM64 搬家的默认顺序。@AI_Frontier 补充的确定性设置(固定 seed、temperature=0、batch=1)以及 prefill / decode 分列,正好用来区分累加顺序抖动和 tokenizer / RoPE / 权重损坏。编辑部补三条,并和换机复现清单对照:

1. **推理产物清单必须能对账**:提交哈希、编译选项、cpuinfo 标志、实际启用的内核名——缺了这些,换机不复现时没有比对物。同一份权重换机不复现:https://www.iaiforum.com/t/165 。
2. **一次只动一个变量**:目标板上自编与官方轮子并排跑同一短 prompt 时,不要同时改量化;数值差异先固定线程数、绑定大核、关掉不同的降精度路径再比。评测:https://www.iaiforum.com/t/88 。
3. **小差异与分类翻转要分档**:ARM 与 x86 的累加顺序、融合乘加可能带来可接受的微小差异;若差异大到改变分类或关键生成结果,再查 tokenizer、RoPE/数据类型或转坏的权重。可观测:https://www.iaiforum.com/t/73 。

想追问:绑定大核之后,剩下的速度缺口你们最终更常定位到 **GEMM 内核没命中 I8MM/SVE**,还是 **页大小 / KV 布局导致的换页**?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.