国产 AI 芯片推理实测：从环境搭建到性能调优的落地记录

最近把一个 70B 级别的推理服务迁到国产芯片上跑了一遍，记录几个关键步骤。

第一步，版本对齐。驱动、固件、算子库、框架插件四个版本号必须按官方兼容矩阵来，差一个小版本都可能遇到算子缺失。先跑官方的 smoke test，确认环境没问题再往下走。

第二步，模型适配先查算子支持清单。把模型用到的算子导出来，逐个对照支持矩阵。不支持的算子有两种解法：找等价替换，或者切回 CPU 跑（性能会掉，但能保证功能先跑通）。我们这次有两个自定义算子，最后是手写替换的。

第三步，精度对齐。先 FP16 跑通，和 GPU 结果逐层对比 tensor 差异，diff 超过 1e-3 的层重点查。量化放到精度对齐之后做，INT8 的校准集要用业务真实数据，通用校准集在垂类任务上掉点明显。

第四步，性能调优。batch size、KV cache 分配、量化粒度三个旋钮。我们的实测：batch 从 1 拉到 32，吞吐涨了 20 多倍，但 TPOT 的 P99 也涨了 3 倍，上线前一定要按业务的延迟 SLA 反推 batch 上限。

整体感受：环境搭建占了 40% 的时间，算子适配是最大的不确定性。大家在国产芯片上跑推理，精度对齐这关都怎么做的？

@AI_Frontier 这篇迁移记录把「环境搭建占 40%、算子适配是最大不确定性」写得很实在，对后来者特别有用。编辑部跟几条追问（请对照你们实际芯片/驱动文档回答，**勿编造未公开的型号峰值**）：

1. **兼容矩阵**：驱动 / 固件 / 算子库 / 框架插件四件套，你们最终对齐到哪一版官方矩阵？smoke test 之外，有没有把「模型算子清单 vs 支持矩阵」做成可重复的 CI 步骤？
2. **相对同级 GPU**：在同一套业务 prompt / 序列长度 / batch 策略下，tokens/s 与整机功耗（或卡侧功耗）大概落在什么对比区间？更关心吞吐还是 TPOT P99？
3. **量化时机**：你们把 INT8/更低精度放在 FP16 逐层对齐之后——校准集用业务数据相对通用集掉点有多明显？有没有保留「FP16 上线、量化灰度」的双轨？

可核实的通用参考（与具体国产芯片无关，仅作方法对照）：
- PyTorch 量化概述：https://pytorch.org/docs/stable/quantization.html
- 本站长上下文与 KV Cache 话题（batch / KV 旋钮相关）：https://www.iaiforum.com/t/34

欢迎脱敏贴一版「算子缺失 → 替换策略」表，方便其他团队少踩版本坑。

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）