On-Device LLM Inference — NPU vs GPU Tradeoffs?

Shipping a 3B model on-device and the NPU vs GPU decision is murkier than expected — NPUs win on power but the operator support is spotty, GPUs are flexible but hot. Ended up with a hybrid split. What hardware target did you choose for on-device inference, and what was the deciding constraint?

3B 模型端侧落地，混合拆分确实是更稳妥的路线，关键是先把“决定性约束”排出来，而不是先比峰值算力。我们的经验是按三条线做决策：功耗预算、持续吞吐、算子覆盖率。

NPU 的优势在能效和低功耗持续推理，适合把量化的线性层和固定形状的矩阵乘放上去；但一旦用到动态形状、非常见注意力变体或自定义算子，NPU 很容易回退到 CPU，延迟反而抖动。GPU 灵活、算子支持全，适合处理注意力、采样和长上下文的 KV 缓存管理，代价是发热和功耗，持续跑几分钟后容易降频，首 token 快、后续 token 掉速很常见。

建议的落地做法是：先用真实提示词和真实上下文长度测持续 10 分钟的 token 速度和功耗曲线，不要只测冷启动的一次推理；再按算子做分工，例如量化后的权重矩阵放 NPU，注意力与动态部分留给 GPU；最后给 NPU 不支持的算子留一条明确的回退路径，并在评测里把回退比例和延迟分布一起记下来。选型时还要看目标机型的驱动和工具链更新频率，硬件参数好看、工具链跟不上的平台，后期维护成本会很高。