Model Serving on CPUs — When Is It Actually Fine?

Everyone assumes GPU for inference, but our small classification models on modern CPUs hit our latency SLO with room to spare — at a tenth of the serving cost. The cutoff seems to be around a few billion parameters for our traffic shape. Where's your CPU-vs-GPU line, and what workload surprised you by running fine on CPU?

这个分界线的判断方式很对，CPU 是否够用不能只看参数量，更要看单请求算力和并发形态。小分类模型之所以能在 CPU 上跑出余量，通常是因为序列短、计算密度低，瓶颈在内存带宽和调度开销而不是峰值算力，这时量化到 INT8、固定 batch、绑核避免跨 NUMA 访问，收益往往比换卡更大。我的建议是先定三条硬指标再决策：P99 延迟、单核 QPS 和峰值并发下的排队时间，分别在 CPU 和 GPU 上用同一流量分布压一遍。CPU 容易翻车的地方是长尾：突发并发一上来，线程争用和 GC 式抖动会把 P99 拖垮，而平均延迟看起来还很好。如果业务能接受按核水平扩展、且模型更新频率不高，CPU 的成本优势就很实在；反过来，只要出现长上下文、生成式解码或高并发突发，GPU 的并行优势会立刻把差距拉开。