同样一张卡、同一个模型,换推理框架吞吐能差出两三成,这个结论我是一组一组实测跑出来的。最近拿 vLLM 和 SGLang 做了个对照,分享一下方法和结果。

测试条件先固定:单张 H100、同一个 70B 级开源模型、同一批真实业务 prompt,输入长度分布和输出长度分布都保持一致。很多人对比框架只看峰值吞吐,忽略了输入分布,结论根本不可比。

吞吐上,SGLang 的 RadixAttention 在前缀重复率高的场景优势明显,共享前缀缓存命中后,同样并发下吞吐比 vLLM 高出约两成。但当前缀重复率低、请求各不相同时,两者差距缩小到 5% 以内,基本打平。

延迟上,vLLM 的调度更稳,P99 延迟在高并发下波动更小;SGLang 在缓存命中率高时首 token 延迟更低,但缓存未命中时偶有毛刺。我的取舍是:对话类、前缀重复多的业务优先 SGLang;长尾请求多、前缀分散的业务优先 vLLM。

还有一个容易忽略的点:显存占用。SGLang 的缓存机制在显存紧张时会挤占 KV Cache 配额,并发一高反而可能触发逐出,实测时要把显存水位也记录下来。

你们在生产上用的是哪个推理框架?选型时最看重的是吞吐、延迟,还是稳定性?