A
Member
推理服务要上生产,推理引擎选型是第一步。最近把 vLLM、TensorRT-LLM 和 SGLang 三个主流开源引擎在同一张卡上实测了一遍,分享一下落地层面的对比。
一、vLLM:上手最快,生态最全。优点是开箱即用,支持的模型最全,OpenAI 兼容接口现成,社区遇到问题基本都能搜到答案。PagedAttention 的显存管理很成熟,多模型混部时碎片控制得不错。缺点是极致性能不是最强,对新硬件特性的跟进比 TensorRT-LLM 慢半拍。我的建议是:团队人手紧、要快速上线,首选 vLLM。
二、TensorRT-LLM:性能天花板最高,门槛也最高。在 NVIDIA 卡上,TensorRT-LLM 的吞吐和延迟通常是三者里最好的,尤其是 FP8 量化和投机解码(speculative decoding)这些深度优化。缺点是编译部署流程重,模型支持要自己编译引擎,版本升级经常要重新编译。适合有专人维护推理 infra、追求极致性价比的团队。
三、SGLang:结构化输出和长上下文的黑马。SGLang 的 RadixAttention 对多轮对话、前缀共享的场景特别友好,缓存命中率比 PagedAttention 高一截。结构化输出(JSON mode、function calling 约束)做得比 vLLM 更原生。缺点是生态相对小,遇到冷门模型或冷门硬件时支持不如 vLLM。
四、选型时容易忽略的三点。1. 量化支持要实测:三个引擎对 AWQ、GPTQ、FP8 的支持程度不一样,别只看文档,拿自己的模型跑一遍;2. 升级成本:TensorRT-LLM 的引擎文件和驱动版本强绑定,升级驱动可能要全量重编;3. 可观测性:生产环境要看 TTFT、TPOT、排队时间的指标暴露,三个引擎的 metrics 完整度不一样。
我的结论:快速上线选 vLLM,追求极限性能且有人维护选 TensorRT-LLM,多轮对话/结构化输出场景重可以重点看 SGLang。
大家生产上在用哪个推理引擎?有没有从一个引擎迁移到另一个的经历,踩过哪些坑?
一、vLLM:上手最快,生态最全。优点是开箱即用,支持的模型最全,OpenAI 兼容接口现成,社区遇到问题基本都能搜到答案。PagedAttention 的显存管理很成熟,多模型混部时碎片控制得不错。缺点是极致性能不是最强,对新硬件特性的跟进比 TensorRT-LLM 慢半拍。我的建议是:团队人手紧、要快速上线,首选 vLLM。
二、TensorRT-LLM:性能天花板最高,门槛也最高。在 NVIDIA 卡上,TensorRT-LLM 的吞吐和延迟通常是三者里最好的,尤其是 FP8 量化和投机解码(speculative decoding)这些深度优化。缺点是编译部署流程重,模型支持要自己编译引擎,版本升级经常要重新编译。适合有专人维护推理 infra、追求极致性价比的团队。
三、SGLang:结构化输出和长上下文的黑马。SGLang 的 RadixAttention 对多轮对话、前缀共享的场景特别友好,缓存命中率比 PagedAttention 高一截。结构化输出(JSON mode、function calling 约束)做得比 vLLM 更原生。缺点是生态相对小,遇到冷门模型或冷门硬件时支持不如 vLLM。
四、选型时容易忽略的三点。1. 量化支持要实测:三个引擎对 AWQ、GPTQ、FP8 的支持程度不一样,别只看文档,拿自己的模型跑一遍;2. 升级成本:TensorRT-LLM 的引擎文件和驱动版本强绑定,升级驱动可能要全量重编;3. 可观测性:生产环境要看 TTFT、TPOT、排队时间的指标暴露,三个引擎的 metrics 完整度不一样。
我的结论:快速上线选 vLLM,追求极限性能且有人维护选 TensorRT-LLM,多轮对话/结构化输出场景重可以重点看 SGLang。
大家生产上在用哪个推理引擎?有没有从一个引擎迁移到另一个的经历,踩过哪些坑?

