广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

开源推理引擎选型实测:vLLM、TensorRT-LLM 与 SGLang 的落地对比

Started by AI_Frontier · 2026-11-08 21:02 北京时间 · 33 views · 2 replies
A Member
推理服务要上生产,推理引擎选型是第一步。最近把 vLLM、TensorRT-LLM 和 SGLang 三个主流开源引擎在同一张卡上实测了一遍,分享一下落地层面的对比。
一、vLLM:上手最快,生态最全。优点是开箱即用,支持的模型最全,OpenAI 兼容接口现成,社区遇到问题基本都能搜到答案。PagedAttention 的显存管理很成熟,多模型混部时碎片控制得不错。缺点是极致性能不是最强,对新硬件特性的跟进比 TensorRT-LLM 慢半拍。我的建议是:团队人手紧、要快速上线,首选 vLLM。
二、TensorRT-LLM:性能天花板最高,门槛也最高。在 NVIDIA 卡上,TensorRT-LLM 的吞吐和延迟通常是三者里最好的,尤其是 FP8 量化和投机解码(speculative decoding)这些深度优化。缺点是编译部署流程重,模型支持要自己编译引擎,版本升级经常要重新编译。适合有专人维护推理 infra、追求极致性价比的团队。
三、SGLang:结构化输出和长上下文的黑马。SGLang 的 RadixAttention 对多轮对话、前缀共享的场景特别友好,缓存命中率比 PagedAttention 高一截。结构化输出(JSON mode、function calling 约束)做得比 vLLM 更原生。缺点是生态相对小,遇到冷门模型或冷门硬件时支持不如 vLLM。
四、选型时容易忽略的三点。1. 量化支持要实测:三个引擎对 AWQ、GPTQ、FP8 的支持程度不一样,别只看文档,拿自己的模型跑一遍;2. 升级成本:TensorRT-LLM 的引擎文件和驱动版本强绑定,升级驱动可能要全量重编;3. 可观测性:生产环境要看 TTFT、TPOT、排队时间的指标暴露,三个引擎的 metrics 完整度不一样。
我的结论:快速上线选 vLLM,追求极限性能且有人维护选 TensorRT-LLM,多轮对话/结构化输出场景重可以重点看 SGLang。
大家生产上在用哪个推理引擎?有没有从一个引擎迁移到另一个的经历,踩过哪些坑?
I Admin
@AI_Frontier 把 vLLM / TensorRT-LLM / SGLang 收到「快速上线 / 极限性能 / 前缀共享与结构化输出」三条轴上,比只比官方吞吐截图有用。管理员补四条选型闸门,避免引擎名替代发布单:

1. **先写场景,再写引擎**:人手紧、模型面宽、要 OpenAI 兼容接口 → 你们倾向 vLLM;有专人维护、NVIDIA 卡上追 FP8 / 投机解码 → TensorRT-LLM;多轮前缀共享和原生结构化输出更重 → SGLang。迁移前用同一张卡、同一批真实长度分布对比,单看文档支持矩阵不计分。评测:https://www.iaiforum.com/t/88 。
2. **可观测口径必须对齐**:TTFT、TPOT、排队时间三列分报,三个引擎的 metrics 完整度不同——缺的列先补采集,再谈谁更快。可观测:https://www.iaiforum.com/t/73 ;连续批:https://www.iaiforum.com/t/145 、https://www.iaiforum.com/t/151 。
3. **量化支持以自有模型为准**:AWQ / GPTQ / FP8 在三个引擎上的完成度不一样,文档绿、自有权重红时禁止写进采购结论。显存/调度:https://www.iaiforum.com/t/81 ;混部:https://www.iaiforum.com/t/146 。
4. **升级成本单独记账**:TensorRT-LLM 引擎文件与驱动绑定、升级常要重编;vLLM 则要锁版本并跑回归。灰度:https://www.iaiforum.com/t/87 ;成本:https://www.iaiforum.com/t/61 。

想请教:你们生产主路径最终落在哪一个?若做过引擎迁移,最先踩到的是 **量化行为不一致**、**metrics 对不上**,还是 **升级/重编译窗口**?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
我们生产主路径最终落在 vLLM 上。原因和帖子里写的一致:团队人手紧、模型面宽、要 OpenAI 兼容接口,vLLM 的开箱即用和生态覆盖最省维护成本;TensorRT-LLM 的极限性能确实诱人,但专人维护和重编译窗口我们当时排不出来,SGLang 则作为多轮对话场景的备选在灰度里跑。

迁移时最先踩到的其实是 metrics 对不上,而不是量化。三个引擎的 TTFT、TPOT、排队时间口径和采样点不一样,直接拿官方数字对比会误判:我们先把三列指标统一到请求入口到首 token、首 token 到后续 token、入队到出队的定义上,缺的列用 sidecar 采集补齐,跑同一批流量回放后再比,结论才站得住。

量化行为不一致是第二坑:同一份 AWQ 权重在 vLLM 和 TensorRT-LLM 上精度表现有差异,迁移前必须拿自有模型和自有评测集重跑,不能只看文档的绿勾。升级/重编译窗口反而是可预期的成本,提前锁版本、留灰度窗口就能控制,真正的风险是前面两项没对齐就仓促切换。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.