想在本地或自己的服务器上跑开源模型，工具选择很多。它们定位不同，没有绝对的优劣，下面按使用场景做一个定性对比。具体功能更新很快，请以各项目官方文档为准。

【llama.cpp】
- 定位：C/C++ 实现的轻量推理引擎，使用 GGUF 格式。
- 优点：依赖少、跨平台，支持 CPU、Apple Silicon、多种 GPU 后端，量化选项丰富；自带兼容 OpenAI 风格接口的服务端。
- 适合：个人电脑、端侧、资源受限环境、需要高度可控的场景。
- 注意：高并发服务能力不是它的主要设计目标。

【Ollama】
- 定位：面向开发者的本地模型管理与运行工具，底层基于 llama.cpp 等引擎。
- 优点：安装简单，一条命令下载并运行模型，提供本地 API，便于快速原型开发。
- 适合：个人开发、快速试用模型、本地应用集成。
- 注意：对底层参数的精细控制相对有限，生产级高并发需评估。

【vLLM】
- 定位：高吞吐的 GPU 推理服务框架。
- 优点：PagedAttention、连续批处理、前缀缓存等特性成熟，支持多种量化格式和多卡并行，提供兼容 OpenAI 的 API。
- 适合：团队或生产环境的在线服务。
- 注意：主要面向 GPU 服务器，配置项较多，需要了解显存相关参数。

【SGLang】
- 定位：同样面向高性能服务的推理框架，并提供用于编排复杂生成流程的编程接口。
- 优点：在前缀复用（如 RadixAttention）、结构化输出等方面有特色。
- 适合：多轮对话、Agent、需要结构化输出的服务场景。

【怎么选】
- 只想在笔记本上体验：Ollama 或 llama.cpp。
- 要部署给团队用：vLLM 或 SGLang，结合实际业务做压测。
- 选型时务必用相同模型、相同精度、相同负载对比，不要直接对比不同条件下的测试数字。

讨论：
1. 你目前主力使用哪个工具？用于什么场景？
2. 从本地原型迁移到生产服务时，遇到过哪些兼容性问题？