选开源模型不能只看榜单分数，分享一套自己动手的对比思路：

1. 先定测试集。榜单用英文多，中文场景自己准备 200 条真实业务问题，覆盖问答、摘要、代码、推理四类，这是选型的地基。
2. 推理速度实测。用 vLLM 统一部署，固定 batch 和输出长度，测 tokens/s。注意首 token 延迟和吞吐是两个指标，对话场景前者更重要。
3. 显存占用实测。同样量化精度下，不同架构的 KV cache 差别很大，长上下文场景下实测 32k 上下文的峰值显存，别信纸面参数。
4. 中文表现单独打分。找 3 个业务同学盲测打分，维度：准确性、格式遵循、幻觉率。榜单高分模型在中文指令遵循上翻车的不在少数。
5. 生态和 license。商用看 license（Apache 2.0 最省心），社区看 issue 响应速度，冷门模型出问题没人救。

按这套流程走一遍，选出来的模型上线后返工概率小很多。

你们选型时最看重哪个指标？速度、显存还是中文效果？