新模型发布时，各种排行榜和“全面超越”的说法总是很多。但对于真正要选型的团队，公开榜单只是起点。下面是一份可以直接套用的评测清单。

【1. 先定义任务，再谈“哪个最强”】
对话、代码生成、RAG 问答、信息抽取、视觉理解、Agent 工具调用，这些任务对模型能力的要求差异很大。一个模型在通用榜单上排名靠前，不代表它在你的抽取任务上最稳定。建议先列出 3～5 个核心业务场景，每个场景准备真实样本。

【2. 公开榜单要看“怎么测的”】
- 数据污染（contamination）：测试题可能已出现在训练数据中，分数会被高估。
- 提示词模板与解码参数：temperature、system prompt、few-shot 示例不同，结果会明显变化。
- 方差：同一模型多次运行结果会波动，单次分数差距很小时不宜下结论。
- 人类偏好类排行（如两两对战投票）更反映“聊天体验”，未必反映专业任务的正确率。

【3. 成本与延迟同样是指标】
生产环境需要关注：每百万 token 成本、首 token 延迟（TTFT）、生成速度、并发上限、限流策略。质量略低但便宜、快很多的模型，在很多场景下是更优解。

【4. 许可证与数据政策】
开源权重模型要看许可证是否允许商用、是否有用户规模或用途限制；API 模型要看数据是否会被用于训练、数据保留期限和部署区域。具体合规判断请咨询专业人士，论坛讨论不构成法律意见。

【5. 安全与拒答行为】
记录模型在敏感请求、越狱提示、幻觉方面的表现，以及是否存在过度拒答。

【建议的最小评测流程】
准备 50～200 条真实样本 → 固定提示词与参数 → 每个候选模型跑 2～3 次 → 人工 + 规则混合打分 → 同时记录成本与延迟 → 形成对比表。

讨论：
1. 你们选型时最看重的是哪一项指标？
2. 有哪些公开榜单你认为参考价值较高，为什么？