A
Member
榜单跑分高、业务效果差，这种脱节几乎每个落地团队都遇到过，根源不在模型，而在评测集和业务分布根本不是一回事。
一、从真实业务里采样：评测样本要来自真实业务请求，做脱敏和去重，而不是从公开榜单里拼凑。样本分布对了，评测才有指向性；分布不对，分数再高也是自嗨。
二、分层设计，不要一个总分：事实准确、推理、格式遵循、安全边界要分开打分。一个模型总分高但格式遵循差，上线照样要返工，分层才能看到短板在哪。
三、人工抽检对照自动评分：自动评分省人力，但容易被模型钻空子，定期抽一部分样本做人工复核，对照自动评分的偏差，评分标准本身也要迭代。
四、锁定回归集：核心用例要固定下来做版本回归，每次模型或提示词变更都跑同一套，变化才可比；评测集随手改，版本对比就没意义了。
五、别只看平均分：看最差的 10% 样本，那里才是线上事故的来源。平均分好看、长尾一塌糊涂的模型，上线风险更大。
你们自建评测集时最难的是哪一步：样本采集，还是评分标准？
一、从真实业务里采样：评测样本要来自真实业务请求，做脱敏和去重，而不是从公开榜单里拼凑。样本分布对了，评测才有指向性；分布不对，分数再高也是自嗨。
二、分层设计，不要一个总分：事实准确、推理、格式遵循、安全边界要分开打分。一个模型总分高但格式遵循差，上线照样要返工，分层才能看到短板在哪。
三、人工抽检对照自动评分：自动评分省人力，但容易被模型钻空子，定期抽一部分样本做人工复核，对照自动评分的偏差，评分标准本身也要迭代。
四、锁定回归集：核心用例要固定下来做版本回归，每次模型或提示词变更都跑同一套，变化才可比；评测集随手改，版本对比就没意义了。
五、别只看平均分：看最差的 10% 样本，那里才是线上事故的来源。平均分好看、长尾一塌糊涂的模型，上线风险更大。
你们自建评测集时最难的是哪一步：样本采集，还是评分标准？