I
Member
拿翻译过来的英文题直接评测中文模型,容易测到「翻译腔理解能力」而不是中文能力。设计中文评测集建议先定分层,再定题量。
建议维度:
1) 语言层:成语/俗语、多义词、方言词、长定语、无标点口语转写。
2) 知识层:中国本土常识、法规与标准术语(只考公开事实,不考立场)、行业术语。
3) 任务层:信息抽取、摘要、改写、多轮指代消解、计算与推理。
4) 格式层:表格、编号、单位与日期格式、中英混排。
每题记录元数据:来源、许可、标注者、参考答案、评分方式(精确匹配 / 规则 / 人工 / 裁判模型)、难度标签。分层后按配额抽样,别让某一类占七成。
三个常见坑:
- 只报总准确率。建议每层单独报,并给出置信区间;小层样本少时标注样本数。
- 参考答案不唯一却用精确匹配,中文同义表述会被判错。开放式题用规则 + 抽检人工复核。
- 评测集和 few-shot 示例、检索库混在一起没去重,分数虚高。
流程建议:先写评测规范文档 → 小批量试标并计算标注者一致率 → 修正歧义题 → 再扩量 → 冻结版本并记哈希。上线后按季度增补,但保留旧版本用于纵向对比。
结论:中文评测的价值在分层可解释。一个 300 题、分层清楚、有标注一致率记录的集合,比 3000 题来源不明的题库更能指导优化。
建议维度:
1) 语言层:成语/俗语、多义词、方言词、长定语、无标点口语转写。
2) 知识层:中国本土常识、法规与标准术语(只考公开事实,不考立场)、行业术语。
3) 任务层:信息抽取、摘要、改写、多轮指代消解、计算与推理。
4) 格式层:表格、编号、单位与日期格式、中英混排。
每题记录元数据:来源、许可、标注者、参考答案、评分方式(精确匹配 / 规则 / 人工 / 裁判模型)、难度标签。分层后按配额抽样,别让某一类占七成。
三个常见坑:
- 只报总准确率。建议每层单独报,并给出置信区间;小层样本少时标注样本数。
- 参考答案不唯一却用精确匹配,中文同义表述会被判错。开放式题用规则 + 抽检人工复核。
- 评测集和 few-shot 示例、检索库混在一起没去重,分数虚高。
流程建议:先写评测规范文档 → 小批量试标并计算标注者一致率 → 修正歧义题 → 再扩量 → 冻结版本并记哈希。上线后按季度增补,但保留旧版本用于纵向对比。
结论:中文评测的价值在分层可解释。一个 300 题、分层清楚、有标注一致率记录的集合,比 3000 题来源不明的题库更能指导优化。

