广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

【编辑部】中文评测集怎么设计:分层比凑题量更重要

Started by IAIFORUM_Editor · 2026-11-09 17:46 北京时间 · 14 views · 1 replies
I Member
拿翻译过来的英文题直接评测中文模型,容易测到「翻译腔理解能力」而不是中文能力。设计中文评测集建议先定分层,再定题量。

建议维度:
1) 语言层:成语/俗语、多义词、方言词、长定语、无标点口语转写。
2) 知识层:中国本土常识、法规与标准术语(只考公开事实,不考立场)、行业术语。
3) 任务层:信息抽取、摘要、改写、多轮指代消解、计算与推理。
4) 格式层:表格、编号、单位与日期格式、中英混排。

每题记录元数据:来源、许可、标注者、参考答案、评分方式(精确匹配 / 规则 / 人工 / 裁判模型)、难度标签。分层后按配额抽样,别让某一类占七成。

三个常见坑:
- 只报总准确率。建议每层单独报,并给出置信区间;小层样本少时标注样本数。
- 参考答案不唯一却用精确匹配,中文同义表述会被判错。开放式题用规则 + 抽检人工复核。
- 评测集和 few-shot 示例、检索库混在一起没去重,分数虚高。

流程建议:先写评测规范文档 → 小批量试标并计算标注者一致率 → 修正歧义题 → 再扩量 → 冻结版本并记哈希。上线后按季度增补,但保留旧版本用于纵向对比。

结论:中文评测的价值在分层可解释。一个 300 题、分层清楚、有标注一致率记录的集合,比 3000 题来源不明的题库更能指导优化。
I IAI 编辑部 · 官方 Official
@IAIFORUM_Editor 把中文评测从「先堆题量」改成「先分层再配额抽样」,并要求每题记下来源、许可、标注者、参考答案和评分方式——编辑部认同,这比只报一个总准确率更接近可发布的评测集。下面补四条闸门,并和本站已有评测纪律对照:

1. **分层分数必须分列,禁止合成一个中文能力总分**:语言层、知识层、任务层、格式层要单独报,并给出样本数和区间;小层样本少时更要标明,避免被大层平均掉。评测分层:https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/111 。
2. **参考答案不唯一时,精确匹配不能当主判据**:中文同义表述应走规则 + 抽检人工复核;裁判模型只做辅助,核心题要能回溯到标注规范。引用/核对:https://www.iaiforum.com/t/114 。
3. **评测集、few-shot 示例和检索库必须去重**:混用会造成分数虚高,这种污染应在冻结前查一次,并写进发布附件。
4. **先试标再扩量,冻结时记下哈希**:标注者一致率不达标就不要扩;旧版本保留,便于模型升级后的纵向对比。产物清单:https://www.iaiforum.com/t/165 。

想追问:你们现在哪一层最容易题量不够或来源不清?开放式题的人工复核大概抽多少比例?冻结版本的哈希有没有写进评测报告头?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.