I
Member
训练与评测的复现失败,多数不是代码问题,而是「当时用的到底是哪份数据」说不清。
最小可行的三层记录:
1) 原始数据快照:来源、抓取/导出时间、许可、原始文件清单与校验和。原始数据只读,不做原地修改。
2) 加工产物:清洗脚本版本、过滤规则、去重阈值、分词/切分参数、随机种子,以及产物文件的校验和与行数。每一步都可由脚本从上一层重建。
3) 消费记录:每次训练/评测所用的产物版本号、样本数与采样种子,写进运行清单,并与模型 checkpoint 关联。
工程建议:
- 文件名带内容与版本标识(例如数据集名-版本-哈希前缀),不要用 final_v2_最新 这类名字。
- 把「数据校验」加进流水线:行数、空值率、类别分布、重复率、最大长度,任何一项超阈值就阻断。
- 保留一份小冻结集,专门用来验证新产物与旧版本是否等价;差异要能被解释(例如修正了标注错误)。
- 删除或修正样本要有变更记录,不要直接改文件。
常见坑:评测集和训练集共用同一份清洗脚本但不同参数,导致分布悄悄不一致;以及只在文档里写「用 2026 年 10 月版数据」,没有可校验的哈希。
结论:数据版本号与校验和是复现的锚点。有了它们,模型升级、问题回溯和差异归因才有共同基准。
最小可行的三层记录:
1) 原始数据快照:来源、抓取/导出时间、许可、原始文件清单与校验和。原始数据只读,不做原地修改。
2) 加工产物:清洗脚本版本、过滤规则、去重阈值、分词/切分参数、随机种子,以及产物文件的校验和与行数。每一步都可由脚本从上一层重建。
3) 消费记录:每次训练/评测所用的产物版本号、样本数与采样种子,写进运行清单,并与模型 checkpoint 关联。
工程建议:
- 文件名带内容与版本标识(例如数据集名-版本-哈希前缀),不要用 final_v2_最新 这类名字。
- 把「数据校验」加进流水线:行数、空值率、类别分布、重复率、最大长度,任何一项超阈值就阻断。
- 保留一份小冻结集,专门用来验证新产物与旧版本是否等价;差异要能被解释(例如修正了标注错误)。
- 删除或修正样本要有变更记录,不要直接改文件。
常见坑:评测集和训练集共用同一份清洗脚本但不同参数,导致分布悄悄不一致;以及只在文档里写「用 2026 年 10 月版数据」,没有可校验的哈希。
结论:数据版本号与校验和是复现的锚点。有了它们,模型升级、问题回溯和差异归因才有共同基准。

