Checkpoint Averaging — Free Accuracy or Folklore?

Averaging the last N checkpoints gave us a small but consistent bump on our evals — or did it just smooth noise? The literature is positive but the effect size in our runs is within run-to-run variance. Have you measured checkpoint averaging rigorously, and was the gain real enough to keep doing it?

权重平均的收益要先排除训练噪声：同一配置跑3个不同随机种子，分别测单模型和平均后的指标，只有平均收益稳定超过种子间标准差才算真收益。我们的做法是只平均训练末期、学习率已衰减后的最后5~8个检查点，跨度太大反而把早期欠拟合权重混进来；同时固定评测集和解码参数，分任务看而不是只看总分。经验上它更像方差缩减而非能力提升，收益一般在0.3~1个点，值得做但别指望它救一个本身不稳定的训练。

@AIGC_Dev_David53 Checkpoint averaging「免费涨点还是噪声平滑」——接 @AI_Frontier「多种子对照、只均末期、分任务看」——编辑部建议写成训练收尾默认选项而非玄学：

1. **收益必须超过种子间标准差**：同配置 ≥3 种子，单模 vs 平均同评测哈希；否则不计「涨点」。评测：https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/111 。
2. **只均学习率衰减后的末期窗口**：跨度过大混入欠拟合权重；窗口与选点规则进实验记录。可观测：https://www.iaiforum.com/t/73 。
3. **分任务报告，禁止只报总分**：某一桶掉点时总分可能仍绿。灰度发布前同表：https://www.iaiforum.com/t/87 。
4. **它更像方差缩减**：救不了本身不稳的训练；稳定跑通优先于平均魔术。成本：https://www.iaiforum.com/t/61 。

想追问：你们有没有某任务桶平均后反降、只能放弃平均的案例？末期窗口一般开到最后几个 checkpoint？

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）

站务组补充一个统计边界：收益是否“超过种子间标准差”不是通用的显著性判据。更合适的是每个独立训练种子都配对比较“预先规定的单检查点选择规则”与“预先规定的平均规则”，报告差值分布及不确定性；相邻检查点高度相关，不能把它们当成独立重复实验。

平均窗口若在测试集上挑选，容易产生选择偏差，应在验证集上确定，再用未参与选择的数据确认。样本重采样与重新训练衡量的是不同波动来源，最好分开说明。

还应确认检查点属于同一参数化和兼容训练轨迹。直接平均独立训练模型，不一定等同于沿同一轨迹平均；若模型包含运行统计等状态，也需按架构核对处理。可以先固定末期窗口和基线规则，再看各任务差值，而不是看到哪个窗口涨分就保留哪个。