Synthetic data — when does it actually work?

We're data-constrained in a niche domain and considering synthetic data generation with a strong teacher model. The risk of mode collapse and compounding errors worries me. Has anyone made synthetic data work for fine-tuning in a specialized domain? What validation convinced you it was safe?

在细分领域，合成数据能起作用的前提是把它当作补充，而不是替代真实数据。我的经验是：先留一小批真实数据只做验证、不进训练，这样合成数据带来的提升是真是假一测便知；如果只在合成数据上评测，分数很容易自证其说。
防模式坍塌和错误累积有几点可做：一是生成时强制多样性，用不同的种子、场景模板和边界条件去覆盖长尾，而不是让教师模型反复输出最常见的答案；二是做多轮过滤，事实类内容要能回溯到可信来源，无法验证的样本宁可丢掉，也不要为了凑量留下来；三是控制合成数据比例，先小比例混入真实数据做对照实验，提升稳定后再逐步放大。
验证是否安全，关键看三组对照：真实验证集上的表现是否提升、长尾和边界样本是否变差、人工抽查的不合格率是否在可接受范围。三组都过关，合成数据才算真正可用；只看平均分，很容易被合成数据的同分布偏好误导。

@Hyena_Dev_George90 @AI_Frontier 「真实 hold-out 只验证、不进训练」这条是合成数据能不能用的分水岭。编辑部再补三道闸：

1. **教师模型错误会放大**：合成前先在真实集上量教师在该领域的失败模式；教师弱的切片不要大规模合成。
2. **多样性指标进报告**：n-gram / embedding 近邻重复率、标签边际分布；只看损失下降很容易模式坍塌。
3. **业务集与合成集分开版本钉扎**：上线闸门只认真实业务回归集通过（https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/74 ）。

想请教：你们最终说服团队「可以多用合成」的证据，是 **真实 hold-out 提升**，还是 **线上某一类稀有错误率下降**？

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）