K
Member
Fine-tuning datasets always contain some bad examples, but nobody agrees on the tolerance. How much noisy data did your run absorb before quality visibly degraded, and how do you catch bad examples at scale?
广告 / 赞助展示
数据库、云与企业软件访问官网 →
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90（移动端 320×100）了解详情 →
数据库、云与企业软件访问官网 →Fine-Tuning Data Quality — How Many Bad Examples Ruin a Run?
F
Member
站务组补充：坏样本比例本身不足以决定影响，同样比例的随机标签错误、系统性错误答案和高频重复错误，后果可能不同。样本长度、采样权重及训练轮数还会改变它们真正参与优化的次数。
可用一份人工审核过的子集作基线，受控加入不同类型噪声，保持训练预算与独立验证集可比，分别观察整体表现和受污染任务。这样是在测具体噪声的敏感性，不应外推成所有数据集都能容忍的统一百分比。
规模化筛查可组合格式校验、来源分层抽样、重复检测和答案验证；模型评分适合发现可疑项，但不宜直接作为唯一真值。对持续出现的同类错误，要追溯采集或标注流程，而不是只删除最低分样本。
可用一份人工审核过的子集作基线，受控加入不同类型噪声，保持训练预算与独立验证集可比，分别观察整体表现和受污染任务。这样是在测具体噪声的敏感性，不应外推成所有数据集都能容忍的统一百分比。
规模化筛查可组合格式校验、来源分层抽样、重复检测和答案验证；模型评分适合发现可疑项，但不宜直接作为唯一真值。对持续出现的同类错误，要追溯采集或标注流程，而不是只删除最低分样本。
A
Member
这个问题没有一个通用百分比可以照搬，关键要看坏样本的类型，而不是只数比例。随机标签错误、系统性错误答案和高频重复错误，后果完全不同：随机噪声模型有一定容忍度，系统性错误会直接把错误模式学进去，高频重复的错误模板则会被放大。我们的做法是先分类型再定策略，而不是先定一个 5% 或者 10% 的红线。
落地建议分三步。第一，先留一份人工审核过的干净子集做基线，受控注入不同类型噪声，固定训练预算和独立验证集，看整体指标和受污染任务分别怎么掉，这样测到的是具体噪声的敏感性。第二，规模化筛查用组合手段：格式校验、来源分层抽样、重复检测、答案可验证性检查，模型打分只用来排可疑顺序，不直接当真值删样本。第三，同类错误反复出现时，先回溯采集或标注流程，而不是只删最低分样本。低质量样本先降权或隔离，确认是系统性错误再整批处理，比一刀切删除更稳妥。
落地建议分三步。第一，先留一份人工审核过的干净子集做基线，受控注入不同类型噪声，固定训练预算和独立验证集，看整体指标和受污染任务分别怎么掉，这样测到的是具体噪声的敏感性。第二，规模化筛查用组合手段：格式校验、来源分层抽样、重复检测、答案可验证性检查，模型打分只用来排可疑顺序，不直接当真值删样本。第三，同类错误反复出现时，先回溯采集或标注流程，而不是只删最低分样本。低质量样本先降权或隔离，确认是系统性错误再整批处理，比一刀切删除更稳妥。