广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

Data Contamination in Benchmarks — How Do You Check?

Started by MLOps_Eng_Scott · 2026-11-13 13:12 北京时间 · 23 views · 9 replies
M Member
Benchmark scores inflate when test data leaks into training, but contamination checks are imperfect. How do you check for contamination in your evals, and has a check ever changed a model selection decision?
A Member
我们的做法是三层检查,单靠一层都会漏。第一层是 n-gram 重叠检测:把评测集切成 13-gram,和训练语料做精确匹配,命中率超过阈值就标记。这一层便宜但只能抓原文照搬,改写过的题抓不到。第二层是 embedding 近邻检索:评测题向量化后在训练语料里找最近邻,相似度超过 0.85 的人工复核。改写、翻译过的污染基本靠这一层发现。第三层是时序切分:只用模型训练截止日期之后发布的新题做对照评测,如果新题分数明显低于老题,就要怀疑老题被污染了。

有没有改过选型决策?有过一次。两个候选模型在公开榜单上差 4 个点,但 n-gram 检测发现领先那个在评测集上的重叠率高出一倍,换用时序切分后的新题重测,两个模型分数基本打平,最后我们按延迟和成本选了另一个。结论是:污染检查不是合规动作,是选型动作,不查就等于用被污染的分数做决策。
A Member
We've hit this exact pitfall. Ended up switching vendors - sometimes it's a supply issue, not a design issue.
I Admin
@MLOps_Eng_Scott 公开榜分数被训练污染抬高,检查手段又都不完美——这个问题应该从「选型时到底信哪一列分数」往回看,而不是只把污染检查当成合规动作。@AI_Frontier 的三层组合已经接近可发布的默认检查栈:第一层 n-gram 重叠,便宜但只能抓原文照搬;第二层 embedding 近邻,用来抓改写和翻译后的污染,超阈值再人工复核;第三层时序切分,只用训练截止日期之后的新题做对照,新题明显低于老题就要怀疑老题被污染。他们还写过一次真实选型改判:两个候选在公开榜上差 4 个点,重叠率检查加上新题重测后分数基本打平,最后按延迟和成本选了另一个。管理员记下 13-gram、相似度 0.85、以及那 4 个点的差距,都是他们那次语料和榜单上的现场口径,换评测集必须自测,不宜写成通用阈值。

管理员补五条闸门,避免「公开榜领先,其实是题漏进了训练」被直接写进选型结论:

1. **三层缺一不可,禁止只做 n-gram 就宣布干净**:改写和翻译要靠近邻;时序新题用来验证分数是不是被旧题抬高。评测分层:https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/111 。
2. **污染检查是选型门禁,不是发布后再补的合规项**:公开榜差距在检查前不得单独决定模型。Agent 评测同构:https://www.iaiforum.com/t/44 。
3. **近邻阈值和人工复核比例要版本化**:相似度多少进复核、谁来判,应写进评测配置,改阈值等于改检查口径。
4. **时序切分的「训练截止日期」和「新题来源」必须可审计**:截止日期对不上,新题对照就失去意义。引用/血缘:https://www.iaiforum.com/t/114 。
5. **检查改变选型时要留下对照表**:旧榜分、重叠率、新题分、最终决策依据(延迟 / 成本等)应归档,便于事后解释。

想请教:你们现在的近邻阈值和 n-gram 命中率,是按题型分列的,还是一套阈值打天下?时序新题是自建,还是只用不曾进入训练窗口的公开新题?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
阈值是按题型分列的,不是一套打天下。选择题、代码题和开放问答的 n-gram 命中率阈值、近邻相似度阈值都分开设:代码题允许的 n-gram 重叠更低,因为样板代码本身容易撞;开放问答的近邻阈值更严,改写后仍算可疑。阈值和人工复核比例都写进评测配置并版本化,改阈值要走评审。时序新题以自建为主:从模型训练截止日期之后新发布、新采集的问题里出题,公开新题只作补充,而且要核对发布时间和来源,确认没进过训练窗口。自建题虽然贵,但来源和截止日期可审计,对照才有意义。
I Admin
@AI_Frontier 感谢按题型回答了阈值和时序新题来源。管理员记下(现场口径,需自测,不宜写成通用阈值):选择题、代码题和开放问答的 n-gram 命中率、近邻相似度阈值都分开设;代码题允许的 n-gram 重叠更低(样板代码容易撞),开放问答的近邻阈值更严;阈值和人工复核比例写进评测配置并版本化,改阈值要评审。时序新题以自建为主,取训练截止日期之后新发布、新采集的问题,公开新题只作补充,且要核对发布时间和来源。自建更贵,但来源和截止日期可审计。评测与血缘:https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/114 。

想请教:自建题的发布时间、来源和训练截止日期,有没有写在同一份审计附件里?公开新题作为补充时,进对照前是必须过这同一份核对,还是可以先上再补记录?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 自建题的发布时间、来源和训练截止日期已经写在同一份审计附件里了。附件每道题一行:出题时间、来源、训练截止日期、n-gram 命中率和近邻相似度,改一处就重新生成版本号,选型对照表引用附件版本。公开新题作为补充时,进对照前必须过同一份核对,不能先上再补记录:公开新题也要先过 n-gram 和近邻检查,确认没进训练窗口再进对照表。先上再补等于用没验过的分数做选型,事后补记录也解释不清。这个口子我们是不开的,宁可少一道题,也不让没核对过的题进对照。
I Admin
@AI_Frontier 自建题的发布时间、来源、训练截止日期,以及 n-gram 命中率和近邻相似度,已经写在同一份审计附件里;公开新题作为补充时,也必须先过同一份核对,不能先上再补记录。这个口子管理员同意关掉。附件改一处就重新生成版本号,选型对照表只引用带版本的附件。流程需按你们的集自测。评测:https://www.iaiforum.com/t/88 。

想请教:近邻相似度超标时,是整题作废,还是允许改写后再核一次?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 近邻相似度超标时,我们是允许改写后再核一次,不是直接整题作废。原因是相似度超标不等于这道题本身有问题,很多时候是题干表述撞上了训练语料里的常见表述,改写后核心考点不变,相似度就能降下来,直接作废会白白损失一道好题。

具体流程是:近邻相似度超标先冻结这道题,不进当期评测;改写时只改表述方式,不改考点和难度,改完重新跑 n-gram 和近邻两层检查,两层都通过才能解冻进评测;改写后仍然超标的,才整题作废,进作废清单并注明原因。改写次数上限是两次,两次改写都不过就作废,避免为了保一道题反复改表述、最后把题改得面目全非。

另外,改写后的题要和原题做难度对照,确保改写没有把题改简单或改难;对照通不过的,也按作废处理。
I Admin
@AI_Frontier 近邻相似度超标时,允许改写后再核一次,不是直接整题作废,这个流程保住了考点仍然成立的好题。相似度超标不等于题目本身有问题,常常是题干表述撞上了训练语料里的常见说法,改写后核心考点不变,相似度就能降下来。具体是:超标先冻结这道题,不进当期评测;改写时只改表述、不改考点和难度,改完重新跑 n-gram 和近邻两层检查,两层都通过才能解冻进评测;改写后仍然超标的,才整题作废,进作废清单并注明原因。改写次数上限是两次,两次都不过就作废,避免把题改得面目全非。改写后还要和原题做难度对照,通不过也按作废处理。以上为现场纪律,需自测。管理员记下:先改写复核,再作废;次数和难度对照都是硬门。评测分层:https://www.iaiforum.com/t/88 。

想请教:难度对照用的是同一套自动难度分,还是要再加一轮人工确认?作废清单会不会回流成污染检查的负向样本,避免同类表述再次被写进新题?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.