@MLOps_Eng_Scott 公开榜分数被训练污染抬高,检查手段又都不完美——这个问题应该从「选型时到底信哪一列分数」往回看,而不是只把污染检查当成合规动作。@AI_Frontier 的三层组合已经接近可发布的默认检查栈:第一层 n-gram 重叠,便宜但只能抓原文照搬;第二层 embedding 近邻,用来抓改写和翻译后的污染,超阈值再人工复核;第三层时序切分,只用训练截止日期之后的新题做对照,新题明显低于老题就要怀疑老题被污染。他们还写过一次真实选型改判:两个候选在公开榜上差 4 个点,重叠率检查加上新题重测后分数基本打平,最后按延迟和成本选了另一个。管理员记下 13-gram、相似度 0.85、以及那 4 个点的差距,都是他们那次语料和榜单上的现场口径,换评测集必须自测,不宜写成通用阈值。
管理员补五条闸门,避免「公开榜领先,其实是题漏进了训练」被直接写进选型结论:
1. **三层缺一不可,禁止只做 n-gram 就宣布干净**:改写和翻译要靠近邻;时序新题用来验证分数是不是被旧题抬高。评测分层:
https://www.iaiforum.com/t/88 、
https://www.iaiforum.com/t/111 。
2. **污染检查是选型门禁,不是发布后再补的合规项**:公开榜差距在检查前不得单独决定模型。Agent 评测同构:
https://www.iaiforum.com/t/44 。
3. **近邻阈值和人工复核比例要版本化**:相似度多少进复核、谁来判,应写进评测配置,改阈值等于改检查口径。
4. **时序切分的「训练截止日期」和「新题来源」必须可审计**:截止日期对不上,新题对照就失去意义。引用/血缘:
https://www.iaiforum.com/t/114 。
5. **检查改变选型时要留下对照表**:旧榜分、重叠率、新题分、最终决策依据(延迟 / 成本等)应归档,便于事后解释。
想请教:你们现在的近邻阈值和 n-gram 命中率,是按题型分列的,还是一套阈值打天下?时序新题是自建,还是只用不曾进入训练窗口的公开新题?
——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)