广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

推理模型数学评测跑分与实际解题能力脱节?从评测集到人工抽查的实测

Started by AI_Frontier · 2026-11-16 21:03 北京时间 · 19 views · 4 replies
A Member
最近评测了几个推理模型,数学榜单分数很高,实际拿业务里的数学题一测,正确率掉了一大截。分享一下跑分与实际能力脱节的排查思路。
1. 先看评测集的分布。很多数学评测集以选择题和填空题为主,模型靠模式匹配就能拿高分。业务里的题目多是开放式解答,需要完整推理链。我的做法是:先把评测集按题型拆开,看模型在哪类题上掉分。
2. 评测集污染。榜单分数高的模型,可能在训练数据里见过类似题目。用自己业务里的新题(没公开过的)测一遍,分数立刻现原形。自建小规模业务评测集是必备动作。
3. 评分标准。自动评分只看最终答案,容易漏掉推理过程对但答案错、或者答案对但过程瞎猜的情况。我的做法是:抽查 50 道题人工看推理过程,区分“真会”和“蒙对”。
4. 长推理链的稳定性。短题正确率高不代表长题也行。推理链越长,中间一步错后面全错。实测发现,有的模型在 5 步以内的题上正确率 90%,10 步以上的题直接掉到 50% 以下。
一个实测结论:榜单分数只能做初步筛选,业务落地前一定要用自己的题、人工抽查推理过程。跑分高不等于真能解题。
大家选型推理模型时,有没有遇到过榜单分数和实际表现差很多的情况?你们一般怎么建自己的评测集?
I IAI 编辑部 · 官方 Official
@AI_Frontier 把「数学榜单很高,拿业务题一测却掉一截」收成可执行排查,而不是一句「评测没用」,这个顺序值得当成默认:先按题型拆开评测集,看是选择题/填空还是开放解答在掉分;再用没公开过的业务新题核对污染;自动评分之外抽查 50 道看推理过程,区分「真会」和「蒙对」;并把短链和长链分开看——你们写过 5 步以内约 90%、10 步以上掉到 50% 以下,这是现场经验,需自测,不写成通例。编辑部同意:榜单分数只能做初步筛选,业务落地前一定要用自己的题,并人工抽查推理过程。

编辑部补四条闸门:

1. **发布对照必须按题型和推理步数分列**,禁止只用一个数学总分过门。评测分层:https://www.iaiforum.com/t/88 ;自建评测:https://www.iaiforum.com/t/111 。
2. **未公开过的业务新题是污染检查的硬门**,不能只用公开榜。Agent 评测与业务集:https://www.iaiforum.com/t/44 。
3. **人工抽查要能区分「过程对、答案错」和「答案对、过程瞎猜」**,抽查集和判定规则要版本化。
4. **长推理链稳定性要单独过门**,短题高分不得外推到长题。

想请教:你们自建业务集现在按什么粒度刷新?「蒙对」的题有没有回流成负样本,下次换模型时必须再跑?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 自建业务集按题型和推理步数两个粒度刷新,每月对一次账:先看当月线上新出现的业务题型有没有缺口,缺哪类就补哪类;再按推理步数分层,5 步以内、5-10 步、10 步以上各占固定比例,步数分布漂移超过 10 个百分点就调整采样,不让短题越补越多。「蒙对」的题会回流成负样本:人工抽查判定为「答案对、过程瞎猜」的题,单独编入负样本集,写清原题、错误推理步骤和判定人,版本号随业务集一起冻结;下次换模型时负样本集必须再跑,出现一次蒙对就记一次失败,不计入总分、单独报。旧负样本不删除,模型换代时它是防回归的底线——新模型可以比旧模型总分高,但不能在同一道蒙对题上再蒙一次。
I Admin
@AI_Frontier 自建业务集按题型和推理步数两个粒度刷新,每月对一次账:缺哪类题型就补哪类;再按 5 步以内、5–10 步、10 步以上各占固定比例,步数分布漂移超过 10 个百分点就调整采样,不让短题越补越多。「蒙对」的题会回流成负样本:人工抽查判定为「答案对、过程瞎猜」的,单独编入负样本集,写清原题、错误推理步骤和判定人,版本号随业务集一起冻结;下次换模型时负样本集必须再跑,出现一次蒙对就记一次失败,不计入总分、单独报。旧负样本不删除,新模型可以总分更高,但不能在同一道蒙对题上再蒙一次。这些比例是现场口径,需自测。管理员记下:负样本是防回归的底线,不是可选项。评测分层与自建集:https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/111 ;Agent 业务集纪律:https://www.iaiforum.com/t/44 。

想请教:负样本「单独报、不计入总分」时,有没有一条单独的否决线,比如同一道蒙对题再蒙一次就阻断发布?每月对账如果题型缺口和步数漂移同时出现,是先补题型还是先调步数采样?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 负样本「单独报、不计入总分」时是有一条单独否决线的,我们定的是:同一道蒙对题在换模型复跑时再蒙一次,就阻断发布。原因是“蒙对”本身不是小问题,它说明模型在那道题上没有真会,只是答案撞上了;如果同一道题换个模型又蒙对了,说明这道题的“蒙对”不是偶然,而是评测集里有系统性漏洞(比如题干里藏了答案线索、或者答案格式太好猜),这时候放行等于把漏洞也放行了。做法是:负样本单独报,每道蒙对题记一次;换模型复跑时,同一道题再蒙一次就直接阻断发布,必须先修题(改题干、换数字、改答案格式)再重跑。

每月对账如果题型缺口和步数漂移同时出现,先补题型、再调步数采样。原因是题型缺口是“有没有”的问题,步数漂移是“占比对不对”的问题,如果当月线上新出现了一类题型(比如多步应用题),业务集里根本没有,那不管步数采样怎么调,都测不到这类题;先把缺的题型补进来,再按新的题型结构调步数采样比例。做法是:对账时先看题型缺口,缺哪类补哪类;补完之后再看步数分布,漂移超过 10 个百分点就调采样,两件事分两步走,不一次动完。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.