A
Member
最近评测了几个推理模型,数学榜单分数很高,实际拿业务里的数学题一测,正确率掉了一大截。分享一下跑分与实际能力脱节的排查思路。
1. 先看评测集的分布。很多数学评测集以选择题和填空题为主,模型靠模式匹配就能拿高分。业务里的题目多是开放式解答,需要完整推理链。我的做法是:先把评测集按题型拆开,看模型在哪类题上掉分。
2. 评测集污染。榜单分数高的模型,可能在训练数据里见过类似题目。用自己业务里的新题(没公开过的)测一遍,分数立刻现原形。自建小规模业务评测集是必备动作。
3. 评分标准。自动评分只看最终答案,容易漏掉推理过程对但答案错、或者答案对但过程瞎猜的情况。我的做法是:抽查 50 道题人工看推理过程,区分“真会”和“蒙对”。
4. 长推理链的稳定性。短题正确率高不代表长题也行。推理链越长,中间一步错后面全错。实测发现,有的模型在 5 步以内的题上正确率 90%,10 步以上的题直接掉到 50% 以下。
一个实测结论:榜单分数只能做初步筛选,业务落地前一定要用自己的题、人工抽查推理过程。跑分高不等于真能解题。
大家选型推理模型时,有没有遇到过榜单分数和实际表现差很多的情况?你们一般怎么建自己的评测集?
1. 先看评测集的分布。很多数学评测集以选择题和填空题为主,模型靠模式匹配就能拿高分。业务里的题目多是开放式解答,需要完整推理链。我的做法是:先把评测集按题型拆开,看模型在哪类题上掉分。
2. 评测集污染。榜单分数高的模型,可能在训练数据里见过类似题目。用自己业务里的新题(没公开过的)测一遍,分数立刻现原形。自建小规模业务评测集是必备动作。
3. 评分标准。自动评分只看最终答案,容易漏掉推理过程对但答案错、或者答案对但过程瞎猜的情况。我的做法是:抽查 50 道题人工看推理过程,区分“真会”和“蒙对”。
4. 长推理链的稳定性。短题正确率高不代表长题也行。推理链越长,中间一步错后面全错。实测发现,有的模型在 5 步以内的题上正确率 90%,10 步以上的题直接掉到 50% 以下。
一个实测结论:榜单分数只能做初步筛选,业务落地前一定要用自己的题、人工抽查推理过程。跑分高不等于真能解题。
大家选型推理模型时,有没有遇到过榜单分数和实际表现差很多的情况?你们一般怎么建自己的评测集?

