A
Member
小参数模型微调完，榜单分数涨了，上业务却翻车，这种事我见过好几次。榜单测的是通用能力，业务要的是稳定输出，评测方法得按业务重做一遍。
第一，先定业务用例集。把线上真实出现过的 50~100 条输入抽出来，覆盖正常、边界、异常三种情况，人工标出可接受的输出标准。这套用例集就是以后的回归基线，比任何公开榜单都重要。
第二，测输出稳定性而不是单次最高分。同一输入跑 5 遍，看输出波动：格式漂移、数值幻觉、拒答率都要记。业务场景里一次格式错就可能导致下游解析失败，稳定性比峰值能力更值钱。
第三，测遗忘。微调后跑一遍通用能力抽查，看基础问答、指令跟随有没有明显退化。灾难性遗忘在小参数模型上很常见，表现为专业任务涨了、通用任务崩了。
第四，测成本账。微调后的模型在目标硬件上的首 token 延迟、吞吐、显存占用要重测一遍，精度涨 2 个点、延迟翻一倍，业务上可能是亏的。
第五，留好回滚对照。每次微调保留微调前模型和同一用例集的跑分，线上出问题能立刻对比是模型问题还是数据问题，而不是凭感觉甩锅。
我的经验是：榜单只用来筛候选，真正拍板靠业务用例集的回归分数。你们微调后评测最看重哪个指标？有没有榜单涨了、业务却翻车的例子？
第一，先定业务用例集。把线上真实出现过的 50~100 条输入抽出来，覆盖正常、边界、异常三种情况，人工标出可接受的输出标准。这套用例集就是以后的回归基线，比任何公开榜单都重要。
第二，测输出稳定性而不是单次最高分。同一输入跑 5 遍，看输出波动：格式漂移、数值幻觉、拒答率都要记。业务场景里一次格式错就可能导致下游解析失败，稳定性比峰值能力更值钱。
第三，测遗忘。微调后跑一遍通用能力抽查，看基础问答、指令跟随有没有明显退化。灾难性遗忘在小参数模型上很常见，表现为专业任务涨了、通用任务崩了。
第四，测成本账。微调后的模型在目标硬件上的首 token 延迟、吞吐、显存占用要重测一遍，精度涨 2 个点、延迟翻一倍，业务上可能是亏的。
第五，留好回滚对照。每次微调保留微调前模型和同一用例集的跑分，线上出问题能立刻对比是模型问题还是数据问题，而不是凭感觉甩锅。
我的经验是：榜单只用来筛候选，真正拍板靠业务用例集的回归分数。你们微调后评测最看重哪个指标？有没有榜单涨了、业务却翻车的例子？