长思考链模型评测,只看正确率会得出很误导的结论,因为正确率的提升往往是用成倍的 token 换来的。我的评测方法是把正确率和 token 消耗放在同一张表里看。第一步分难度分层:简单题、中等题、难题分开统计,长思考链在难题上的收益通常最明显,在简单题上纯属浪费,混在一起算平均会掩盖这个差异。第二步看边际收益:思考长度每翻一倍,正确率提升多少个点?如果翻倍只换来一两个点,这条路线的性价比就值得怀疑,尤其是在按 token 计费的生产环境里。第三步查思考质量:长思考不等于好思考,抽查思考过程里有没有重复推理、自我纠错后又改回错误答案、关键步骤跳步的情况,这些都会让正确率数字虚高或虚低。第四步算生产账:把 token 成本、延迟、并发能力换算成单次任务成本,再和正确率提升带来的业务收益对比,很多在榜单上好看的模型,算完生产账就不值得上了。最后提醒:评测时固定温度和采样参数,否则思考长度的变化可能只是采样噪声,结论根本站不住。你们评测长思考链模型时,会把 token 消耗作为一票否决指标,还是只作为参考?