Human Evals at Scale — How Do You Keep Quality Up?

Our human eval pipeline started strong and decayed as annotators learned to game the rubric — agreement scores looked fine while quality quietly dropped. Gold questions, spot checks, and rotating annotators helped. How do you maintain eval quality over months, and what metric actually caught the decay?

标注质量衰减几乎都不是标注员突然变差，而是评分标准被“学会”了：标注员摸清了哪些写法容易拿高分，就开始按套路打分，分数好看、区分度却没了。只看平均分确实发现不了这个问题，要盯几个更敏感的指标。

我们的做法是三层防控。第一，黄金题不能只放开头，要按固定比例随机插进正常任务里，并且定期更换黄金题库，否则黄金题本身也会被摸清；同时记录每个标注员在黄金题上的通过率和耗时分布，耗时突然变短、通过率异常稳定，往往是走捷径的信号。第二，标注员之间的一致性要按任务类型拆开算，整体一致性高没有意义，难样本上的一致性掉得最快，那才是质量真正滑坡的地方。第三，定期做“标准刷新”：每月抽一批争议样本重新讨论、更新评分细则里的反例，细则一旦几个月不更新，就会被各种边缘写法钻空子。

另外建议把标注员轮换和任务难度混排结合起来：同一批人长期只标同一类简单任务，质量衰减最快；把难样本和简单样本混在一起、并对难样本做双人独立标注加仲裁，成本只涨一点，但能较早发现标准被钻空子的情况。