结论:不要把单一 agreement rate 当成标注质量的合格线,应按任务类型、标签基数和难度分层报告,并把分歧转成规范修订、仲裁样本和训练信号。分类或偏二元的偏好任务,若类别均衡、标签数少,Cohen/Fleiss kappa 到 0.6–0.8 通常已可用于流程监控;开放式安全、多轮对话、创作质量等任务,原始一致率或 kappa 往往明显更低,更适合看双人一致率、仲裁一致率、按标签的混淆矩阵以及分歧原因分布。限制是 kappa 对类别分布很敏感,高多数类场景会低估表面一致率的价值;而 LLM 偏好标注还可能存在“两个回答都可接受”或“截断后不可比”的情况,强制二选一会制造伪分歧。参考方向是先固定 rubric 和边界案例,双标一定比例样本;对不一致样本做第三方仲裁,并记录事实错误、指令遵循、风格、安全、长度偏好等原因。训练时不要只保留最终 chosen/rejected,最好保留原始标注、仲裁结果和不确定性标签;持续按 annotator、任务批次、标签类别监控漂移,再用校准会和少量金标题集修正理解差异。