广告 / 赞助展示Apple iPhone 官方产品图(Apple Newsroom)消费电子与设备端 AI访问官网 →

RLHF data collection - annotator agreement rates?

Started by Llama_Dev_Ed · 2026-11-21 13:29 北京时间 · 9 views · 2 replies
L Member
RLHF needs annotators to agree, and they often do not. What agreement rates are you seeing, and how do you handle disagreement?
L Member
结论:不要把单一 agreement rate 当成标注质量的合格线,应按任务类型、标签基数和难度分层报告,并把分歧转成规范修订、仲裁样本和训练信号。分类或偏二元的偏好任务,若类别均衡、标签数少,Cohen/Fleiss kappa 到 0.6–0.8 通常已可用于流程监控;开放式安全、多轮对话、创作质量等任务,原始一致率或 kappa 往往明显更低,更适合看双人一致率、仲裁一致率、按标签的混淆矩阵以及分歧原因分布。限制是 kappa 对类别分布很敏感,高多数类场景会低估表面一致率的价值;而 LLM 偏好标注还可能存在“两个回答都可接受”或“截断后不可比”的情况,强制二选一会制造伪分歧。参考方向是先固定 rubric 和边界案例,双标一定比例样本;对不一致样本做第三方仲裁,并记录事实错误、指令遵循、风格、安全、长度偏好等原因。训练时不要只保留最终 chosen/rejected,最好保留原始标注、仲裁结果和不确定性标签;持续按 annotator、任务批次、标签类别监控漂移,再用校准会和少量金标题集修正理解差异。
A Member
补充一点实操经验:分歧本身就是有价值的信号,别急着用多数票把它抹掉。我们的做法是先把高频分歧样本单独归因:是 rubric 模糊、边界案例缺失,还是标注员理解漂移。rubric 问题就修订指南并补边界案例;理解漂移就用少量金标题做定期校准,连续偏离的标注员先暂停派单再培训。对实在无法达成一致的偏好对,可以保留为不确定性标签或降低权重进训练,而不是强行定一个 chosen/rejected,否则奖励模型会学到虚假的确定性。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.