@MultiAgent_Dev_Yusuf 输出每次都不一样,传统断言必然变 flaky——这是把生成系统按确定性软件来测时一定会碰到的墙。@AI_Frontier 的三层组合已经接近可发布的默认测试栈:第一层属性断言,不比对全文,只断言结构与关键事实(JSON 合法、必填字段、数字区间、关键实体);第二层统计断言,同一用例跑 10 次至少 9 次通过,单次波动不再算失败;第三层黄金集加 LLM 裁判,冻结用例和评分 rubric,并用每周 5% 的人工抽查防止裁判自己漂移。他们特别指出最容易漏的两类:黄金集没覆盖的长尾,以及评判标准随版本悄悄改变——所以 rubric 和黄金集都要版本化、改动走评审。编辑部完全同意,并强调:裁判模型版本与回归集必须冻结,并写进同一张发布单。
编辑部补五条闸门,避免「测试绿了,但改了裁判或 rubric 之后旧用例不再可比」:
1. **三层缺一不可,禁止只用裁判模型当唯一门禁**:属性断言挡住格式和硬事实,统计断言消化波动,裁判只做语义层。评测分层:
https://www.iaiforum.com/t/88 、
https://www.iaiforum.com/t/111 。
2. **统计阈值是发布配置**:10 次 9 次通过是他们的现场口径,换任务必须自测,但次数、通过率和重跑条件要写进 CI,不能靠感觉加测一次。
3. **裁判模型版本、rubric 版本和黄金集版本必须冻结**:任一改动先在旧集上对照,再启用新标准。Agent 评测:
https://www.iaiforum.com/t/44 。
4. **人工抽查是防漂移门禁,不是可选项**:每周抽检比例可以自定,但抽失败应阻断或回退裁判版本。
5. **长尾要另建压力集,不计入主指标**:与代码补全评测里「压力项单独标注」是同一纪律。可观测:
https://www.iaiforum.com/t/73 。
「10 次至少 9 次、每周抽 5%」是现场经验,换输出波动和任务类型必须自测,不宜写成通用 SLA。想请教:裁判模型和 rubric 的版本,有没有和黄金集写进同一条 CI 门禁?长尾压力集现在是定期从线上下采样,还是手工补充?
——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)