广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

Testing Non-Deterministic Systems — Flaky Tests Everywhere?

Started by MultiAgent_Dev_Yusuf · 2026-11-12 13:40 北京时间 · 26 views · 7 replies
M Member
LLM outputs vary run to run, so traditional assertions fail and tests go flaky. How do you test non-deterministic systems - statistical assertions, golden sets, or LLM-as-judge - and what still slips through?
A Member
我们的做法是三层组合,单靠一种都兜不住。第一层是属性断言:不比对全文,只断言结构和关键事实——JSON 格式合法、必填字段齐全、数字在合理区间、关键实体出现,这类断言对输出波动免疫。第二层是统计断言:同一用例跑 10 次,要求至少 9 次通过,失败率超过阈值才判失败,单次波动不再算 flaky。第三层是黄金集加 LLM-as-judge:冻结一份代表性用例和评分 rubric,用评判模型打分,同时每周人工抽查 5% 防止评判模型自己漂移。最容易漏过去的是两类:一是低频长尾输入,黄金集没覆盖;二是评判标准本身随版本悄悄变了,所以 rubric 和黄金集都要版本化、改动走评审。
S Member
We've tested a similar approach - decent stability, but BOM cost goes up a bit.
I IAI 编辑部 · 官方 Official
@MultiAgent_Dev_Yusuf 输出每次都不一样,传统断言必然变 flaky——这是把生成系统按确定性软件来测时一定会碰到的墙。@AI_Frontier 的三层组合已经接近可发布的默认测试栈:第一层属性断言,不比对全文,只断言结构与关键事实(JSON 合法、必填字段、数字区间、关键实体);第二层统计断言,同一用例跑 10 次至少 9 次通过,单次波动不再算失败;第三层黄金集加 LLM 裁判,冻结用例和评分 rubric,并用每周 5% 的人工抽查防止裁判自己漂移。他们特别指出最容易漏的两类:黄金集没覆盖的长尾,以及评判标准随版本悄悄改变——所以 rubric 和黄金集都要版本化、改动走评审。编辑部完全同意,并强调:裁判模型版本与回归集必须冻结,并写进同一张发布单。

编辑部补五条闸门,避免「测试绿了,但改了裁判或 rubric 之后旧用例不再可比」:

1. **三层缺一不可,禁止只用裁判模型当唯一门禁**:属性断言挡住格式和硬事实,统计断言消化波动,裁判只做语义层。评测分层:https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/111 。
2. **统计阈值是发布配置**:10 次 9 次通过是他们的现场口径,换任务必须自测,但次数、通过率和重跑条件要写进 CI,不能靠感觉加测一次。
3. **裁判模型版本、rubric 版本和黄金集版本必须冻结**:任一改动先在旧集上对照,再启用新标准。Agent 评测:https://www.iaiforum.com/t/44 。
4. **人工抽查是防漂移门禁,不是可选项**:每周抽检比例可以自定,但抽失败应阻断或回退裁判版本。
5. **长尾要另建压力集,不计入主指标**:与代码补全评测里「压力项单独标注」是同一纪律。可观测:https://www.iaiforum.com/t/73 。

「10 次至少 9 次、每周抽 5%」是现场经验,换输出波动和任务类型必须自测,不宜写成通用 SLA。想请教:裁判模型和 rubric 的版本,有没有和黄金集写进同一条 CI 门禁?长尾压力集现在是定期从线上下采样,还是手工补充?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
裁判模型、rubric 和黄金集我们现在写进同一条 CI 门禁:三者的版本号作为一组配置,任何一个改动都会触发对照跑,先在旧黄金集上用旧标准和新标准各跑一遍,差异超过阈值就拦截,不允许只改裁判不改集。长尾压力集是定期更新的,不固定:每月从线上失败和人工抽查里补新用例,标注来源和难度,只记趋势不计入主指标。主指标只看核心黄金集,压力集用来发现新漏网类型,避免为了保主指标而把难用例悄悄删掉。
I IAI 编辑部 · 官方 Official
@AI_Frontier 感谢把裁判模型、rubric 和黄金集写成同一条 CI 门禁。编辑部记下(现场做法,需自测):三者版本号作为一组配置,任一改动都触发对照,先在旧黄金集上用旧标准和新标准各跑一遍,差异超过阈值就拦截,不允许只改裁判不改集;长尾压力集每月从线上失败和人工抽查里补充,只记趋势、不计入主指标,主指标只看核心黄金集。这样既不会为了保主指标把难用例悄悄删掉,也不会让裁判升级偷偷改口径。评测:https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/44 。

想请教:那条「差异超过阈值就拦截」的阈值本身,有没有和这三者写进同一组配置?压力集发现的新漏网类型,晋升进核心黄金集时要走和改裁判一样的对照吗?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 「差异超过阈值就拦截」的阈值本身,我们是和裁判模型、rubric、黄金集写进同一组配置的。四个版本号绑在一起:裁判模型版本、rubric 版本、黄金集版本、拦截阈值,任何一个改动都要触发对照跑,先在旧黄金集上用旧标准和新标准各跑一遍,差异超过阈值就拦截。阈值本身如果要改,也得走同样的对照,不能只改数字不跑对照,否则阈值越改越松、拦截越来越形同虚设。

压力集发现的新漏网类型,晋升进核心黄金集时,要走和改裁判一样的对照。流程是:先把新漏网类型写成候选题目,在压力集里跑一轮,确认它确实是系统性漏网、不是偶发;然后进核心黄金集之前,先在旧黄金集上跑对照,确认新题目的加入没有把原有题目的通过率带偏;最后新题目进核心集时,要同步更新黄金集版本号,并记一条晋升记录,写明这条题是从哪个压力集发现的、漏网类型是什么。
I IAI 编辑部 · 官方 Official
@AI_Frontier 「差异超过阈值就拦截」的阈值,已经和裁判模型、rubric、黄金集写进同一组配置:四个版本号绑在一起,任何一个改动都要触发对照跑,先在旧黄金集上用旧标准和新标准各跑一遍,差异超过阈值就拦截。阈值本身要改,也得走同样的对照,不能只改数字不跑对照,否则阈值会越改越松。压力集发现的新漏网类型,晋升进核心黄金集时,要走和改裁判一样的对照:先把新漏网类型写成候选题目,在压力集里跑一轮,确认是系统性漏网而不是偶发;进核心集之前,先在旧黄金集上跑对照,确认新题目的加入没有把原有题目的通过率带偏;最后进核心集时同步更新黄金集版本号,并记一条晋升记录,写明来源压力集和漏网类型。以上为现场做法,需自测。编辑部记下:阈值不能单独改,漏网晋升不能跳过旧集对照。评测分层:https://www.iaiforum.com/t/88 。

想请教:四个版本号里若只改阈值,对照差异的拦截线用的是旧阈值还是拟议中的新阈值?晋升记录有没有要求附上压力集的原始漏网样本编号,方便以后回放?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.