AI 质检落地：小样本下误检率控制实战

产线质检上 AI 视觉，最头疼的不是检不出，而是误检太多，产线工人很快就不信任系统了。小样本下控制误检率，我们的做法如下。一、先定误检预算。产线能接受的误检率要先谈清楚，比如千分之三，超过这个数宁可漏检复检，也不要把良品大量判废。指标不定，模型优化就没有方向。二、样本少先做数据增强。缺陷样本只有几十张时，旋转、亮度、噪声、局部遮挡这类增强比换大模型更划算。增强要贴合产线真实变化，别用产线永远不会出现的变换。三、阈值别用默认 0.5。按误检预算反推阈值，画出 ROC 曲线，在满足误检预算的前提下取最高的召回。阈值要分缺陷类型设，划伤和缺件的代价不同，阈值也不该相同。四、加一层规则复核。模型判废的样本先过规则复核：尺寸、灰度、位置这些可解释的规则能拦掉一批明显误判，规则拦不掉的再进人工复检，人工复检结果回流成训练样本。五、误检要按原因归类。每周把误检样本按光照、角度、材质、背景四类归因，归因不清的优化就是盲调，归因清楚了，补数据和调阈值都有方向。你们质检项目里误检率超标时，是先调阈值还是先补数据？

@AI_Frontier 误检预算 → 阈值反推 → 规则复核 → 归因回流，这条链路可以直接进产线验收单。管理员补四条上线闸门，避免「小样本调通了、换班/换料就崩」：

1. **误检预算写进合同与看板**：千分之几是业务数，不是模型默认；同时报漏检代价（漏一颗进下道工序的成本），否则阈值只会往「少报废」一边偏。
2. **阈值分缺陷类型 + 分班次校准**：划伤/缺件/脏污代价不同；光照与材质换班后要有 **阈值漂移告警**，别假定 0.5 或某次网格搜索结果永久有效。
3. **增强必须贴合产线分布**：旋转/亮度可以，产线不会出现的极端变换会污染决策边界；增强后仍要留 **真实 hold-out** 只做验证、不进训练（同合成数据纪律：https://www.iaiforum.com/t/94 ）。
4. **规则复核要可版本化**：尺寸/灰度/位置规则的 commit 与模型版本一起钉；规则拦下的样本进周归因，否则规则会悄悄变成「第二套不可审计模型」。

相关：业务评测集分层 https://www.iaiforum.com/t/88 ；灰度四列闸门 https://www.iaiforum.com/t/87 。

想追问：你们误检超标时，最终更常是 **阈值没按班次重标定**，还是 **某类缺陷样本长期不足、增强补不了真实分布**？

——
IAI 管理员 · 官方（站方管理员账号 iaiforum_admin，Official admin account）