I
Member
一条外观质检线,6 路 5MP 相机、30 fps,边缘一张 24 GB 推理卡。指标要求:每个工位的判定周期不超过 50 ms,漏检率低于 0.3%。上线第一版用 batch=1 逐帧推理,结果 p99 直接到 78 ms,产线节拍被拖住。
一、先把时延预算拆开
- 曝光 3 ms,GMSL 传输 0.2 ms,解码 1.5 ms。
- 预处理(resize + 归一化)在 CPU 上做,实测 8 ms——这一项是最大的隐性成本。
- 推理:batch=1 时 8 ms/帧;batch=6 时 22 ms/批,平均 3.7 ms/帧。
- 后处理 NMS 3 ms。
- batch=1 的端到端理论是 15.7 ms,看起来远低于 50 ms,但 6 路相机同时来帧,串行处理就会排队:第 6 帧要等前 5 帧算完,最坏 8×6 = 48 ms,加上其他环节直接破 50 ms。
二、拼批解决了什么,又带来了什么
- batch=6,每批覆盖 6 路相机各一帧,推理 22 ms,平均 3.7 ms/帧,吞吐 163 帧/s,满足 180 帧/s 的需求还差一点,加一张卡做分摊后够了。
- 代价是"等齐":6 路帧到达时间不完全一致,最慢的一路比最快晚 8–12 ms。拼批必须等最慢的那一路,这 8–12 ms 就是纯等待。
- 所以 batch 不是越大越好。batch=12 时推理 40 ms,平均 3.3 ms/帧,看着更划算,但等齐时间涨到 20 ms 以上,p99 反而从 46 ms 恶化到 68 ms。
- 经验:batch 上限等于相机路数,超过路数就是在用等待换吞吐,产线场景不划算。
三、把预处理搬到 GPU
- CPU 预处理 8 ms 是最大单点。改成 GPU 上的 resize,用 TensorRT 的预处理插件,实测降到 2.1 ms。
- 改造后端到端 p50 从 34 ms 降到 26 ms,p99 从 78 ms 降到 46 ms。
- 这一步比换卡便宜,也比量化安全,建议优先做。
四、INT8 量化的边界
- FP16 推理 22 ms/批,INT8 降到 12 ms/批,但漏检率从 0.12% 涨到 0.31%,刚好踩线。
- 原因是小目标(0.5 mm 级的划痕)在量化后特征被压掉。做法是保留检测头的 FP16,只量化主干网络,实测 15 ms/批,漏检率 0.15%,可以接受。
- 全量 INT8 不是不能用,而是要用在你确认没有小目标的那几路相机上,别一刀切。
五、验收
1. 用产线真实节拍跑 4 小时,统计 p50/p99 判定周期,p99 必须低于 50 ms。
2. 漏检率用标定过的缺陷集测,不只测良品,良品测不出漏检。
3. 拼批逻辑要加超时:最慢一路超过 15 ms 就单帧先跑,不要无限等。
4. 温度:边缘卡在电柜里 45 ℃ 时频率会降,推理时间会涨 10–15%,验收要在热态下做。
想讨论一个具体问题:你们产线质检是逐帧低时延,还是拼批高吞吐?我这边为了 p99 守 50 ms,把 batch 钉死在相机路数,缓存和调度都变复杂了,想看看有没有更简洁的做法。
一、先把时延预算拆开
- 曝光 3 ms,GMSL 传输 0.2 ms,解码 1.5 ms。
- 预处理(resize + 归一化)在 CPU 上做,实测 8 ms——这一项是最大的隐性成本。
- 推理:batch=1 时 8 ms/帧;batch=6 时 22 ms/批,平均 3.7 ms/帧。
- 后处理 NMS 3 ms。
- batch=1 的端到端理论是 15.7 ms,看起来远低于 50 ms,但 6 路相机同时来帧,串行处理就会排队:第 6 帧要等前 5 帧算完,最坏 8×6 = 48 ms,加上其他环节直接破 50 ms。
二、拼批解决了什么,又带来了什么
- batch=6,每批覆盖 6 路相机各一帧,推理 22 ms,平均 3.7 ms/帧,吞吐 163 帧/s,满足 180 帧/s 的需求还差一点,加一张卡做分摊后够了。
- 代价是"等齐":6 路帧到达时间不完全一致,最慢的一路比最快晚 8–12 ms。拼批必须等最慢的那一路,这 8–12 ms 就是纯等待。
- 所以 batch 不是越大越好。batch=12 时推理 40 ms,平均 3.3 ms/帧,看着更划算,但等齐时间涨到 20 ms 以上,p99 反而从 46 ms 恶化到 68 ms。
- 经验:batch 上限等于相机路数,超过路数就是在用等待换吞吐,产线场景不划算。
三、把预处理搬到 GPU
- CPU 预处理 8 ms 是最大单点。改成 GPU 上的 resize,用 TensorRT 的预处理插件,实测降到 2.1 ms。
- 改造后端到端 p50 从 34 ms 降到 26 ms,p99 从 78 ms 降到 46 ms。
- 这一步比换卡便宜,也比量化安全,建议优先做。
四、INT8 量化的边界
- FP16 推理 22 ms/批,INT8 降到 12 ms/批,但漏检率从 0.12% 涨到 0.31%,刚好踩线。
- 原因是小目标(0.5 mm 级的划痕)在量化后特征被压掉。做法是保留检测头的 FP16,只量化主干网络,实测 15 ms/批,漏检率 0.15%,可以接受。
- 全量 INT8 不是不能用,而是要用在你确认没有小目标的那几路相机上,别一刀切。
五、验收
1. 用产线真实节拍跑 4 小时,统计 p50/p99 判定周期,p99 必须低于 50 ms。
2. 漏检率用标定过的缺陷集测,不只测良品,良品测不出漏检。
3. 拼批逻辑要加超时:最慢一路超过 15 ms 就单帧先跑,不要无限等。
4. 温度:边缘卡在电柜里 45 ℃ 时频率会降,推理时间会涨 10–15%,验收要在热态下做。
想讨论一个具体问题:你们产线质检是逐帧低时延,还是拼批高吞吐?我这边为了 p99 守 50 ms,把 batch 钉死在相机路数,缓存和调度都变复杂了,想看看有没有更简洁的做法。

