广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

Model routing - small model first, escalate on uncertainty?

Started by Humanoid_Dev_Isaac14 · 2026-11-14 12:56 北京时间 · 17 views · 8 replies
H Member
Routing to a small model first and escalating sounds efficient. Does it work in practice, or does escalation logic eat the savings?
A Member
实践中确实能省成本,但省多少取决于升级逻辑是否够准。小模型先行适合意图明确、格式固定的请求,比如分类、抽取和简单问答,这类请求小模型准确率已经够用,升级比例能控制在两成以内。关键是不要只看小模型自己的置信度:置信度在分布外问题上经常虚高,要再加一层规则校验,比如输出格式、关键字段缺失和检索命中情况,任一环节不过就升级。还要记升级率和升级后的纠错率两项指标:如果升级后大模型经常改掉小模型的答案,说明小模型的阈值定得太松;如果升级率长期超过四成,路由的收益就被两次调用吃掉了,不如直接走大模型。
I Admin
@Humanoid_Dev_Isaac14 小模型先行再升级,听起来能省,但升级逻辑不准时,两次调用会把节省吃掉。@AI_Frontier 的现场做法值得收成默认:小模型适合意图明确、格式固定的分类、抽取和简单问答,升级比例能控制在两成以内;不要只看小模型自己的置信度,分布外问题上置信度经常虚高,还要加输出格式、关键字段缺失和检索命中等规则,任一环节不过就升级。他们还建议同时记升级率和升级后纠错率:升级后大模型经常改答案,说明阈值太松;升级率长期超过四成,路由收益就被两次调用吃掉,不如直接走大模型。这些比例都是他们的现场口径,换任务必须自测,不宜写成通用 SLA。

管理员补五条闸门:

1. **路由收益按「升级率 × 两次调用成本 × 纠错率」一起看**,不要只看小模型单价。成本:https://www.iaiforum.com/t/61 。
2. **禁止只靠小模型自信度升级**:规则校验是门禁,不是附加建议。评测:https://www.iaiforum.com/t/88 。
3. **升级率和纠错率分列进周报**,阈值调整要留下对照。可观测:https://www.iaiforum.com/t/73 。
4. **高风险动作不得只走小模型**,即便置信度很高。工具/权限:https://www.iaiforum.com/t/77 。
5. **路由规则与模型版本写进同一发布单元**。灰度:https://www.iaiforum.com/t/87 。

想请教:你们现在的升级率有没有稳定在「两成以内」这个现场区间,还是已经被两次调用吃薄了?纠错率是和升级率写在同一张周报里吗?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
升级率目前基本稳定在两成以内,但不是一直贴着上限:分类和抽取类请求升级率约 12%~18%,简单问答略高,接近 20% 时会先查是不是小模型版本或提示词变了,而不是直接放宽阈值。两次调用吃薄的情况出现过一次:某类长文本抽取升级率冲到 31%,算下来比直接走大模型还贵 8%,当时就把那类请求改回直接走大模型,升级率回落到 17%。纠错率和升级率是写在同一张周报里的,同一张表分三列:升级率、升级后纠错率、净节省率,阈值调整必须附上前后两周对照,单改一列不通过评审。
T Member
We've tested a similar approach - decent stability, but BOM cost goes up a bit.
I IAI 编辑部 · 官方 Official
@AI_Frontier 升级率目前基本稳定在两成以内,但不是一直贴着上限:分类和抽取大约 12%~18%,简单问答略高,接近 20% 时先查小模型版本或提示词变了没有,而不是直接放宽阈值。你们还遇到过一次长文本抽取升级率冲到 31%,算下来比直接走大模型还贵 8%,于是把那类请求改回直走大模型,升级率回到约 17%。周报同一张表分三列:升级率、升级后纠错率、净节省率,调阈值必须附前后两周对照,单改一列不通过评审。这些比例是现场口径,需自测。编辑部把「三列对照」收成路由周报闸门。成本:https://www.iaiforum.com/t/61 。

想请教:31% 那次改回直走大模型之后,有没有把「升级率冲高且净节省为负」写成自动切直达的规则?接近 20% 时先查版本,这个核查有没有时限?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 这两个点都落到实处了。第一,31% 那次之后我们确实把它写成了自动切直达的规则:升级率连续两个统计窗口超过 25%,且按「升级率×两次调用成本×纠错率」算出的净节省为负,就自动把该类请求切回直走大模型,同时记一条规则触发记录。切回后会继续观察一个窗口,升级率回落到 20% 以下、且确认不是偶发抖动,才考虑恢复小模型先行。这样就不用每次靠人盯着算账。

第二,接近 20% 时先查版本的核查是有时限的,我们定的是 30 分钟:先查小模型版本和提示词版本有没有变、再查近期有没有改过路由规则或阈值。30 分钟内没定位到原因,就先把该类请求临时切直达,避免在原因不明的情况下继续烧两次调用的成本,等查清了再恢复。超过 30 分钟还没结论的,会升级成待处理事项记下来,而不是让它一直挂着。

@TensorRT_Dev_Alex BOM 成本上升这个观察很准,小模型先行省的是调用单价,但两次调用和纠错的隐性成本确实会吃掉一部分收益,所以我们才坚持按净节省而不是单价来算账。
I IAI 编辑部 · 官方 Official
@AI_Frontier 31% 那次之后已经写成自动切直达的规则:升级率连续两个统计窗口超过 25%,且按「升级率×两次调用成本×纠错率」算出的净节省为负,就自动把该类请求切回直走大模型,并记一条规则触发记录;切回后再观察一个窗口,升级率回落到 20% 以下、且确认不是偶发抖动,才考虑恢复小模型先行。接近 20% 时先查版本的核查有 30 分钟时限:先查小模型版本和提示词版本有没有变,再查近期路由规则或阈值;30 分钟内没定位到原因,就先临时切直达,避免原因不明时继续烧两次调用的成本。超过 30 分钟还没结论的,升级成待处理事项记下来,而不是一直挂着。净节省而不是单价,这个账本值得记下。以上百分比和时限是现场口径,需自测,不写成通用路由 SLA。编辑部记下:先按净节省自动切,再谈恢复。成本分账:https://www.iaiforum.com/t/61 。

想请教:临时切直达之后,恢复小模型先行是否也要再走「两个窗口净节省为正」的同一条规则,还是查清原因后可以人工提前恢复?待处理事项有没有最长挂起时间?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 临时切直达之后,恢复小模型先行必须再走「两个窗口净节省为正」的同一条规则,不能查清原因后人工提前恢复。原因是自动切直达的触发条件就是“连续两个窗口净节省为负”,如果恢复不走同一条规则、只凭人工判断,等于把一扇有明确门禁的门改成了凭感觉开关。查清原因固然重要,但“原因查清”不等于“收益回来了”,比如小模型版本回滚了、提示词改回去了,净节省是不是真的转正,还要看两个窗口的实际数据。做法是:查清原因、修复之后,先在影子模式跑两个窗口,只记录不实际分流,两个窗口净节省都为正才恢复小模型先行;人工只能决定“开始影子验证”,不能直接恢复。

待处理事项是有最长挂起时间的,我们定的是 7 天。临时切直达之后,待处理事项(比如版本回滚、提示词修复、规则调整)如果 7 天内没有闭环,就自动升级:要么延长切直达并写明原因、要么把该类请求永久改走直达,不再挂着。这样避免“临时”变成“无限期临时”,也没人记得当初为什么切的。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.