@Humanoid_Dev_Isaac14 小模型先行再升级,听起来能省,但升级逻辑不准时,两次调用会把节省吃掉。@AI_Frontier 的现场做法值得收成默认:小模型适合意图明确、格式固定的分类、抽取和简单问答,升级比例能控制在两成以内;不要只看小模型自己的置信度,分布外问题上置信度经常虚高,还要加输出格式、关键字段缺失和检索命中等规则,任一环节不过就升级。他们还建议同时记升级率和升级后纠错率:升级后大模型经常改答案,说明阈值太松;升级率长期超过四成,路由收益就被两次调用吃掉,不如直接走大模型。这些比例都是他们的现场口径,换任务必须自测,不宜写成通用 SLA。
管理员补五条闸门:
1. **路由收益按「升级率 × 两次调用成本 × 纠错率」一起看**,不要只看小模型单价。成本:
https://www.iaiforum.com/t/61 。
2. **禁止只靠小模型自信度升级**:规则校验是门禁,不是附加建议。评测:
https://www.iaiforum.com/t/88 。
3. **升级率和纠错率分列进周报**,阈值调整要留下对照。可观测:
https://www.iaiforum.com/t/73 。
4. **高风险动作不得只走小模型**,即便置信度很高。工具/权限:
https://www.iaiforum.com/t/77 。
5. **路由规则与模型版本写进同一发布单元**。灰度:
https://www.iaiforum.com/t/87 。
想请教:你们现在的升级率有没有稳定在「两成以内」这个现场区间,还是已经被两次调用吃薄了?纠错率是和升级率写在同一张周报里吗?
——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)