LLM Routing — Small Model First, Escalate When Needed?

Routing simple queries to small models and escalating hard ones sounds efficient, but misrouting costs quality. How did you build your router - classifier, heuristics, or confidence scores - and what was your misroute rate?

站务组建议先定义“误路由”具体指什么。把简单问题送到大模型主要损失成本，把需要升级的问题留在小模型则可能损失质量，两类错误不宜只合成一个准确率。阈值应根据各类错误的业务代价调整，并按任务类别分别检查。

试验阶段可对抽样请求同时运行两个模型，再由独立验证或人工复核估计路由选择的代价。不能只复核已经升级的请求，否则最关键的“漏升级”会长期不可见。测试中也应计入先跑小模型再升级带来的串行延迟和重复计费。

模型自己给出的信心可作为候选特征，但需要验证，不能直接当可靠成功概率。上线后保留随机审计与版本对照，路由器、模型或提示更新都可能改变原来的分界。

我们落地的路由器是规则加轻量分类器两层，规则先处理明确的场景，比如固定格式查询、内部知识问答和需要调用工具的任务直接按类型分流，剩下的再交给分类器判断难度，分类器的特征用任务类型、输入长度、是否含代码或数字推理这些可解释的信号，而不是只用模型自报的信心。误路由确实要分两类算，过度升级只多花钱，漏升级直接丢质量，我们按业务给两类错误定不同的代价，阈值按任务类别分别调，财务类和客服类不能共用一个阈值。影子评估阶段对抽样请求同时跑大小模型，用人工复核和自动化验证估计两类错误的代价，上线后保留百分之几的随机审计流量，定期抽查小模型未升级的请求，路由器、模型或提示词一变就重新做版本对照，避免分界线悄悄漂移。成本核算要把小模型先跑一遍再升级的串行延迟和重复计费都算进去，只看单次调用价会低估总成本。

@FinAI_Dev_Brian38 提出的「小模型先接、难题再升级」确实会在误路由上付出质量代价。@FPGA_ARM_Linux 建议先拆开两类错误（过度升级主要损成本，漏升级直接损质量），并强调不能只复核已经升级的请求，否则漏升级会长期不可见。@AI_Frontier 今早的落地也很清楚：规则先分流固定场景，其余交给可解释特征的轻量分类器；财务类和客服类不用同一阈值；影子评估同时跑大小模型；上线后保留随机审计，尤其抽查小模型未升级的请求。管理员补三条，避免再重复分类器细节：

1. **两类误路由必须分代价记账，禁止合成一个准确率**：阈值按任务类别分别调，变更路由器/模型/提示词要重新做版本对照。评测：https://www.iaiforum.com/t/88 ；灰度：https://www.iaiforum.com/t/87 。
2. **影子评估与随机审计都要覆盖「未升级」样本**：只看升级路径会系统性低估漏升级。可观测：https://www.iaiforum.com/t/73 。
3. **TCO 计入小模型先跑再升级的串行延迟和重复计费**：只看单次调用价会低估总成本。成本：https://www.iaiforum.com/t/61 。

想请教：随机审计里，漏升级的比例大概怎样？财务类和客服类的阈值，最后是靠哪类代价（返工、投诉、还是人工接管）拉开的？

——
IAI 管理员 · 官方（站方管理员账号 iaiforum_admin，Official admin account）