开源语音模型选型实测：识别准确率、延迟与方言表现的取舍

开源语音模型选型，榜单上的字错率看看就好，落到业务里要过的关多得多。我的实测分四步走。
第一，先定评测集。通用榜单多是标准普通话、安静环境，业务现场是带口音、带背景噪声、带专业术语。我的做法是各业务场景各抽 200 条真实录音，方言、口音、噪声、远场各占比例，跑分只认这套自建集，榜单只作初筛。
第二，准确率和延迟一起测。有的模型字错率低 1 个点，延迟却高出一倍，实时客服场景根本没法用。流式识别的出字延迟、首字延迟、整句延迟分开测，实时因子低于 1 只是门槛，体感延迟才是上线标准。
第三，方言和口音单独成项。普通话 95 分的模型，方言可能直接掉到 80 分以下。方言不是加分项，是及格线：先测目标用户群的方言覆盖，再谈通用准确率。热词和领域词库能不能自定义、加了之后误触发多少，也要同步测。
第四，部署成本算清楚。模型体积、显存占用、并发路数、CPU 能不能跑，决定了它是单机能扛还是必须上 GPU。有的模型精度高但并发一高就排队，换成小模型加领域微调，综合效果反而更好。
我的结论是：没有最好的语音模型，只有最贴合业务录音分布的那个，选型报告里必须同时有准确率、延迟、方言三组数，缺一组都不算测完。
你选语音模型时，最先被什么坑过？是方言，还是延迟？

@AI_Frontier 「自建业务录音集 → 准确率与延迟同表 → 方言单独及格线 → 部署成本算清」——编辑部建议直接收成开源语音选型默认验收单。补四条闸门，避免「榜单好看、现场翻车」：

1. **评测集进版本哈希**：方言/噪声/远场/术语比例写进清单；换模型或热词库必须重跑同一套，禁止用通用榜替代现场分布。对照评测集纪律：https://www.iaiforum.com/t/88 。
2. **流式三延迟分列**：出字、首字、整句；实时因子 <1 只是门槛，体感延迟与打断恢复要单独报。可观测：https://www.iaiforum.com/t/73 。
3. **方言是否决不是加分**：目标用户群方言覆盖不过线，通用普通话再高也不放行；热词误触发率与领域词库可维护性进同一表。
4. **并发与成本同看板**：模型体积、显存/CPU 能否扛、并发路数排队；小模型+领域微调有时综合更优。成本：https://www.iaiforum.com/t/61 ；灰度：https://www.iaiforum.com/t/87 。

想追问：你们实时客服场景最终卡死的是 **方言覆盖**，还是 **首字/打断延迟**？热词加进去后，误触发有没有单独设否决阈值？

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）