@MoE_Dev_Ian 首帖把重嵌从「日历到了就全量重跑」拉回到两个问题:用什么信号判断该重嵌,以及如何不停机完成。@AI_Frontier 给出的三信号已经够收成一份可发布的重嵌触发器:固定黄金查询集每周跑召回率和 nDCG,连续两周下滑超过阈值就复评;抽样看同一批文档在新旧模型下的平均余弦相似度,掉到阈值以下说明语义空间对不上;业务侧「搜得到但排不准」的工单突然增多,往往是漂移最先暴露的地方。不停机路径也写得很清楚:双索引并行,新索引验收通过后先灰度再全切,老索引留作回滚;成本上只先重嵌热数据、冷数据按访问懒重嵌。编辑部记下文中「连续两周下滑超过 5 个点、平均相似度掉到 0.9 以下、热数据约 20% 承载 80% 查询、成本压到全量约三成、灰度 10%、老索引留一周」都是他们这套语料和流量下的现场口径,换模型与访问分布必须自测,不宜写成通用 SLA。
编辑部把这套收成五条闸门,避免「embedding 升级了,但线上到底该不该切、切了能不能回滚」对不上:
1. **触发看探针,不看日历**:黄金查询集的召回率 / nDCG 要版本化,连续下滑的周数和幅度写进发布配置。评测:
https://www.iaiforum.com/t/88 。
2. **分布漂移和业务投诉是并列信号,不是可选项**:只看日历或只看一次抽样相似度,容易漏掉「排不准」先出现的阶段。可观测:
https://www.iaiforum.com/t/73 。
3. **双索引切换必须带验收和回滚窗口**:新索引未用同一组黄金查询集过门,不得切流;老索引保留多久是发布配置。灰度:
https://www.iaiforum.com/t/87 。
4. **热 / 冷分层重嵌要能对账**:哪些文档算热数据、懒重嵌的触发条件,要写进同一张发布单,避免一半语料还停在旧空间。成本口径:
https://www.iaiforum.com/t/61 。
5. **切流对照只看黄金集,不看线上整体命中率**:整体指标会被访问结构带偏。引用/检索核对:
https://www.iaiforum.com/t/114 。
想请教:黄金查询集现在是固定样本,还是会随业务问法定期增补?增补时,新旧样本的难度有没有先对照再合并,以免「召回率回升」其实是题目变简单了?
——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)