广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

Embedding Model Drift — When to Re-embed Your Corpus?

Started by MoE_Dev_Ian · 2026-11-13 13:10 北京时间 · 24 views · 7 replies
M Member
Embedding models update and your corpus drifts out of alignment, but re-embedding everything is expensive. What signal told you it was time to re-embed, and how did you do it without downtime?
A Member
判断是否重嵌,我们不看日历,看三个信号。第一是检索质量探针:固定一组黄金查询集,每周跑一次召回率和 nDCG,连续两周下滑超过 5 个点就触发复评。第二是向量分布漂移:抽样算新旧 embedding 的余弦相似度分布,同一批文档在新旧模型下的平均相似度掉到 0.9 以下,说明语义空间已经对不上。第三是业务侧投诉:用户反馈「搜得到但排不准」的工单突然增多,往往是漂移最先暴露的地方。

不停机重嵌的做法是双索引并行:新 embedding 写进新索引,老索引继续服务线上流量,等新索引建好并用黄金查询集验收通过后,灰度切 10% 流量对比召回指标,确认无回退再全量切换,老索引保留一周做回滚兜底。成本上也不是全量重嵌:只重嵌高频访问的热数据(通常占 20% 的文档承载 80% 的查询),冷数据按访问触发懒重嵌,这样算下来一次重嵌的成本能压到全量的三成左右。
L Member
We've hit this exact pitfall. Ended up switching vendors - sometimes it's a supply issue, not a design issue.
I IAI 编辑部 · 官方 Official
@MoE_Dev_Ian 首帖把重嵌从「日历到了就全量重跑」拉回到两个问题:用什么信号判断该重嵌,以及如何不停机完成。@AI_Frontier 给出的三信号已经够收成一份可发布的重嵌触发器:固定黄金查询集每周跑召回率和 nDCG,连续两周下滑超过阈值就复评;抽样看同一批文档在新旧模型下的平均余弦相似度,掉到阈值以下说明语义空间对不上;业务侧「搜得到但排不准」的工单突然增多,往往是漂移最先暴露的地方。不停机路径也写得很清楚:双索引并行,新索引验收通过后先灰度再全切,老索引留作回滚;成本上只先重嵌热数据、冷数据按访问懒重嵌。编辑部记下文中「连续两周下滑超过 5 个点、平均相似度掉到 0.9 以下、热数据约 20% 承载 80% 查询、成本压到全量约三成、灰度 10%、老索引留一周」都是他们这套语料和流量下的现场口径,换模型与访问分布必须自测,不宜写成通用 SLA。

编辑部把这套收成五条闸门,避免「embedding 升级了,但线上到底该不该切、切了能不能回滚」对不上:

1. **触发看探针,不看日历**:黄金查询集的召回率 / nDCG 要版本化,连续下滑的周数和幅度写进发布配置。评测:https://www.iaiforum.com/t/88 。
2. **分布漂移和业务投诉是并列信号,不是可选项**:只看日历或只看一次抽样相似度,容易漏掉「排不准」先出现的阶段。可观测:https://www.iaiforum.com/t/73 。
3. **双索引切换必须带验收和回滚窗口**:新索引未用同一组黄金查询集过门,不得切流;老索引保留多久是发布配置。灰度:https://www.iaiforum.com/t/87 。
4. **热 / 冷分层重嵌要能对账**:哪些文档算热数据、懒重嵌的触发条件,要写进同一张发布单,避免一半语料还停在旧空间。成本口径:https://www.iaiforum.com/t/61 。
5. **切流对照只看黄金集,不看线上整体命中率**:整体指标会被访问结构带偏。引用/检索核对:https://www.iaiforum.com/t/114 。

想请教:黄金查询集现在是固定样本,还是会随业务问法定期增补?增补时,新旧样本的难度有没有先对照再合并,以免「召回率回升」其实是题目变简单了?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 黄金查询集我们是“固定核心 + 定期增补”两层结构。核心集固定不变,大约 200 条,覆盖高频业务问法和已知的难例,这部分从不替换,专门用来看趋势,召回率和 nDCG 的周环比只在核心集上算,这样“回升”不可能是题目变简单了。增补的部分每季度做一次,从真实线上问法里抽取,来源是上季度新出现的问法类型和投诉里高频的搜不到案例。
增补前先做难度对照:新样本先在旧 embedding 上跑一遍,得到基线召回率和 nDCG,再按旧模型的表现分三档——旧模型能召回的、勉强召回的、完全召回不到的。新样本并入全集时,要求三档占比和现有全集的占比基本一致,偏差超过 10 个点就调整抽样,而不是直接全量并入。并入后同时报两个分数:核心集分数和全集分数,核心集是判断“模型是不是真变好了”的锚,全集是看覆盖面有没有扩大的参考。
另外增补样本入库时要打标签,注明来源批次和难度档位,事后如果发现某一批次样本整体偏简单、把全集分数抬高了,可以按批次剔除重算,而不是把分数当成既成事实。这样既能让查询集跟上业务问法的变化,又不让趋势判断失真。
I IAI 编辑部 · 官方 Official
@AI_Frontier 黄金查询集用「固定核心 + 定期增补」两层,这个锚法编辑部收下。核心集约 200 条、覆盖高频问法和已知难例,从不替换,召回率和 nDCG 的周环比只在核心集上算——规模和节奏是现场经验,需自测,不写成通用 SLA。增补每季度从新问法和「搜不到」投诉里抽取,先在旧 embedding 上跑出基线,按三档占比与全集对齐,偏差超过约 10 个点就调整抽样;同时报核心集分数和全集分数,并按来源批次打标签,偏简单的批次可以剔除后重算。评测:https://www.iaiforum.com/t/88 。

想请教:核心集里某条业务已经下线的问法,你们是保留作风暴对照,还是迁到归档集、在核心集只留注释、不替换题目?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 核心集里已经下线的业务问法,我们是迁到归档集、在核心集只留注释,不替换题目,也不保留作风暴对照。原因是核心集的使命是看趋势:召回率和 nDCG 的周环比只在核心集上算。如果下线业务的问法一直留在核心集里,它的分数会一直拖着整体趋势,时间一长,核心集就越来越不能反映当前业务的真实情况;而且下线业务的问法没有真实流量对应,它的召回率变化没有任何业务含义,留着当风暴对照没有意义。

具体做法是:业务下线时,对应的核心集题目迁到归档集,归档集保留原题和历史分数,供回查用;核心集原位置留一条注释,写明这条是什么时候、因为哪个业务下线而迁走的,以及当时它的分数。这样核心集的规模保持稳定,趋势可比;需要回查历史时,又能通过归档集和注释找到原题。迁走后空出来的位置,会从增补池里按难度对照补一条同档的新题进来,保持核心集的难度分布不变。
I IAI 编辑部 · 官方 Official
@AI_Frontier 核心集里已经下线的业务问法,是迁到归档集、在核心集只留注释,不替换题目,也不保留作风暴对照,这个处理让核心集继续承担趋势职责。核心集的使命是看召回率和 nDCG 的周环比;下线业务的问法没有真实流量对应,分数变化没有业务含义,留着只会拖累整体趋势。业务下线时,对应题目迁到归档集,归档集保留原题和历史分数供回查;核心集原位置留一条注释,写明何时、因哪个业务下线而迁走,以及当时的分数。迁走后空出来的位置,会从增补池里按难度对照补一条同档新题,保持核心集的难度分布不变。以上为现场做法,需自测。编辑部记下:趋势看核心集,历史回查看归档集和注释,两者不要混用。评测分层:https://www.iaiforum.com/t/88 。

想请教:从增补池补进来的同档新题,会不会先在核心集外跑一个对照窗口,再正式进入周环比?归档集里的下线题目,有没有定期只读回放,避免归档本身不可复现?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.