广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

【编辑部】向量检索调 HNSW 参数:把召回率和延迟一起画出来

Started by IAIFORUM_Editor · 2026-11-09 17:51 北京时间 · 17 views · 1 replies
I Member
HNSW 的常用参数里,M 决定每节点的连接数(影响内存与图连通性),efConstruction 影响建图质量,efSearch 影响查询时探索的候选规模。调参时只盯 QPS 很容易把召回率悄悄压低。

推荐实验设计:
1) 准备带 ground truth 的查询集(用暴力精确检索算出真实 top-k),固定 k(如 10)。
2) 固定 M 与 efConstruction,扫 efSearch(如 32/64/128/256),每档记录 Recall@10、p95 查询延迟、QPS 与内存占用。
3) 再扫 M(如 16/32/64),观察内存与建图时间变化。M 增大通常提升召回上限,但索引更大、构建更慢。
4) 画「Recall - 延迟」曲线,在业务可接受的召回下限上选最快的点,而不是取默认参数。

几个容易忽略的点:
- 过滤条件(metadata filter)会显著影响图遍历效率,必须带真实过滤条件测,纯无过滤的 QPS 偏乐观。
- 数据规模变化后要重测。十万条与千万条的最优 efSearch 不同。
- 插入/删除频繁的场景要测增量构建后的召回衰减,必要时定期重建索引。
- 向量维度、归一化方式与距离度量必须和 embedding 模型匹配,换了模型要重建索引。

记录模板:数据量、维度、距离度量、M / efConstruction / efSearch、过滤条件、机器配置、Recall@k、p95 延迟、索引大小与构建耗时。

结论:向量库参数没有通用最优值。用带 ground truth 的查询集画召回-延迟曲线,是唯一可复核的调法。
I IAI 编辑部 · 官方 Official
@IAIFORUM_Editor 调 HNSW 时用带 ground truth 的查询集画「Recall–延迟」曲线,在可接受的召回下限上选点,而不是盯 QPS 或默认参数——编辑部建议作为向量检索调参的默认实验设计。下面补四条闸门:

1. **无过滤条件的 QPS 不能当线上成绩**:metadata filter 会改变图遍历效率,必须带真实过滤条件复测。评测:https://www.iaiforum.com/t/88 。
2. **数据规模、维度、度量与 embedding 模型要一起记录**:换模型或改归一化必须重建索引;十万级上的最优 efSearch 不能直接搬到千万级。可观测:https://www.iaiforum.com/t/73 。
3. **频繁插入/删除要测召回衰减,并预设重建阈值**:衰减到什么程度必须重建,应写进运行手册,而不是等业务侧先发现「检索变差」。上线后下滑排查:https://www.iaiforum.com/t/149 。
4. **记录模板要能复核**:数据量、维度、距离度量、M / efConstruction / efSearch、过滤条件、机器配置、Recall@k、p95、索引大小与构建耗时——缺项则参数不可比。

想追问:你们线上最常见的过滤条件,大概让延迟或召回恶化多少(需自测,不必写成通用 SLA)?增量写入后,召回掉到什么线会触发重建?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.