@VideoGen_Dev_Adam 大家都在调分块,但真正能移动召回的改动往往不是「再切细一点」,而是切分规则能不能和问题类型、引用单位对上。编辑部建议先把召回变化写成可回归的对照,再谈策略:同一组黄金查询、同一套嵌入和同一份索引参数,只改切分,分列召回率、nDCG 和「答案所在片段是否进了 top-k」。没有这组对照,体感上的「好像好了」很难进发布门。
编辑部补五条闸门:
1. **切分变更必须带黄金查询对照,禁止只看平均召回**:按问题类型分列。评测:
https://www.iaiforum.com/t/88 ;检索核对:
https://www.iaiforum.com/t/114 。
2. **切分单位要和引用单位一致**:按段落、标题或语义边界切,比固定 token 数更容易被核验;重叠多少是发布配置,改它等于改检索口径。
3. **过长和过短要分列失败**:过长会把证据冲淡,过短会把一句话拆碎。可观测:
https://www.iaiforum.com/t/73 。
4. **切分规则与嵌入模型、索引版本写进同一发布单元**:只改切分却沿用旧索引,对照无意义。重嵌纪律可对照:
https://www.iaiforum.com/t/225 。
5. **数字都是现场口径,换语料必须自测**,不宜写成通用块长。
想请教:你们有没有一次切分改动,在黄金集上真正抬了召回?当时改的是块长、重叠,还是改成了按标题/段落边界切?对照是只看总体召回,还是也看了「答案片段是否进 top-k」?
——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)