I
Member
长上下文窗口给了 200k,但 RAG 里最贵的错误恰恰是"把窗口当垃圾桶":什么都塞进去,召回看着变好,答案质量反而降。我们上周把一个 200k 窗口的检索服务从"塞满 32k"改成"控制在 6k",准确率反升 4 个点,p50 延迟降了 380 ms。这篇把三个参数和验证口径写清楚。
一、切分:chunk 尺寸与重叠不是调出来的,是算出来的
- 起点用 512 token、重叠 64 token(12.5%)。重叠低于 8% 时,跨段落的句子会被切断,我们实测"答案跨两段"的题目命中率从 74% 掉到 61%。
- 但重叠不能无脑加:重叠 25% 时索引体积涨 22%,召回延迟 +90 ms,收益只有 2 个点。
- 切分边界优先按语义结构(标题、段落、表格行),不要按固定字符数硬切。表格必须整表成块,切开后单行没有列名,模型读不懂——我们有一批"表头丢失"的错答案就是这个原因。
- 长文档(>50 页)多加一层:先按章节切,再在章内按 512 切,chunk 的 metadata 带章节标题。检索时先选章节再选块,能省掉一半无关块。
二、召回:top-k 与重排要分开看
- 向量召回 top-k 从 4 提到 8,召回率(正确答案在候选里)78% → 86%;提到 16 只到 88%,边际收益已经很小,但噪声进来了。
- 重排(cross-encoder)从 20 条候选压到 6–8 条进 prompt,precision 明显提升。我们的口径:先粗召回 20,再重排取 6,比"召回 8 直接进 prompt"在 200 题测试集上高 5.5 个点。
- 别用同一个模型既做召回又做重排,分数尺度不可比,阈值没法设。
三、拼装:位置比数量重要
- 6 块 × 1k token 放在 prompt 开头和结尾,模型利用率最高;塞到中间位置,同样的块答对率掉 3–6 个点(这是"中间遗忘",200k 窗口也逃不掉)。
- 拼装顺序建议:系统提示 → 与问题最相关的 2 块(放前面) → 其余 4 块 → 问题本身(放最后)。问题放最后比放最前,在我们的测试集上高 2–3 个点。
- 每块带来源标记(文档 ID + 段落号),出错时能回查,也让模型更愿意引用。
四、验证口径(200 题分桶,别只看总分)
- 按上下文长度分四桶:≤4k / 4–8k / 8–16k / >16k。我们改完之后 ≤4k 持平、8–16k +6 点、>16k +3 点,说明收益主要来自中长上下文,短上下文本来就没问题。
- 同时记"答案跨度是否跨块"的比例,这个数直接反映切分质量。跨块题答对率比块内题低 8–12 个点是正常的,低 20 个点以上就要改重叠或改语义切分。
- 加一条硬指标:prompt 里无关块占比 >30% 就说明召回噪声过大,先修重排,不要靠加大窗口硬扛。
五、真问题
你们的切分是按字符数、按 token 数,还是按文档结构的语义边界?我现在的麻烦是 PDF 表格:整表成块会超 512 token,硬切又丢表头。想听听有没有人用"表头行复制到每个子块"的做法,效果和索引体积怎么权衡。
一、切分:chunk 尺寸与重叠不是调出来的,是算出来的
- 起点用 512 token、重叠 64 token(12.5%)。重叠低于 8% 时,跨段落的句子会被切断,我们实测"答案跨两段"的题目命中率从 74% 掉到 61%。
- 但重叠不能无脑加:重叠 25% 时索引体积涨 22%,召回延迟 +90 ms,收益只有 2 个点。
- 切分边界优先按语义结构(标题、段落、表格行),不要按固定字符数硬切。表格必须整表成块,切开后单行没有列名,模型读不懂——我们有一批"表头丢失"的错答案就是这个原因。
- 长文档(>50 页)多加一层:先按章节切,再在章内按 512 切,chunk 的 metadata 带章节标题。检索时先选章节再选块,能省掉一半无关块。
二、召回:top-k 与重排要分开看
- 向量召回 top-k 从 4 提到 8,召回率(正确答案在候选里)78% → 86%;提到 16 只到 88%,边际收益已经很小,但噪声进来了。
- 重排(cross-encoder)从 20 条候选压到 6–8 条进 prompt,precision 明显提升。我们的口径:先粗召回 20,再重排取 6,比"召回 8 直接进 prompt"在 200 题测试集上高 5.5 个点。
- 别用同一个模型既做召回又做重排,分数尺度不可比,阈值没法设。
三、拼装:位置比数量重要
- 6 块 × 1k token 放在 prompt 开头和结尾,模型利用率最高;塞到中间位置,同样的块答对率掉 3–6 个点(这是"中间遗忘",200k 窗口也逃不掉)。
- 拼装顺序建议:系统提示 → 与问题最相关的 2 块(放前面) → 其余 4 块 → 问题本身(放最后)。问题放最后比放最前,在我们的测试集上高 2–3 个点。
- 每块带来源标记(文档 ID + 段落号),出错时能回查,也让模型更愿意引用。
四、验证口径(200 题分桶,别只看总分)
- 按上下文长度分四桶:≤4k / 4–8k / 8–16k / >16k。我们改完之后 ≤4k 持平、8–16k +6 点、>16k +3 点,说明收益主要来自中长上下文,短上下文本来就没问题。
- 同时记"答案跨度是否跨块"的比例,这个数直接反映切分质量。跨块题答对率比块内题低 8–12 个点是正常的,低 20 个点以上就要改重叠或改语义切分。
- 加一条硬指标:prompt 里无关块占比 >30% 就说明召回噪声过大,先修重排,不要靠加大窗口硬扛。
五、真问题
你们的切分是按字符数、按 token 数,还是按文档结构的语义边界?我现在的麻烦是 PDF 表格:整表成块会超 512 token,硬切又丢表头。想听听有没有人用"表头行复制到每个子块"的做法,效果和索引体积怎么权衡。

