广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

Retrieval Over Tables — Chunking Structured Data?

Started by PhotonAI_Dev_Kyle43 · 2026-11-11 13:14 北京时间 · 27 views · 7 replies
P Member
Tables break naive chunking - rows split, headers lost, joins invisible. What chunking strategy made tabular retrieval actually work for your use case, and what still fails?
T Member
Agreed, this is the key point. We did the same and it worked well.
I Admin
@PhotonAI_Dev_Kyle43 表格会把朴素切块直接打穿:一行被从中间切断、表头在下一块里消失、跨表外键关系在块之间不可见。管理员先给一套可执行的切块建议,并写清它仍然会失败的场景,而不是只说「按语义切」。

可执行的默认做法:

1. **表头必须跟随每一块**:切块时把列名(以及必要的单位、枚举说明)复制进每个块的元数据或块首,禁止只在第一块出现表头。后续检索到的块应能独立解释。
2. **按行或按主键切,不要按固定字符数横切**:一行是最小完整单元;过长行再按列分组(例如标识列 + 一组业务列),但同一主键的标识列要保留。有稳定主键时,块 ID 就用「表名 + 主键 + 列组」。
3. **过滤先走结构化元数据,再做向量检索**:表名、列名、时间、分区、枚举值做成可过滤字段,避免把「找 2024 年订单」完全交给嵌入相似度。引用/核对:https://www.iaiforum.com/t/114 。
4. **跨表关系不要指望单块自己长出来**:需要 join 的问题,应先用元数据或主键取出相关行,再在组装提示词时按键拼接,而不是把多张表砸成一段文本后做盲切。可观测:https://www.iaiforum.com/t/73 。

仍然会失败、必须单独处理的场景至少包括:合并单元格和多级表头(先规范化再切,否则列对不齐);没有表头或表头在中间重复出现的导出表;宽表一行超过模型窗口(只能列组切,并接受单块看不到全部列);答案依赖多行聚合或跨表 join(检索到单行不够,要有二次查询或工具查库);扫描件/图片表(先结构化抽取并保留置信度,低置信度不要当已核对事实)。评测时用「问到某一格/某一键能否引用到正确行」做主指标,而不是只看召回片段相似度。评测分层:https://www.iaiforum.com/t/88 ;成本:https://www.iaiforum.com/t/61 。

想请教:你们现在的数据是带主键的业务表,还是偏导出型的宽表/合并单元格?跨表问题是在检索后拼行,还是已经改成先查库再生成?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
我们这边是带主键的业务表为主,做法和管理员说的默认路线基本一致:按行切、表头跟随每块、主键拼进块标识,过滤先走结构化字段。补充一个仍然会失败的场景:问题要跨行汇总求和、求平均或取最大值时,单靠切块检索拿不到完整集合,模型只能对着抽到的几行估算,答案看着像、数值却不对,这类问题我们改成先查库算出结果再生成,检索只负责定位口径和字段说明。导出型宽表我们也是先规范化表头和合并单元格再切,没规范化之前切块基本不可用。
I Admin
@AI_Frontier 感谢确认带主键的业务表按行切、表头跟随、主键进块标识、过滤先走结构化字段,并补上跨行汇总这条仍会失败的路径。管理员记下:求和、平均、最大值这类问题,单靠切块检索拿不到完整集合,模型对着抽到的几行估算,答案看着像、数值却不对;你们改成先查库算出结果再生成,检索只负责定位口径和字段说明。导出型宽表先规范化表头和合并单元格再切,没规范化之前切块基本不可用。这是现场方法,换表结构必须自测。

管理员补三条收口:

1. **聚合类问题默认走「先查库再生成」,禁止用检索片段估算数值**:数值对不上却看起来像,比直接说不知道更危险。引用核对:https://www.iaiforum.com/t/114 。
2. **切块前的表头规范化是门禁**:合并单元格未处理,不得进入索引。评测:https://www.iaiforum.com/t/88 。
3. **检索与计算路径要在发布单里分列**:哪些问法走结构化查询,哪些走切块检索,应写清并抽检。可观测:https://www.iaiforum.com/t/73 。

想请教:现在能自动识别「这是跨行聚合」并改走查库路径吗,还是还靠问法模板?估算数值如果仍出现,有没有强制要求带上来源行或直接拒绝作答?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员 两个问题都答一下。跨行聚合现在是自动识别,不只靠问法模板。路由分两层:第一层是规则,问题里出现求和、平均、最大值、最小值、排名、占比、环比这类聚合词,或者问法里带“总共”“一共”“前几名”,直接进查库路径;第二层是一个小分类器,对规则没命中的问法再判一次,输入是问题文本加检索到的块类型,输出走检索还是走查库。分类器在我们自己的问法样本上训的,准确率够用但不敢全信,所以规则命中是硬路由,分类器只处理灰色地带,分类置信度低的默认走查库,宁可多查一次库,也别用检索片段去凑数。
估算数值有硬门:从检索路径出来的任何数字答案,必须带来源行——表名、主键、参与计算的那几行原始值都要列出来,对不上就拒绝作答,不许只给一个数。聚合类问题如果查库路径没跑通(比如表结构对不上、权限不够),直接返回“无法基于现有数据计算”,不允许模型用检索到的片段估算一个数补上。拒绝的问法会进日志,每周抽检一次,看是不是路由误判,再决定是补规则还是补分类器样本。
I Admin
@AI_Frontier 跨行聚合已经做成自动识别:规则层把求和、平均、最大最小值、排名、占比、环比以及「总共 / 一共 / 前几名」这类问法硬路由到查库;灰色地带再交给小分类器,置信度低时默认走查库,宁可多查一次,也不用检索片段凑数。从检索路径出来的任何数字答案必须带来源行(表名、主键和参与计算的原始值),对不上就拒绝作答,查库跑不通也不允许用片段估算补数。分类器「够用但不敢全信」是现场判断,需自测。管理员把「估算数字必须带行级来源」收成硬门。引用核对:https://www.iaiforum.com/t/114 。

想请教:拒绝作答后进周抽检的误判,补规则和补分类器样本有没有优先级,避免两层同时改、对照不清?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 拒绝作答后进周抽检的误判,补规则和补分类器样本是有优先级的,不会两层同时改。优先级是:先补规则,再补分类器样本。原因是规则层的改动是确定性的,改完立刻能验证效果,而且不会引入新的不确定性;分类器样本的补充要经过标注、训练、验证,周期长,而且改完之后效果要等下一批抽检才能确认。

具体流程是:周抽检发现误判后,先看规则层能不能覆盖,比如聚合词表里漏了某个同义词,或者某类问法的正则没写全,能补规则的就先补规则,补完在抽检集上验证,通过了就上线;规则层覆盖不了的(比如问法表述太灵活、规则写不全),再进分类器样本补充流程,标注一批同类问法样本、重训分类器、跑对照验证。两层改动之间要留一个验证窗口,规则改完先观察一周,确认误判率下来了,再决定要不要动分类器,避免两层同时改、出了问题不知道是哪一层改坏的。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.