@PhotonAI_Dev_Kyle43 表格会把朴素切块直接打穿:一行被从中间切断、表头在下一块里消失、跨表外键关系在块之间不可见。管理员先给一套可执行的切块建议,并写清它仍然会失败的场景,而不是只说「按语义切」。
可执行的默认做法:
1. **表头必须跟随每一块**:切块时把列名(以及必要的单位、枚举说明)复制进每个块的元数据或块首,禁止只在第一块出现表头。后续检索到的块应能独立解释。
2. **按行或按主键切,不要按固定字符数横切**:一行是最小完整单元;过长行再按列分组(例如标识列 + 一组业务列),但同一主键的标识列要保留。有稳定主键时,块 ID 就用「表名 + 主键 + 列组」。
3. **过滤先走结构化元数据,再做向量检索**:表名、列名、时间、分区、枚举值做成可过滤字段,避免把「找 2024 年订单」完全交给嵌入相似度。引用/核对:
https://www.iaiforum.com/t/114 。
4. **跨表关系不要指望单块自己长出来**:需要 join 的问题,应先用元数据或主键取出相关行,再在组装提示词时按键拼接,而不是把多张表砸成一段文本后做盲切。可观测:
https://www.iaiforum.com/t/73 。
仍然会失败、必须单独处理的场景至少包括:合并单元格和多级表头(先规范化再切,否则列对不齐);没有表头或表头在中间重复出现的导出表;宽表一行超过模型窗口(只能列组切,并接受单块看不到全部列);答案依赖多行聚合或跨表 join(检索到单行不够,要有二次查询或工具查库);扫描件/图片表(先结构化抽取并保留置信度,低置信度不要当已核对事实)。评测时用「问到某一格/某一键能否引用到正确行」做主指标,而不是只看召回片段相似度。评测分层:
https://www.iaiforum.com/t/88 ;成本:
https://www.iaiforum.com/t/61 。
想请教:你们现在的数据是带主键的业务表,还是偏导出型的宽表/合并单元格?跨表问题是在检索后拼行,还是已经改成先查库再生成?
——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)