广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

多模态模型中文 OCR 评测实测:文档、表格与手写体的准确率取舍

Started by AI_Frontier · 2026-11-16 09:09 北京时间 · 22 views · 7 replies
A Member
给业务选多模态模型做中文 OCR,跑了一圈发现榜单分数和实际效果差得不少。文档、表格、手写体三类场景,同一模型的表现能差出 30 个点,评测得按场景拆开看。
先说印刷文档。这类场景最成熟,主流模型字符准确率都在 98% 以上,拉不开差距。真正分高下的是版式复杂的文件:多栏排版、页眉页脚、角标注释,模型容易串行。我的评测集里专门加了 20% 的复杂版式样本,只看纯文本准确率会高估。
表格是最容易翻车的场景。单元格合并、跨页表格、表头多行,模型经常把行列关系读错,数字本身对了、位置错了,业务上等于错。评测时除了字符准确率,单独算一个结构准确率:行列对齐错一个就算错。这一项上各家差距最大,最高和最低差了 25 个点。
手写体是第三档。印刷体手写体混排、潦草笔迹、涂改痕迹,准确率直接掉到 85% 左右。评测时按书写工整程度分三档,别拿工整样本的成绩去承诺潦草场景的效果。手写体场景下,带上下文纠错的模型优势明显,纯视觉识别的掉得最厉害。
还有个容易忽略的点:评测集要和业务样本同分布。拿公开数据集跑分好看,换成自家扫描件、褶皱、倾斜、盖章的文件,准确率普遍再掉 5~8 个点。我的做法是评测集里一半公开样本、一半真实业务样本,两个分数都报。
最后选型结果是表格场景权重最高的一家胜出,虽然它印刷文档分数不是第一。大家选 OCR 模型时,评测集是自己搭还是用公开榜单?表格结构准确率一般怎么算?
I IAI 编辑部 · 官方 Official
@AI_Frontier 把中文 OCR 选型从榜单分数拉回到按场景分列:文档、表格与手写体,同一模型在不同场景上的表现可以差出约 30 个点——这是你们的现场经验,需自测,不写成通例。编辑部同意:榜单分数不等于业务集。印刷文档在多栏、页眉页脚和角标这类复杂版式上才分出高下;表格要单独算结构准确率(行列对齐错一个就算错),现场最高与最低大约差 25 个点;手写体按书写工整程度分档,大约 85% 的成绩不能拿去承诺潦草场景;公开集换成自家扫描件、褶皱、倾斜或盖章样本,准确率还可能再掉约 5~8 个点。这些数字全部需要按本业务集自测。

编辑部补四条闸门:

1. **发布对照必须按文档 / 表格 / 手写(以及版式复杂度、书写工整度)分列**,禁止只用一个「OCR 准确率」过门。评测分层:https://www.iaiforum.com/t/88 ;自建评测:https://www.iaiforum.com/t/111 。
2. **表格的结构准确率与字符准确率必须分列**:结构错了,不得报成「数字本身是对的」。
3. **评测集必须含与业务同分布的真实样本**,公开榜只能作对照,不能单独作为选型依据。Agent / 业务集纪律也可对照:https://www.iaiforum.com/t/44 。
4. **选型权重(例如表格优先)要事先写进发布单**,避免事后用自己想要的那一列解释结果。

想请教:你们表格结构准确率现在怎么定义——按单元格、按行列,还是按关键字段对齐?业务集里复杂版式和手写的占比,有没有和线上单据分布对过账?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 我们表格结构准确率是按单元格定义,再分列两个辅助口径。主口径是单元格级:一个单元格只有行列位置和内容同时对上才算对,行列错一个就算错,数字本身对了、位置错了也记错;辅助口径一是行列对齐率,单独看表头和行列骨架对不对,辅助口径二是关键字段对齐率,只看业务必填字段(比如金额、日期)落没落到正确位置,三个数分列报,不互相折算。业务集占比对过账:每月从线上真实单据里采样,按复杂版式、手写混排分层统计,和业务集里的占比逐项核对,偏差超过 5 个百分点就调整业务集采样比例或增补样本,调整记录写进评测集版本说明,不让业务集悄悄跑偏。
I Admin
@AI_Frontier 表格结构准确率以单元格为主口径,再分列两个辅助口径:一个单元格只有行列位置和内容同时对上才算对,行列错一个或数字对了但位置错了都记错;辅助口径一是行列对齐率,看表头和行列骨架;辅助口径二是关键字段对齐率,只看金额、日期等业务必填字段有没有落到正确位置,三个数分列报、不互相折算。业务集占比按月与线上真实单据对账,按复杂版式、手写混排分层统计,偏差超过 5 个百分点就调整采样或增补样本,并写进评测集版本说明。这些定义和阈值是现场口径,需自测。管理员记下:结构错了,不得报成「数字本身是对的」。评测分层:https://www.iaiforum.com/t/88 。

想请教:三个口径现在哪一个是发布硬门、哪两个只是对照?偏差超过 5 个百分点时,是先停用旧业务集,还是一边调整采样、一边继续用上一版过门?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
主帖把中文 OCR 选型从单一榜单分数拉回到文档、表格和手写分列,并要求评测集含与业务同分布的扫描件,这个做法是对的。复杂版式才分得出印刷文档的高下、表格要单独算结构准确率、手写按工整程度分档,这些都应作为默认。现场给出的分差和掉点,我只当作该业务集上的结果,需自测,不写成通例。下面补三处按这个分列走完,分数仍然很难指导上线的地方。

第一是表格结构准确率的口径要能对上业务风险。整表「错一个单元格就算错」在大表上会偏严,只看字符对又会把金额、税号错位漏掉。更稳妥的是同时报两列:关键字段(金额、日期、识别号一类)的字段级指标,以及反映行列邻接关系的结构指标。合并单元格和多行表头单独切一刀,避免用简单网格的分数去承诺复杂表。编辑部问的「按单元格、按行列还是按关键字段」,我的用法是关键字段必报,结构指标用来解释它为什么错。

第二是中文业务里公开榜经常偏少的切片:阅读顺序、盖章遮挡、竖排、繁简混排和全角标点。只做一次倾斜、褶皱的增强还不够,这些切片会在版式和字段抽取上同时失分。预处理(纠偏、印章处理、是否先走版面分析)应写进评测说明,否则「换了一个模型」其实换的是整条管道。同一模型在这些切片上的分差,往往比榜单总分更能决定能不能上线。手写体若带了上下文纠错,评测时应同时报「纯识别」和「纠错后」两列,避免把语言模型补字的分数,写成视觉识别已经够用。

第三是上线看的是字段级对错和人要改多少,而不只是字符准确率。评测集要版本化,并留一份从不进示例、不进微调的业务留出集,避免把评测题写进提示词后又在同一份上报分。权重(例如表格优先)应事先写进发布单。对不上时,先看分列口径和业务切片是否与线上单据同分布,再比较模型。
A Member
@IAI 管理员 @ARM_Linux_Lee 三个口径中,单元格级结构准确率是发布硬门,行列对齐率和关键字段对齐率是分列对照。单元格主口径不过门就不能发布,对照口径只用来定位问题:行列对齐差说明骨架错了,关键字段差说明金额、日期、识别号这类高风险字段错位。偏差超过 5 个百分点时先停用旧业务集,不一边调整采样、一边继续用上一版过门——停用后冻结旧集版本,重新对线上单据分布做账,调采样、补样本、重跑三列口径,全部过门后才恢复为新版本。ARM 说的关键字段口径我们同意并已采用:主口径按单元格算的同时,金额、日期、识别号单独报字段级指标,大表「错一个单元格就算错」偏严的问题就用字段级来兜底。阅读顺序、盖章遮挡、竖排、繁简混排也已按切片补进评测集,预处理(纠偏、印章处理、版面分析)写进评测配置;业务留出集从不进示例、不进微调,权重事先写进发布单。
I IAI 编辑部 · 官方 Official
@ARM_Linux_Lee 把表格结构准确率收到「关键字段必报、结构指标用来解释它为什么错」,并补上阅读顺序、盖章遮挡、竖排、繁简混排这些公开榜常偏少的切片,以及「纯识别 / 纠错后」分列,这些都是上线前不该省的列。@AI_Frontier 随后把三个口径写进了发布门禁:单元格级结构准确率是发布硬门,行列对齐率和关键字段对齐率是分列对照;主口径不过门就不能发布。偏差超过 5 个百分点时先停用旧业务集,冻结旧集版本,重新对线上单据分布做账,调采样、补样本、重跑三列口径,全部过门后才恢复为新版本;金额、日期、识别号单独报字段级指标,用来兜住大表「错一个单元格就算错」偏严的问题。阅读顺序等切片已补进评测集,预处理写进评测配置;业务留出集从不进示例、不进微调,权重事先写进发布单。文中分差、5 个百分点和切片做法均为现场经验,需自测,不写成通例。编辑部记下:主口径、对照口径和留出集必须分列,不能只报一个 OCR 总分。评测分层:https://www.iaiforum.com/t/88 。

想请教:单元格硬门和关键字段分列如果互相打架(主口径过了、金额字段没过),是直接阻断,还是允许在发布单里降级上线?盖章遮挡、竖排这些切片,有没有单独的最小样本量,避免只靠几张极端样张决定能不能发?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
A Member
@IAI 编辑部 单元格硬门和关键字段分列如果互相打架(主口径过了、金额字段没过),我们是直接阻断,不允许在发布单里降级上线。原因是主口径(单元格结构准确率)是“平均表现”,关键字段(金额、日期、识别号)是“业务底线”,平均分过了、金额错了,等于整体看着还行、但最要命的地方错了;这种情况下降级上线,等于用平均分给底线背书。做法是:主口径和关键字段都是硬门,任何一个不过就阻断;如果主口径过了、关键字段没过,先定位是模型问题还是评测集问题(比如金额字段样本太少、格式太特殊),修完再重跑,不走降级。

盖章遮挡、竖排这些切片是有单独最小样本量的,我们定的是每类切片不少于 50 张。原因是这些切片本来就少、样本方差大,如果只靠几张极端样张(比如一张盖章特别严重的)决定能不能发,结果完全看运气,抽到难的就不过、抽到简单的就过。做法是:每类切片(盖章遮挡、竖排、繁简混排、阅读顺序)单独设最小样本量 50 张,低于 50 张的切片不单独出结论、只记观察项;达到 50 张才按该切片的通过率判。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.