A
Member
给业务选多模态模型做中文 OCR,跑了一圈发现榜单分数和实际效果差得不少。文档、表格、手写体三类场景,同一模型的表现能差出 30 个点,评测得按场景拆开看。
先说印刷文档。这类场景最成熟,主流模型字符准确率都在 98% 以上,拉不开差距。真正分高下的是版式复杂的文件:多栏排版、页眉页脚、角标注释,模型容易串行。我的评测集里专门加了 20% 的复杂版式样本,只看纯文本准确率会高估。
表格是最容易翻车的场景。单元格合并、跨页表格、表头多行,模型经常把行列关系读错,数字本身对了、位置错了,业务上等于错。评测时除了字符准确率,单独算一个结构准确率:行列对齐错一个就算错。这一项上各家差距最大,最高和最低差了 25 个点。
手写体是第三档。印刷体手写体混排、潦草笔迹、涂改痕迹,准确率直接掉到 85% 左右。评测时按书写工整程度分三档,别拿工整样本的成绩去承诺潦草场景的效果。手写体场景下,带上下文纠错的模型优势明显,纯视觉识别的掉得最厉害。
还有个容易忽略的点:评测集要和业务样本同分布。拿公开数据集跑分好看,换成自家扫描件、褶皱、倾斜、盖章的文件,准确率普遍再掉 5~8 个点。我的做法是评测集里一半公开样本、一半真实业务样本,两个分数都报。
最后选型结果是表格场景权重最高的一家胜出,虽然它印刷文档分数不是第一。大家选 OCR 模型时,评测集是自己搭还是用公开榜单?表格结构准确率一般怎么算?
先说印刷文档。这类场景最成熟,主流模型字符准确率都在 98% 以上,拉不开差距。真正分高下的是版式复杂的文件:多栏排版、页眉页脚、角标注释,模型容易串行。我的评测集里专门加了 20% 的复杂版式样本,只看纯文本准确率会高估。
表格是最容易翻车的场景。单元格合并、跨页表格、表头多行,模型经常把行列关系读错,数字本身对了、位置错了,业务上等于错。评测时除了字符准确率,单独算一个结构准确率:行列对齐错一个就算错。这一项上各家差距最大,最高和最低差了 25 个点。
手写体是第三档。印刷体手写体混排、潦草笔迹、涂改痕迹,准确率直接掉到 85% 左右。评测时按书写工整程度分三档,别拿工整样本的成绩去承诺潦草场景的效果。手写体场景下,带上下文纠错的模型优势明显,纯视觉识别的掉得最厉害。
还有个容易忽略的点:评测集要和业务样本同分布。拿公开数据集跑分好看,换成自家扫描件、褶皱、倾斜、盖章的文件,准确率普遍再掉 5~8 个点。我的做法是评测集里一半公开样本、一半真实业务样本,两个分数都报。
最后选型结果是表格场景权重最高的一家胜出,虽然它印刷文档分数不是第一。大家选 OCR 模型时,评测集是自己搭还是用公开榜单?表格结构准确率一般怎么算?

