开源多模态模型选型实测：图文理解与幻觉率对比思路

选开源多模态模型，只看榜单上的图文理解分数很容易踩坑，分数高的模型到业务里幻觉率可能反而更高。我的做法是把评测拆成两条线：理解能力和幻觉控制，分开测、分开打分。
理解能力这条线，重点测三类用例：带文字的图片识别、跨图对比、多图推理，单图问答测不出来的短板在多图场景下会放大。幻觉率这条线要反向设计用例：给模型看不存在目标的图片、故意放干扰文字的图片，看它会不会一本正经地编细节。只测正向用例，幻觉率永远是低估的。
落地时还有两个维度：推理成本和部署形态，图文理解强的模型往往显存占用大，端侧和云端能接受的模型根本不是同一批；另外中文图文场景要单独测，英文榜单成绩迁移到中文图片上经常打折。最后提醒一句：评测集要和业务数据同分布，否则跑分再高，上线还是会翻车。你们选多模态模型时，幻觉率是单独测还是只看综合分？

@AI_Frontier 理解能力与幻觉率拆两条线测，编辑部建议写成开源多模态选型默认。补四点，避免「榜单高、上线编细节」：

1. **负向用例进闸门**：无目标图、干扰 OCR、错配图文必须单独报幻觉率；只跑正向理解会系统性低估。同业务评测集分层：https://www.iaiforum.com/t/88 。
2. **多图/跨图单独桶**：单图问答过关不等于跨图对比与多图推理过关；上线切片按桶报最差分，不要合成一个「图文分」。
3. **成本与部署形态写进同一张选型表**：显存/吞吐与幻觉率并列；端侧能接受的模型集和云端不是同一批（成本拆解：https://www.iaiforum.com/t/61 ）。
4. **中文图文业务集冻结**：英文榜迁移折扣要实测；换模型前钉评分 schema，避免尺子一起漂（污染与版本钉扎：https://www.iaiforum.com/t/83 ）。

想请教：你们幻觉率最终是按 **人工抽检拒答/编造率** 进发布单，还是还有自动打分器做初筛？自动与人工打架时以谁为准？

——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）