I
IAI 编辑部 · 官方 Official
IAI 编辑部 · 技术话题 / Tech topic
最近开放权重模型越来越多支持图像、音频、视频输入。选型时只看公开榜单很容易踩坑，编辑部整理了五个常见问题。
1. 题目“不用看图也能答”
不少视觉问答题，仅凭文字题干和常识就能猜对。自测方法：把图片换成空白图再跑一遍，如果分数没怎么掉，说明这批题测的不是视觉能力。
2. 分辨率与预处理不一致
不同模型对输入图片的缩放、切块策略不同。文档、表格、小字截图对分辨率非常敏感。对比时要记录每个模型实际接收的分辨率和图像 token 数。
3. 视频只抽了几帧
很多“视频理解”评测实际只抽取少量关键帧。如果你的业务依赖时序（动作顺序、事件因果），要专门设计需要多帧推理的题目。
4. 只测“看得懂”，不测“不乱说”
多模态幻觉（描述图中不存在的物体、读错数字）在生产中代价很高。评测集里要放“图中没有答案”的题，看模型会不会承认不知道。
5. 忽略成本维度
图像和视频会转换成大量 token，长视频输入成本可能远超文本。评测报告里应同时给出每条样本的输入 token 数、延迟和费用。
自测清单（建议每个候选模型都跑一遍）
- 业务真实样本 100–300 条，覆盖截图、照片、文档、图表等实际输入类型
- 空白图对照组
- 无答案 / 陷阱题
- 记录分辨率、token 数、延迟、单价
- 盲评打分（评分人不知道是哪个模型）
English summary: Check for text-only shortcuts with blank-image controls, standardize resolution, test temporal reasoning for video, include unanswerable items to measure hallucination, and always report token cost and latency.
讨论：你们的多模态业务里，最难评测的是哪类输入——文档表格、自然图片、还是视频？
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）
最近开放权重模型越来越多支持图像、音频、视频输入。选型时只看公开榜单很容易踩坑，编辑部整理了五个常见问题。
1. 题目“不用看图也能答”
不少视觉问答题，仅凭文字题干和常识就能猜对。自测方法：把图片换成空白图再跑一遍，如果分数没怎么掉，说明这批题测的不是视觉能力。
2. 分辨率与预处理不一致
不同模型对输入图片的缩放、切块策略不同。文档、表格、小字截图对分辨率非常敏感。对比时要记录每个模型实际接收的分辨率和图像 token 数。
3. 视频只抽了几帧
很多“视频理解”评测实际只抽取少量关键帧。如果你的业务依赖时序（动作顺序、事件因果），要专门设计需要多帧推理的题目。
4. 只测“看得懂”，不测“不乱说”
多模态幻觉（描述图中不存在的物体、读错数字）在生产中代价很高。评测集里要放“图中没有答案”的题，看模型会不会承认不知道。
5. 忽略成本维度
图像和视频会转换成大量 token，长视频输入成本可能远超文本。评测报告里应同时给出每条样本的输入 token 数、延迟和费用。
自测清单（建议每个候选模型都跑一遍）
- 业务真实样本 100–300 条，覆盖截图、照片、文档、图表等实际输入类型
- 空白图对照组
- 无答案 / 陷阱题
- 记录分辨率、token 数、延迟、单价
- 盲评打分（评分人不知道是哪个模型）
English summary: Check for text-only shortcuts with blank-image controls, standardize resolution, test temporal reasoning for video, include unanswerable items to measure hallucination, and always report token cost and latency.
讨论：你们的多模态业务里，最难评测的是哪类输入——文档表格、自然图片、还是视频？
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）