多模态大模型评测教程:图文理解、OCR 与幻觉检查
多模态大模型评测用于检验模型对图像、视频和文档的理解可靠性。结合图片+QA 对、SimpleVQA、视觉定位与幻觉检查,帮助团队设计可复用评测集并支持模型选型。
什么是多模态大模型评测?
多模态大模型评测,是用结构化任务和数据检验模型是否真正理解图像、视频、文档、网页等多模态输入,并能给出准确、可验证的回答。它不只看回答是否流畅,还要关注答案是否符合视觉证据、是否能识别文字和物体、是否能完成定位判断,以及是否存在幻觉。
多模态大模型通常面向图像、视频与多模态输入提供视觉理解能力,能力范围可覆盖图像描述、视觉问答、物体识别、3D 定位、文档及网页解析、长视频理解、OCR 文字提取等任务。因此,评测也需要从单一问答扩展为覆盖不同输入、不同任务和不同错误类型的体系。
要点: 多模态大模型评测的核心问题不是“模型会不会说”,而是“模型是否基于输入内容正确地说”。
| 评测关注点 | 要回答的问题 | 常见任务 |
|---|---|---|
| 图文理解 | 模型是否看懂图像或视频内容 | 图像描述、视觉问答、事实问答 |
| OCR 能力 | 模型是否能读出并理解图片、文档或网页中的文字 | OCR 文字提取、文档解析、网页解析 |
| 视觉定位 | 模型是否能把答案对应到真实目标或空间位置 | 物体识别、位置判断、3D 定位 |
| 幻觉控制 | 模型是否编造输入中不存在的信息 | 事实准确性检查、证据一致性检查 |
评测任务如何拆成图文理解、OCR、视觉定位和幻觉检查
多模态评测不宜只设置一个总分。更稳妥的做法是先按任务拆分,再为每类任务设计样本、预期答案和错误类型。
图文理解评测
图文理解评测关注模型能否根据图片或视频回答自然语言问题。它可以通过视觉问答和图像描述任务承载,例如让模型描述场景、识别主要对象、回答与画面内容相关的简答题。
这类任务适合观察两类能力:
- 模型是否能提取图像或视频中的关键信息;
- 模型回答是否与输入内容保持事实一致。
如果模型回答看似合理,但与图片内容不一致,就应记录为事实错误或幻觉风险,而不是简单认为语言表达良好。
OCR 评测
OCR 评测关注模型从图片、文档或网页中提取文字,并理解文字所在版面和语义的能力。它适合用于票据、截图、表格、网页、说明文档等输入场景。
在证据不足时,不应随意引入具体 OCR 指标公式或阈值。更通用的评测设计可以从以下问题开始:
- 文字是否被完整读出;
- 关键字段是否被漏读或错读;
- 模型是否能结合版面关系理解字段含义;
- 当图片中没有相关文字时,模型是否会编造内容。
视觉定位评测
视觉定位评测关注模型能否识别物体,并给出与位置相关的可靠判断。它可以围绕物体识别、空间关系和 3D 定位设计问题,例如询问某个目标是否存在、目标位于画面何处、两个对象之间是否存在空间关系。
这类评测的重点不是让模型生成更长解释,而是观察回答是否能对应到图像中的真实目标。如果模型识别了不存在的对象,或把位置关系说反,都应记录为定位偏差或幻觉相关错误。
幻觉检查
多模态幻觉是指模型给出了输入内容不支持的答案,例如编造图片中不存在的对象、读出不存在的文字、在定位问题中指向错误目标,或在证据不足时给出确定性结论。
幻觉检查可以把事实准确性作为核心观察点,并结合以下信号:
- 回答是否与图像、视频或文档证据一致;
- 是否出现输入中不存在的对象、文字或关系;
- 在不确定场景中,模型是否过度自信;
- 人工复核结果是否支持自动评分结论。
评测数据应如何组织成图片和问答对
图片+QA 对是多模态大模型评测中常见的数据组织形式。它将视觉输入与自然语言问题绑定起来,便于检查模型是否基于图片内容作答,也便于覆盖识别、理解、推理、OCR 和事实问答等任务。
一个基础样本通常包含三部分:
| 字段 | 作用 | 示例说明 |
|---|---|---|
| 图片或多模态输入 | 提供视觉证据 | 图片、文档截图、网页截图、视频片段等 |
| 问题 | 明确评测目标 | 询问对象、文字、位置、事实或关系 |
| 答案或判定标准 | 用于评分和复核 | 标准答案、可接受答案范围、错误类型 |
按任务类型分层构造样本
为了避免评测集只覆盖简单识别,可以按任务类型分层设计样本:
| 任务层 | 样本目标 | 主要观察点 |
|---|---|---|
| 图像描述 | 描述整体场景和关键对象 | 是否漏掉关键信息,是否编造对象 |
| 视觉问答 | 回答与图片内容相关的问题 | 回答是否符合视觉证据 |
| OCR 提取 | 读取图片或文档中的文字 | 是否错读、漏读或编造文字 |
| 定位判断 | 判断对象位置或空间关系 | 是否对应真实目标和位置 |
| 文档解析 | 理解文档、网页或截图中的结构化信息 | 是否理解字段含义和上下文 |
| 长视频理解 | 根据视频内容回答问题 | 是否遗漏关键片段或混淆时序信息 |
控制样本规模并保证问题质量
评测集不一定越大越好。对于需要快速迭代的模型评测,可以先将数据控制在便于人工复核和重复运行的规模内;在一些开发文档中,也有将多模态评测数据量控制在 1000 条以下的建议。
更重要的是问题质量。高质量问题应覆盖多种任务与场景,并具有一定挑战性,而不是只测试“图里有什么”这类简单识别。对于业务评测,还应加入真实使用场景中的高频样本和高风险样本。
建议: 小规模评测集也可以有价值,前提是样本覆盖关键任务、问题足够明确,并且每条样本都有可复核的预期答案或判定标准。
SimpleVQA 适合评估哪些能力
SimpleVQA 主要用于评估多模态大模型回答自然语言简答题时的事实准确性。它覆盖多种任务与场景,并强调问题质量和挑战性,适合放在基础事实准确性评测环节。
在多模态大模型评测中,可以借鉴 SimpleVQA 的思路,检查模型是否根据图像内容回答问题,以及回答是否与事实一致。它尤其适合用于图文问答、简答式事实核验和基础理解能力评估。
但 SimpleVQA 不应被当作完整评测体系。对于实际模型选型,还需要补充 OCR、视觉定位、长视频理解、文档解析和业务样本评测。
| 使用方式 | 适合评估 | 不宜替代 |
|---|---|---|
| 自然语言简答题 | 事实准确性、图文问答基础能力 | OCR 专项评测 |
| 多任务场景问题 | 不同场景下的回答可靠性 | 视觉定位专项评测 |
| 挑战性问题 | 模型是否真正理解输入 | 业务定制评测 |
视觉定位与幻觉指标如何结合判断
视觉定位和幻觉控制并不是彼此独立的两个问题。很多多模态幻觉都与定位不可靠有关:模型可能识别了错误目标,也可能把画面中不存在的对象当成事实来回答。
从定位问题观察幻觉风险
视觉定位问题可以围绕物体识别、空间关系和 3D 定位设计。评测时应重点观察回答是否能对应到图像中的真实目标,而不是只看语言是否顺畅。
常见错误可以记录为:
- 目标不存在却被模型确认存在;
- 目标存在但位置判断错误;
- 空间关系被说反或被简化;
- 模型在证据不足时给出确定性描述。
用事实准确性、人类偏好和自动指标共同观察
幻觉风险可以通过事实准确性、回答与图像证据的一致性、人类偏好判断和自动指标共同观察。相关研究中也存在通过细粒度奖励模型改进视觉定位并减少幻觉的思路,并会结合人类偏好和自动指标来更新预训练多模态语言模型。
这说明定位能力和幻觉控制之间存在关联:如果模型更可靠地把回答锚定到视觉证据上,就更可能减少无依据生成。
注意: 自动分数可以提高评测效率,但不宜单独作为结论。对于高风险样本、边界样本和业务关键样本,应保留人工复核或偏好标注环节。
多模态模型选型时的评测检查清单
多模态模型选型不能只看单一准确率。真实场景中的选择通常还取决于任务类型、响应速度、显存预算、中文表现和 OCR 能力等因素。
按任务权重设计评测表
不同业务对能力的权重不同。文档理解场景可能更重视 OCR 和版面语义,视频分析场景更重视长视频理解,空间感知类场景则可能更关注物体识别和定位判断。
| 用户需求 | 解决方式 | 效果 |
|---|---|---|
| 判断图片内容是否被正确理解 | 设置图像描述和视觉问答样本 | 发现事实错误和遗漏信息 |
| 读取截图、文档或网页文字 | 设置 OCR 提取和文档解析样本 | 发现错读、漏读和字段混淆 |
| 判断目标位置或空间关系 | 设置物体识别、位置判断和 3D 定位问题 | 发现定位偏差和目标混淆 |
| 降低无依据回答 | 设置冲突样本、缺失证据样本和人工复核 | 识别幻觉和过度自信回答 |
| 支持工程选型 | 记录响应速度、显存预算、中文表现和 OCR 能力 | 避免只凭单一分数选型 |
建议记录的错误类型
为了让评测可复用,建议为每类样本记录错误类型,而不是只记录对错。常见错误包括:
- 幻觉:编造不存在的对象、文字或事实;
- 事实错误:回答与图像、视频或文档证据不一致;
- 漏读文字:OCR 场景中遗漏关键字段;
- 文字错读:把相似字符、数字或字段读错;
- 定位偏差:识别目标错误或位置关系错误;
- 长视频遗漏:忽略关键片段或混淆时间顺序;
- 中文表达问题:中文理解、生成或术语表达不稳定。
一个可复用的评测流程
明确任务边界
先确定模型要服务的主要场景,例如图文问答、文档解析、OCR 提取、视觉定位或长视频理解。任务边界越清晰,评测样本越容易设计。
构造图片+QA 对
围绕关键任务准备图片、文档截图或视频片段,并为每个输入设计自然语言问题和预期答案。问题应覆盖简单识别、复杂理解、事实核验和高风险边界情况。
分层记录结果
不要只记录总分。应按图文理解、OCR、定位、幻觉、中文表现、响应速度等维度记录结果,便于发现模型的强项和短板。
加入人工复核
对于幻觉、定位和业务关键样本,建议加入人工复核。人工判断可以补足自动指标难以覆盖的语义细节和上下文判断。
用同一评测集重复对比
在模型版本、提示词或部署条件变化时,使用同一评测集重复运行。这样可以更稳定地比较不同模型或不同配置的表现。
结论: 多模态大模型评测应从任务拆解、数据组织、事实准确性、定位可靠性和幻觉控制共同入手。只有把自动评测与人工复核结合起来,才能更接近真实业务中的可靠性判断。