能看清，更要看懂：MME-VideoOCR全面评估MLLM视频OCR能力

多模态大模型（MLLM）在静态图像上已经展现出卓越的 OCR 能力，能准确识别和理解图像中的文字内容。然而，当应用场景从静态图像拓展至动态视频 时，即便是当前最先进的模型也面临着严峻的挑战。

视频作为一种信息密度更高、场景更复杂的模态，其 OCR 任务的难度远超静态图像：

1.运动模糊、光影变化、视角切换以及复杂的时序关联等视频的动态因素，都对 MLLM 的视频文字识别构成了显著的障碍。

2.视频中的文字信息形式复杂多样，既可能出现在画面主体、背景场景，也可能以屏幕注释、水印或弹幕的方式存在。这要求模型能够建立稳定的时空视觉-文本关联，以实现对分布在不同位置与时间段文字信息的准确识别、整合与理解。

3.MLLM 不仅需要对视频中文字的进行精确识别，更需在视觉、时序上下文中完成语义解析与推理判断，以实现对视频整体内容的深层理解。

目前，MLLM 在视频 OCR 领域的真实性能如何？其核心局限性体现在哪些方面？我们应如何系统地评估并推动其发展？这些关键问题亟待一个明确的答案。

一、主要贡献

为了解决以上问题，快手可灵团队联合北京大学、清华大学、中科院自动化所等单位提出了 MME-VideoOCR，该 Benchmark 致力于系统评估并推动 MLLM 在视频 OCR 中的感知、理解和推理能力，目前该论文已被NeurIPS 2025会议录用。

论文链接：https://arxiv.org/abs/2505.21333

项目地址：https://mme-videoocr.github.io/

主要贡献如下：

构建精细的任务体系：

高质量、大规模数据集：

揭示当前 MLLM 的能力边界与局限：

二、MME-VideoOCR 评测框架详解

MME-VideoOCR 的设计核心在于其 全面性 与深度，旨在评估模型从“看见”到“理解”视频文字信息的全方位能力。

2.1 数据构建

MME-VideoOCR 的数据集源于部分高质量数据集和人工采集与构造，经过精心筛选与处理，确保其：

考虑到短视频、弹幕视频及 AIGC 视频的逐渐普及，MME-VideoOCR 额外引入了这些特殊类型的视频，增加了数据的全面性。共收集1,464个视频和 2000 条样本。

10 大任务类别 与 25 个子任务紧密围绕视频 OCR 的核心挑战，重点评估模型在以下方面的能力：

三、评估策略

针对不同任务的特点和标准答案可能存在的灵活性，设计了字符串匹配、多选题以及 GPT 辅助评分三种评测方式。

四、实验发现总结

通过对 18 个主流 MLLM 的深度评测，MME-VideoOCR 揭示了以下关键发现：

整体性能：提升空间巨大

顶尖模型面临挑战：Gemini 2.5 Pro 虽然表现最佳，但 73.7% 的准确率表明，即便是 SOTA 模型在应对复杂视频 OCR 任务时也远未达到理想状态。
开源模型差距显著：当前多数开源 MLLM 在视频 OCR 任务上的表现与顶尖闭源模型相比，存在较大差距，大多数开源模型准确率甚至不足 60%。

能力短板：时序与推理是关键瓶颈