Gemini终于赢了GPT-4o！Jeff Dean连转三次：首个视频多模态基准来了

近日，中科大、厦大、港中文等高校联合推出多模态大模型视频分析综合评估基准 Video-MME，全面评估多模态大模型的综合视频理解能力，填补了这一领域的空白。Gemini 1.5 Pro 在这份榜单中遥遥领先，证明其在视频理解领域的霸主地位。Video-MME 一经推出，更是被谷歌首席科学家 Jeff Dean 连续转发了三次！目前已有近 30 万的浏览量，热度很高。 

GPT-4o 的伟大已无需多言，而谷歌的 Gemini 1.5 Pro 作为挑战者，其标榜的视频推理能力终于在全新的、更复杂的多模态基准 Video-MME 上首次得到了验证，并全面超越了 GPT-4o！同时，各大公司以及研究机构，例如 NVIDIA、ByteDance 等模型也加入了混战：

榜单一经放出，Jeff Dean 也在第一时间进行了转发表示称赞，共连续转发了三次。

在先前的研究中，缺少可以全面评估大模型视频推理能力的基准。而在现实世界中，处理视频能力至关重要。为了填补这一空白，来自中科大、厦大，港中文等六大高校的研究者联合推出世界上首个多模态大模型视频分析综合评估基准 Video-MME。

论文标题：

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

论文链接：

https://arxiv.org/pdf/2405.21075

项目主页：

https://video-mme.github.io/

项目仓库：

https://github.com/BradyFU/Video-MME

该基准由全人工标注，具有区别于现有数据集显著的特点。在以下的例子中，准确回答该问题需要同时从视觉、字幕以及音频中同时获取信息，有效信息直接横跨 30 分钟的间隔：

Video-MME 具有以下显著特点：

1. 时间维度的广泛性：视频时长从 11 秒到 1 小时不等，涵盖短（<2 分钟）、中（4-15 分钟）、长（30-60 分钟）三种不同的视频时长，全面评估模型在不同时间跨度下的上下文多模态理解能力；

2. 数据模态的丰富性：除了视频帧，Video-MME 还整合了字幕和音频模态输入，全面评估大模型的多模态处理能力；

3. 视频类型的多样性：覆盖了知识、影视、体育、艺术、生活记录和多语言6个主要领域，涉及 30 个细粒度子领域；

4. 注释质量的高标准：900 个视频，共 254 小时的内容由具备大模型背景的专业人员手动标注与验证，产生了 2,700 个问答对。问题类型涵盖感知、认知和总结概括等 12 种类型；

5. 可靠的有效时长（Certificate Length 准确回答问题所需的最短时长）：对于短视频、中视频和长视频，Video-MME 数据集的有效时长中位数分别为 26.0 秒、164.7 秒和 890.7 秒，要求模型消化更长的视频内容才能回答问题；

6. 全面的实验评估：文章选取了 6 种代表性的开源视频语言模型以及闭源模型 Gemini 1.5 Pro 和 GPT-4V/o 进行全面的实验分析。同时文章还选取了基于图片的多模态大模型进行评测（泛化到多图输入），证明其同时适用于图片&视频多模态大模型。

文章选取了多种代表性的开源视频多模态大模型，包括 ST-LLM、VideoChat2-Mistral、Chat-UniVi-V1.5、LLaVA-NeXT-Video 和 VILA-1.5，以及闭源模型 Gemini 和 GPT-4V/o 。同时，基于图片的多模态大模型包括 Qwen-VL-Chat、Qwen-VL-Max 和 InternVL-Chat-V1.5。 

在商业模型中，Gemini 1.5 Pro 在视频理解方面表现突出，在加以字幕辅助的情况下以 81.3% 的准确率领先，并在与 GPT-4V 和 GPT-o 的对比中分别超出 18% 和 4.1%。尽管随着视频时长增加，其表现略有下降，但在长视频上的表现（加字幕）优于所有开源模型在短视频上的表现。

同时，Gemini 1.5 Pro 还支持音频模态的输入，模态支持的更广。而在开源模型中，来自 NVIDIA 的 VILA-1.5 以 59.4% 的准确率表现最佳。然而，相比 Gemini 1.5 Pro，VILA-1.5 在计数问题、动作识别和时间感知方面仍然存在显著差距。

同时，随着视频时长的增加，所有模型的表现均呈现明显的下降趋势，这也说明面对更长的上下文记忆以及更为复杂的任务时模型还有很大的提升空间。此外，实验还揭示了字幕和音频信息能显著增强视频理解能力，尤其是对于长视频的理解。

在三十种不同类型的视频上，Gemini 1.5 Pro 展现出不同的性能。例如，有的任务对字幕和语音的依赖程度更高，如Basketball的长视频，加上字幕和语音能够显著提升性能。详细的实验结果请参照论文原文。 

综合实验结果可以看出，当前的多模态大模型在视频理解，尤其是长视频理解方向仍然有很长进步空间，一方面是要提升模型的多模态长上下文理解能力，Gemini 1.5 Pro 最高支持百万长度的上下文窗口，这是其表现优异的依仗，另一方面也亟需构建相应的高质量长视频理解数据集，这方面当下仍处于空白。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·