多模态大模型的视频理解能力到底有几斤几两?香港理工大学 VCLab 团队(VCLab-PolyU)10 月 13 日提交到 arXiv 的基准 OmniCompass(编号 2610.18829)给出了一份系统性体检报告:820 段视频、2460 条人工标注实例、50 个多模态模型同场测试。结论并不乐观——开源模型整体落后闭源,音视频联合理解的差距尤其刺眼。这篇论文也在 10 月 16 日的 Hugging Face Daily Papers 榜单上以 301 个赞排在最前。
考的不是「看没看到」,而是「何时、何地、何事」
现有视频理解基准大多只覆盖部分评测维度,难以系统诊断全模态视频理解。OmniCompass 把评测拆成两条赛道:OmniCompass-VL 面向视觉语言模型,只看视觉证据;OmniCompass-AV 面向全模态模型,考察音视频联合证据。每条赛道下设三个互补任务:时间定位(TG,目标何时出现)、空间定位(SG,目标在哪里)、问答(QA,发生了什么)。问答在 VL 赛道覆盖 5 类感知加 3 类推理,在 AV 赛道覆盖 3 类感知加 2 类推理。数据侧,VL 赛道 820 段视频、2460 条实例;从中抽出叙事与音频丰富的子集构成 AV 赛道,240 段视频、720 条实例。视频按时长分短(90 秒以内)、中(90 到 300 秒)、长(300 秒以上)三档,内容横跨七个领域、总时长 80.6 小时。团队在项目主页披露,整个基准投入约 1800 个人工标注小时,每条实例都经多轮质量校验。
同一个目标,两种问法
这个基准最巧的设计是「成对指定」:同一段视频里的同一个目标,分别用纯文本、文本加参考图两种方式指给模型。榜单还专门定义了跨指定一致性分数 CS,衡量成对预测是否既正确又相互一致。结果暴露出一个容易被平均分掩盖的问题:模型在两种问法下经常给出不一致的预测——你用文字问它和给它看图,它认的可能不是同一个东西。
50 个模型的成绩单:三处硬伤
50 个多模态大语言模型的评测结果呈现三个信号:其一,开源模型整体落后闭源模型,音视频联合理解差距尤其明显;其二,即便头部模型,精确的时间与空间定位依然困难,「大概在这段」和「精确到秒」之间还隔着一道坎;其三,成对指定下的预测不一致普遍存在。换句话说,视频理解要从「看得到」走到「指得准」,行业还有一段路要赶。
数据开放,可以直接上手
基准数据集已上架 Hugging Face(VCLab-PolyU/OmniCompass),项目主页 omnicompass.netlify.app 提供 50 个模型的完整榜单与一致性得分,论文以 CC BY 4.0 许可发布。对做多模态方向的开发者,这是一份现成的诊断工具:与其在通用榜单上卷平均分,不如用「何时、何地、何事」三问定位自家模型的真实短板。当视频理解成为 Agent 操作视频界面、具身系统读懂环境的地基,「指得准」也许会比「答得出」更早成为分水岭。