深度研究智能体如今不稀奇:丢一个问题,它自己搜网页、写报告、附引用。但把研究的主角换成一条视频,难度立刻不一样——证据一半在画面和声音里,一半在画面之外,还得把两边对上。10月22日,北京大学与阿里巴巴Token Hub的团队(一作为Qwen团队实习生)在arXiv放出OmniDR-Bench,专门测「以视频为中心的深度研究报告」。结果不算体面:18个模型配置里,点估最高的Claude Opus 5只拿63.3分。
任务与评分:6414条原子细则
任务定义直接:给智能体一条源视频加一个用户请求,它要自己提出研究问题,检索网页、图片、视频、文档等外部证据,最后产出一份挂在视频时间轴上、可交互、带引用的HTML报告。论文自己的定位是:此前基准要么测纯文本深研,要么测视频问答短答案,没人评过「围绕一条视频做完整研究报告」这个任务。
评分用他们提出的Omni-ART原子评分树:三个维度、23个共享方向、按任务定制的二元判据,合计6414条细则,覆盖视听定位、多模态证据使用与交互呈现。构造流程走了独立取证、自动检查加两轮人工审核,候选任务从82个砍到60个、再到50个(中英双语、19个真实子类);终版再抽1000条细则人工复核,94%以上判为正确。裁判是GPT-5.6 Sol配浏览器探针做确定性检查,900次运行产出835份可评报告。
排版81.8分,内容45.4分
主榜单里,12个模型跑在Claude Code框架上,Codex与OpenClaw各覆盖3个配置。最值得看三行:Claude Opus 5以63.3排第一,但丢了4%的任务;GLM-5.3拿62.0且50个任务全部交付,1.3分的差距落在置信区间[-4.0, 5.6]内,谁先谁后说不准;Qwen3.8-Max单份报告冲到全场最高的91.5,完成率却只有88%,总分被拖到52.9。
更扎心的是维度拆分:在统一报告模板下,呈现维度平均81.8分,内容45.4,引用47.8。智能体把视频本身讲得挺忠实(直接视频事实通过率79.9%,视频忠实度92.4%),但一旦要走出视频做研究就露馅:外部证据使用率8.7%,跨源核实8.8%,多事实组合5.0%,论断支撑只有15.9%。引用行为尤其典型——GPT-5.6 Sol的来源数量判据通过98.0%,正文论断旁的引用支撑却只有23.9%;Gemini-3.8-Flash这两项是93.0%对13.9%。链接堆在文末来源区,正文结论旁边并没有证据。
编排与框架:分数是花钱买的
技能消融显示每层能力都有价:只有界面基线28.0分;接入视频理解到31.8;加上网页检索直接跳到45.5(任务成功率从73.3%拉满到100%);再加多模态检索46.6;完整研究编排53.9。完整编排比全部原子技能再涨7.3分(15个匹配任务里12个提升,引用维度+20.7),代价是中位步数从103涨到167、耗时从0.7小时到1.6小时、token从230万涨到470万——质量换成本,明码标价。
执行框架的影响同样不小:同一个GPT-5.6 Sol,Claude Code下54.9,Codex下53.9,OpenClaw只剩41.7;换成Qwen3.7-Max反而是Codex最好(45.3对39.9)。两框架在三个匹配模型上均值同为48.4,但Codex完成率99.3%,Claude Code为96.0%。框架没有绝对赢家,模型和框架要配着选。
所以呢
这份基准给「深研产品热」泼的冷水很具体:模板一给,排版人人高分;真正的研究行为——找外部证据、交叉核实、组合多事实——目前几乎没有配置做得像样。对选型的人:看内容分和引用分,别被演示页的渲染效果骗了。对做产品的人:GLM-5.3那种100%交付加62分的稳定性,线上可能比63.3更值钱。基准、代码与运行轨迹已开源,详见arXiv:2610.31158与GitHub仓库。