让视频模型看一段视频再回答问题,今天的多模态大模型走的是「生成式」路线:逐 token 吐出答案,thinking 模式下还要先输出一长串推理。对坐在交互循环里的视觉智能体来说,每一次「接下来做什么」的判断都要等一次完整生成,延迟直接叠加进行动闭环。南京大学 MCG-NJU 团队发布的 VideoJev 给出了另一种答案:把视频理解改造成结构化决策任务,模型不再「说」出答案,而是直接「打分」。论文当日冲上 Hugging Face Daily Papers 榜首(175 upvotes),训练与评测代码连同两个开源 checkpoint 一并放出(arXiv:2610.18615)。
不生成,只打分
VideoJev 的做法是在预训练多模态大模型上动手术:保留视觉与语言主干的理解能力,把自回归答案解码替换成一个共享打分头,对「时间区间」和「文本选项」直接打分。分数出来,时序定位给出事件片段,多选问答给出选项——两类任务共用同一个决策接口。这延续了今年持续升温的 System One「快思考」范式:此前微软 Decision-1、Cloudflare Clef、GLM-5.3-Flash 平替方案都在文本任务上验证过「打分快于生成」,VideoJev 把这条路线系统性搬进了视频模态。团队基于 Qwen3.5-4B 与 Qwen3.6-35B-A3B 两个底座,训练出 VideoJev-4B 与 VideoJev-35B-A3B。
更准,也快得离谱
三个时序定位基准上,VideoJev-4B 与 35B-A3B 较各自 Qwen 底座平均 mIoU 提升 6.7 与 10.8 个点,前向提速 2.8-3.1 倍——不是用精度换速度,而是两项同时改善。更夸张的是问答:四个视频 QA 基准上,两个模型性能与底座 Thinking 模式相当,前向提速超过 100 倍。对需要反复查询同一段视频的智能体来说,这是量级差异。
快的另一半:视觉计算复用
摘要里的关键设计是两种推理模式:Cached inference 让新问题到来时复用已算好的视觉表征,不必重看视频;Joint inference 把多个问题塞进一次前向统一打分。交互展开时,新目标与中间结果会持续触发对同一段视觉历史的查询——复用设计正是为这个场景准备的。
开源交付
仓库以 Apache 2.0 协议开源,26 个 commit、46 star。训练分两阶段:先 Head warmup(只训打分头,BCE+CE 损失),再 Joint 阶段联合训练语言主干(加入 duration-weighted SoftIoU),视觉编码器全程冻结,每阶段一个 epoch、全局 batch 64。训练数据用 TimeLens-100K 与 TimeLens2-93K 两个开放数据集,框架为 XTuner,评测固定 256K 上下文,两个 checkpoint 均为 BF16 Safetensors 格式,4B 版十行代码即可跑通 demo。
所以呢
视频是比文本更重的模态:每帧都是算力,自回归生成的每个 token 都在为「看一下再决定」的智能体计费。VideoJev 的信号不在某个单项跑分,而在接口层的统一——定位、问答、多查询复用共享同一套打分机制,复杂工作流可以直接组合这些结构化判断。当「快思考」范式完成从文本到视频的扩张,下一个问题也许是:还有哪些模态适合「只打分、不生成」?