视频生成这两年出了不少好模型,但「好」这个词一直在漂。同一个模型,论文 A 用 FVD 刷分,论文 B 说「长程一致性」,论文 C 强调「物理合理性」——三套话之间没有共同的刻度尺。
arXiv 上一篇 102 页的综述(10 月 22 日提交,牛津大学牵头,联合新加坡国立、南洋理工、加州大学默塞德)试图补上这把尺。它给出的判断很直接:一项工作要自称「世界模型」,按这把尺至少得爬到第三级。
一套坐标:读、写、共享、交互
综述的核心是换一个视角看视频。一段视频不是世界本身,而是「一个持续演化的世界的有损、有序、时间化的局部投影」。车开进墙后面,画面里看不见,世界里那辆车还在。
在这个视角下,视频领域分裂开的几条线被收进四个操作:
- reading:从观测视频推断世界的属性(理解)
- writing:从给定或学到的世界条件合成视频(生成)
- sharing:用一个模型同时读和写
- interacting:在动作与持续观测下预测并更新世界状态
项目页把每个操作都配了自己的评测标准,不再让「理解」和「生成」共用一把尺。
2×3:把模型放进格子里
作者给世界模型画了一张 2×3 的表。一条轴是预测空间:观测空间模型直接预测帧、视频 token 或视频解码潜变量,潜状态模型则预测视频导出的特征而不必渲染。另一条轴是转移接口:没有动作输入的被动预测、事先固定控制量的动作条件预测,以及收到反馈后还能接受新控制的交互式预测。
熟面孔怎么被安置是这段最值得看的部分。Sora、V-JEPA、Genie 3 各自占一格,没有一个占满整张表。同一个模型在不同训练阶段和不同使用方式下,可能落在不同的格子里。
还有一句容易被读漏的限定:所谓「交互式」,描述的是控制接口,不是注意力模式;视频解码潜变量仍然属于观测空间。
证据阶梯:自称世界模型,至少到第三级
这是全文最锋利的部分。四个操作各有一条证据阶梯,而且反复是同样四级:
- 说得通(plausible output)——当前任务的答案、帧或特征看着合理
- 忠于条件(faithful conditions)——确实依赖观测证据与给定的控制量
- 世界状态一致(consistent world state)——身份、布局、物理在时间上持续成立
- 决策有用(decision utility)——规划、策略学习或策略评估真的变好
作者的说法是:声称自己是世界模型,需要到第三级。而按这个标准,市面上大量自称世界模型的工作,其实停在第一级。
七个待解问题,每个都配了可执行的测法
综述最实用的部分在这儿——它不只列问题,每个问题都附了一条「有用的测试」:
- 长时程世界一致性:分别改变 rollout 长度和回访距离,报告退化幅度,同时报记忆、延迟和动作更新率
- 物理与因果落地:从同一初始状态做配对干预,找出第一个被违反的约束以及它出现的时刻
- 统一模型的可测协同:匹配数据、容量、算力和监督,比较耦合与非耦合的系统——两个任务都会做,不等于两个方向互相增益
- 世界属性的标准化评测:跨操作对齐状态属性与干预口径,报告协议、预算、失败案例和下游影响
- 无标注视频里的控制:视频只给运动,不给动作、单位和坐标系,因此要检验推断出的控制能否预测干预
- 场景与本体泛化:把留出场景和留出本体分开测,再测两者的组合
- 随机世界与罕见事件:用校准、proper scoring rules 和有效模式覆盖率,无效样本要单独统计
benchmark 侧的例子更能说明问题。RoboWM-Bench 把生成的机械臂视频转成动作丢进物理仿真器实际执行——看着合理但执行不了的运动拿不到分。EWMBench 则把场景一致性、运动正确性和语义对齐拆开评,而不是揉成一个总分。
指标为什么不够
综述顺手拆了主流指标的老底。FVD 依赖特征提取器和样本量,可能对时间上的破坏惩罚不足,反而偏向静态样本;Inception Score 奖励分类器的自信与多样,却不参照真实数据;PSNR、SSIM、LPIPS 适合重建和保真,却会惩罚「合法的另一种未来」——模型画出一条不同但合理的轨迹,分数反而掉。
更根本的问题在 reading 侧:答案到底有没有真的依赖这段视频?综述给了一组很便宜的对照——纯文本、单帧、打乱顺序、限制上下文。四个对照都过不了的模型,其实没在用视频。
所以呢
这篇综述的稀缺价值不在于总结(总结谁都会做),而在于它给「世界模型」这个词设了准入门槛,同时把现有评测指标的盲区摊在了桌面上。
对做模型的人:宣称世界模型之前,先问自己手上的证据停在第几级。对做评测的人:下一步不该再加一个分布距离,而是把干预型测试做成默认项——因为不干预,永远测不出世界对不对。
你手上那个号称「世界模型」的项目,停在第几级?