Orbia 基准:生成视频还构不成一致的 3D 世界

视频生成模型的下一步叙事叫「世界模型」:不止生成画面,还让用户走进去探索、交互,当一个可以进入的小宇宙。但一个真世界有条底线——你转身再回头看,刚才那个房间还得待在原地。Shuicheng Yan、Mike Zheng Shou 等作者在 arXiv 发布的 Orbia 基准专门审计这件事:模型生成的视频,究竟构不构成一个一致的 3D 世界。

720 个「探索-回访」案例

Orbia 的思路朴素:让模型生成一段可交互探索的视频,再回到起点看第二眼。基准共 720 个实例,按六种「探索-回访」协议执行;短轨迹约 22 秒、含一次回访,分钟级扩展则包含三次回访,专门压测长时程记忆。数据管道混合公开数据集、自采场景与 UE 仿真:短案例中 120 个室内、360 个室外,300 个来自真实观测、180 个来自仿真,输出统一 720p、16 帧。评估沿三个维度:输入保持(生成是否忠实保留输入图像)、生成内容持久性(模型自己「创造」的区域,离开视野再回来还在不在)、3D 自一致性(跨视角深度、特征对应与留出高斯渲染,是否指向同一个 3D 场景)。

27 个模型,一组残酷的分数

团队用原生接口适配器评测 27 个模型,覆盖文本、动作、相机三类条件接口。控制能力上,世界模型组均值 57.29,文图生视频组仅 32.48,差距 24.80 分;文图生视频组里控制最好的 Seedance2.5 拿 43.23,仍远低于 Lyra2 的 81.64。分项冠军各有归属:Genie3 领跑时序控制分,Lyra2 平均控制水平最高,EVOKE 居世界模型组时序质量首位,SolarWM-H3 拿下几何稳定性与总榜,HY-WorldPlay 平均几何水平最高;文图生视频组内,Seedance2.5 靠控制领先,Cosmos3-Super 在质量与几何占优。

连 Genie3 都会「侧移变转身」

逐案检查暴露的失败模式比总分更有信息量:Genie3 在多个受检案例中把侧移请求执行成原地转向,平移与转向的混淆也体现在其偏低的 Look Accuracy(转向执行准确率)上。这说明「看起来像世界」与「能当地图用」之间隔着结构可靠性的沟:视觉说服力不等于跨视角一致。对把世界模型当交互训练场的路线而言,回访一致性是硬前提——一个会悄悄改写自己历史的模拟器,训出来的 agent 也会学会容忍矛盾。

基准、代码与数据集全部开源:项目页 orbia-bench.github.io,代码在 GitHub(worldbench/Orbia),数据集上架 Hugging Face。这份审计给行业的不只是「谁最强」的榜单,而是一把统一的尺子:下次再有人宣传「可交互世界」,先问一句——回头再看,它还在吗?

参考:arxiv.org/abs/2610.20693