交互式世界模型有一个不常被聊起的死穴:你在生成的世界里走得越远,机器就越吃力。主流做法要么把历史帧或 KV 缓存当上下文一路拖着走,要么把生成过的画面重建成点云、高斯这样的显式 3D 记忆——但两条路的成本都随视频流长度线性上涨,走到一定距离,要么显存爆掉,要么帧率低到没法交互。KAIST 牵头的团队 10 月 29 日挂上 arXiv 的论文里,时序上下文路线的 WorldKV 在 400 帧生成时直接 OOM,Yume 1.5 也要 66.7 GiB 才换来 1.42 FPS。

记忆随场景涨,不随时间涨

论文的解法叫 L3G(Latent 3D Gaussian Memory):一个记忆更新器 L3G-Mem 和一个视频扩散 Transformer L3G-Gen 交替自回归地工作;训练上,L3G-Mem 用 DL3DV,L3G-Gen 用 DL3DV 加 RealEstate10K,实时版 L3G-World Fast 靠 AnyFlow 少步蒸馏得来。关键设计有两个。第一,记忆只在尚未覆盖的区域生成新高斯,对已有高斯做残差式修正——记忆不是只进不出的缓冲区,而是持续被改写的持久场景表示,尺寸随场景覆盖范围增长(复杂度 O(S)),而不是随生成帧数增长(O(T·R))。第二,每个高斯直接存一份 VAE 潜特征,记忆可以径直渲染进视频生成器的潜空间,省掉「渲出 RGB 再过一遍 VAE 编码」的往返。

直接在潜空间渲染,快两个数量级

第二个设计是速度的关键。传统显式 3D 记忆要给潜空间视频生成器当条件,必须先渲 RGB 再重新 VAE 编码,这个往返让实时生成无从谈起。消融实验把往返的成本量了出来:去掉潜特征直存、退回 RGB 渲染加 VAE 编码后,VAE 空间渲染吞吐从 943.6 FPS 崩到 2.97 FPS。论文报告的对比数字是:与各指标上最高效的既有 3D 记忆基线相比,3D 图元少 38.6 倍、记忆更新快 3.2 倍、记忆渲染快 359 倍。

单卡 H100:7.4 GiB,9.02 FPS

绝对数字更直观。400 帧生成、单张 H100 上,L3G-World 峰值显存 7.4 GiB、整体 9.02 FPS,是对比表里唯一标成「实时」的方法;同为高斯路线的 NeoVerse 要 36.8 GiB 换 1.99 FPS,走优化路线的 ArtiFixer 只要 11.7 GiB 却慢到 0.10 FPS。在 DL3DV 与 RealEstate10K 两组数据集、8 个基线的对比里,论文构造 481 帧的「走出去再原路折返」回环轨迹测长时程自一致性——同一条相机路径正着走一遍、倒着走一遍,比对去程与回程在同一相机位姿下的画面差异,L3G-World 的 PSNR(16.00/18.36)与 LPIPS 均为最优,3D 图元数量比 NeoVerse 少 266 到 417 倍;与点云路线里效率最好的 Lyra 2.0 相比,记忆重建快 8.9 到 9.5 倍、显存占用低 7.8 到 10.4 倍。

泼点冷水

快是有代价的。为实时而蒸馏的 L3G-World Fast 版,自一致性 PSNR 从 16.00 回落到 14.59;生成分辨率 480×832,放在 2026 年不算出众;整套系统搭建在 Cosmos-Predict2.5、Depth Anything 3 等既有组件之上,训练用 4 张 A100,评测场景是单张图片加相机轨迹,离「开放世界游戏」还很远。

但对这条赛道,论文留下的那个问题会比论文本身活得更久:长时序生成系统的记忆,到底该按时间增长,还是按空间增长?答案决定你能走多远。

参考:arXiv:2610.40614 · 项目页