世界模型赛道过去两年的主流叙事,是用视频生成模型学会"想象":先在海量视频上训练一个生成模型,再拿它做规划和策略学习。这条路线的代价众所周知——生成像素太贵,训练烧算力,推理时在像素空间里滚动一步都要付出完整的前向开销。NAVER AI Lab 本周联合 Georgia Tech、Brown 大学和 Mila 发布的 LaLa-World 给出了反方向样本:不生成像素,只预测潜在表示,而最难统一的"动作"这一维,直接写成自然语言。

核心设计:动作也是文字

LaLa-World 是语言条件的潜在世界模型,论文编号 arXiv:2610.27851。两个设计决定了它能把异构数据揉进同一个模型:第一,数值动作和视觉变化统一用语言描述——机械臂的动作增量按归一化规格渲染成文本,图像与视频数据则用变化描述和编辑指令表达,于是同一个未来预测器可以同时吃仿真轨迹(Wall、PointMaze、Push-T、Meta-World 等)、机器人数据集 DROID、OpenVid-1M 帧序列和 OmniEdit 编辑对;第二,预测器直接建在语言模型上——一个 24 层的 Qwen3.5-0.8B,配上冻结的视觉编码器(DINOv2、DINOv3、SigLIP2 三种配置),输入当前视觉表示和文字版动作,输出对未来的预测。规划阶段在潜在空间跑 MPC:候选动作块写成训练时的文本格式,由预测器滚动展开,再对照编码后的目标打分,全程不解码任何像素。

成本账:对视频生成路线的六比一

论文给出一组直接对照:与匹配训练的 RAEv2 视频生成世界模型相比,LaLa-World 以约六分之一的训练成本达到相当的规划性能,规划速度快 13.9 倍;平均 MPC 规划性能也高于按域、按任务分别训练的潜在世界模型,加入图像视频数据后,性能与对动作措辞的鲁棒性进一步提升。训练配置并不夸张:20 epochs、每轮 100 万样本,全局 batch 512,8 张 H100 跑约两天。往机器人策略微调出的 LaLa-Policy,动作头采用 Isaac-GR00T 的 flow-matching DiT,按 Cosmos Policy 协议在 LIBERO、RoboCasa 两个仿真基准上与 NVIDIA 的 Cosmos Policy 相当,推理最快快 5.5 倍。

冷水:论文先行,权重未放

GitHub 仓库目前只有一个 commit:环境搭建与数据准备脚本已经可用,训练与评估代码标注"即将更新",三个视觉编码器版本的 checkpoint 全部"即将放出"。也就是说,上述倍数目前只有论文自报这一个发布方,第三方复现暂时无从做起。另外,Qwen3.5-0.8B 当预测器虽然便宜,但 0.8B 的容量上限能否撑住更复杂的真实机器人场景是个问号——LIBERO 和 RoboCasa 都是仿真基准,论文没有真实硬件结果。

这篇论文真正值得记住的不是倍数,而是"自然语言当异构数据胶水"这个工程判断:每家机器人实验室的动作空间都不一样,文本反而成了唯一通用的接口。世界模型"生成式对潜在表示"的路线之争远未结束,但 LaLa-World 至少把成本牌拍在了桌上。权重放出之前,先别急着站队。