机器人 VLA(vision-language-action)模型这两年卷出了通用配方:拿一个视觉-语言底座,喂数据教会它输出动作。但浙江大学 OmniAI 团队在新论文里点破了一个被大多数工作绕开的问题——主流 VLA 是从观察直接学动作的,中间"物体动了没有、抓手碰上没有"这类物理状态变化,从来不是显式的学习目标。结果是模型容易过拟合"看到什么就做什么"的对应关系,换个场景就露馅。
VLA-Δ(读作 VLA-Delta)的思路一句话讲完:把"物理状态转移"本身变成监督信号。
三路监督,一次预训练
具体做法是给前后两帧观察之间构造三种显式标注:未来状态差异文本(用语言描述"什么变了")、结构化转移槽位(覆盖任务进度、空间运动、接触变化、物理约束)和稠密光流。为撑起这套监督,团队构建了 484 小时、2400 万帧的预训练语料,并配了自动标注管线。预训练分三阶段:先学未来状态差异文本,再初始化槽位/光流表征,最后联合动作预测。底座是 2B 的 ZR-0,视觉-语言骨干用 Qwen3-VL,动作侧由 Flow Matching Action Expert 生成连续动作。最实用的一点:推理时模型直接从当前观察出动作,三路监督全部留在训练侧,部署零额外开销——这与需要边推理边生成中间文本的 CoT 类方案是本质区别。
成绩单:两榜表内登顶,真机再赢 π0.5
LIBERO 上,VLA-Δ 平均成功率 98.4(Spatial 98.8 / Object 99.8 / Goal 98.6 / Long 96.4),在论文对比表里排在 openVLA-OFT(97.1)、GR00T-N1.7(97.0)、π0.5(96.9)、ZR-0(97.8)等一众方法之上。RoboTwin 2.0 的 Clean/Random 双设置拿到 90.06/89.74,高于 ZR-0(88.70/87.98)、Motus(88.52/87.02)和 π0.5(82.74/76.76)。真机实验里,论文报告较 π0.5 高 5.5%。论文与代码见 arXiv:2610.21306 与 GitHub 仓库。
卷数据不如卷监督信号
我的看法:这篇的价值不在 98.4 这个数字——LIBERO 榜首段已经拥挤到 96-98,零点几个百分点的差异说明不了太多——而在它把 VLA 的竞争轴从"更大的 VLM、更多的数据"拉回到了"监督信号设计"上。物理状态转移监督让模型必须理解"动作造成了什么变化",而不是背映射;且这些监督全部发生在训练期,推理侧白拿收益。对国内具身智能圈还有一层信号:浙大系的工作正在把开源工件做完整——Apache 2.0 许可,base/LIBERO/RoboTwin 三套 checkpoint 直接可下,复现门槛被压到最低。
要泼的冷水也现成:模拟榜分数接近天花板,区分度有限;真机 +5.5% 更有说服力,但真机实验的规模和任务覆盖值得读原文核实。VLA-Δ 会不会成为下一个被普遍采用的预训练配方,取决于这套标注管线在别人的数据上还灵不灵。
所以呢:当"观察→动作"的端到端映射卷到收益递减,下一个涨幅可能藏在"模型被要求理解什么"里——监督信号的设计,正在成为具身智能的新战场。