让机器人"想一步、做一步"听起来简单,难点全在"想象"二字——现有视觉语言模型看得懂场景,却推演不了动作之后世界会怎么变。阿里达摩院 10 月 23 日挂上 arXiv 的 RynnUnify 把"理解"和"想象"塞进了同一个模型:16B 统一具身模型,权重已经开源,论文登上 Hugging Face 论文日榜,拿到 31 票推荐。它看得懂环境,也能在"脑内"预演动作的后果,再把预演接到机器人的实际控制上。
一套架构,两个专家
RynnUnify 采用混合 Transformer 设计:8B 自回归 Reasoner 负责推理、空间定位与子任务规划,输出下一子任务、画面描述与时长;8B rectified-flow 视频 Generator 负责把"下一步"渲染成视频片段。二者通过联合注意力连接,Generator 以场景记忆和近期运动为条件生成预测。整套模型基于 NVIDIA Cosmos3 Nano 训练,是达摩院 Rynn 系列的最新成员。
先想象,再行动
核心机制是交错视觉规划:Reasoner 先给出下一个子任务,Generator 生成这段动作的结果视频,模型再依据想象出的画面规划下一步;跨块场景记忆、self-forcing 训练与自适应时长共同支撑长时序连贯规划。更有意思的是 BCPO(分支条件策略优化):每个可路由问题采样 4 条直接回答加 4 条生成辅助轨迹,分支内用 GSPO 优化推理,分支间的奖励差则教会模型"什么时候值得想象"——奖励由格式合法性与答案质量相乘得出,相当于给模型装了一个"要不要先想一下"的路由开关。推理时 agent 自行决定直接作答还是先要一段视频证据;训练期间 Generator 冻结,只更新 agent。
官方评测数字
自建基准 Rynn-VP 衡量长时序视觉规划,Rynn-GEU 则覆盖空间推理、物理、动作推理与轨迹、可供性预测等题型。RynnUnify 在 Rynn-VP 总分 54.80,较 Cosmos 3 Nano(45.05)高 9.75 分;Rynn-GEU 上开启 Agentic 模式后拿到 50.0,比直接推理的 44.0 高 6.0。具身理解 10 项基准平均 57.9,高于 Cosmos 3 Nano(53.2)、RxBrain(44.9)与 BAGEL(28.0)——不过官方表格里自家纯理解模型 RynnBrain-8B 是 61.2,统一的代价看得见;Rynn-VP 上 GPT-5.6 Terra 拼装 MiniMax-H3 的组合系统也以 65.71 更高。机器人侧,WAM 扩展的动作头直接读取视频隐状态而非解码画面,在 RoboCasa365 精选 20 任务上成功率 51.5%,压过 CMA 的 47.0;Astribot S1 真机三任务平均 46.7%,对照 GR00T N1.7(26.7%)与 π0.5(25.0%)优势明显。
开源清单与冷思考
RynnUnify-Base、Agentic-Reasoner、WAM-RoboCasa 三个 checkpoint 已上架 Hugging Face 和魔搭社区,后两者都在 Base 之上训练,代码 Apache-2.0,仓库给出 BCPO 训练与视觉规划推理的完整脚本。冷水也要泼:Rynn-VP 与 Rynn-GEU 均为团队自建基准,以上对比全部出自官方评测口径,第三方复现尚未出现;真机评测只有三任务,样本有限。但"把世界模型当成推理时可调用的工具、用 RL 学会调用时机"这条路线,比单纯堆世界模型参数更接近"大脑"的本义——知道何时需要想象,本身就是一种智能。对做具身智能的团队来说,这套三件套还给了一条可复用的路线:理解、规划、行动共用一套视觉底座,而不是三个系统各自为战。
参考:arXiv:2610.32965;代码 github.com/alibaba-damo-academy/RynnUnify