交互式视频世界模型有个绕不开的麻烦:用户要同时控制三样东西——看世界的视角、角色的动作、镜头的运动。主流做法是把视角模式藏进文本提示里,把动作和镜头混在一起理解,或者给每类控制单独接一条条件通路,三条道互相看不见,冲突只能靠数据硬磨。10 月 23 日,阿里巴巴 Token Hub 团队在 arXiv 公开 World-in-Context(下称 WiC),思路是别再各修各的路:把三类控制全部显式 token 化,放进同一个自注意力空间。论文地址:https://arxiv.org/abs/2610.33169。
三个旋钮,一个面板
WiC 的核心叫 In-Context Conditioning(ICC):视角、动作、相机控制不再走各自的专用条件通路,而是作为显式 token 与视觉潜变量共享同一个自注意力空间。团队从消融研究里得到两个发现:一是显式视角 token 能解耦相互冲突的动态,并从只有单视角的训练数据里涌现出视角切换能力;二是动作和镜头的角色是互补的——动作输入主导局部响应,镜头输入负责全局稳定,谁也替代不了谁。为了保住跨执行间隔的时间连续性,论文还提出 Interaction-Transport RoPE(IT-RoPE),把累积的控制转移参数化进时间注意力。
5B 追平 22B
数字是这套设计的卖点。以 Wan2.2-TI2V-5B 为底座,WiC 在交互世界模型基准 WBench 的导航任务上拿到 81.5 的平均分,论文报告与 22B 的 EchoWM(8 月底京东开源的那款全模态世界模型)的 81.6 持平——5B 干到 22B 的水平,中间隔着四倍多的参数量。更悬殊的是视角切换:93.8% 的成功率,而现有 5B 基线只有 18.8%,差出 75 个百分点。需要说明,93.8 这一档是做了视角切换微调后的成绩,项目页对此有明确标注;训练本身也走轻量路线,两个阶段只优化 LoRA、条件编码器和 IT-RoPE,不动整个底座。GitHub README 还给出计划中的推理默认参数:832×480 分辨率、81 帧、16 FPS。
冷水与所以呢
泼冷水的部分:仓库 TODO 里推理代码、训练代码、WiC 权重三项目前全部未放出,官方说法是仍在审核;81.5 对 81.6 这类数字也全部出自论文自报,第三方复现暂时无从谈起,想上手验证的开发者现在只能看项目页的演示视频。但方向值得记住:把控制接口显式 token 化,和 LLM 把工具调用、思考过程 token 化是同一个设计哲学——控制信号进了上下文,模型才能对"此刻为什么该切镜头"建立真正的归因。世界模型赛道近两个月已经挤进世界记忆、引擎奖励信号、评测综述好几种叙事,WiC 补上的是"控制总线"这块拼图。等权重放出、第三方跑分落地,5B 与 22B 之争才有定论;在那之前,它至少证明了一件事——统一接口带来的收益,可能比堆参数更划算。