电影感视频生成正从单镜头炫技走向多镜头叙事,但底下藏着一个更隐蔽的问题:现在的架构里,多模态大模型(MLLM)经常被视频生成模型直接绕过。
论文的观察很直接:DiT 自带原生文本编码器和 VAE 参考图通道,只要这些通道够用,模型就能自己把生成损失降下去,不必认真读 MLLM 的隐藏状态。实测最能说明问题——把条件换成只用 MLLM latent 时,Omni-Video 2 (1.3B) 直接吐噪声,14B 和 UniVideo 则产出明显伪影,甚至把同一个人连续动作演成两个人各干各的。
三段训练,各自治一个病
港科大 MMLab、腾讯视频与法国 LIX 联合署名的 FAPL(Factor-Aware Predictive Learning)不加任何架构改动,只用三段训练把 MLLM 拉回主干道。
Stage I:先把生成器掰到只能用 MLLM。 冻结 MLLM 和 connector,关掉独立的文本编码器与 VAE 参考通道,把 MLLM 投影后的 latent 当作唯一内容条件训练 DiT。稀疏观测保持有限输入也能生成的兼容性,稠密观测把视觉与时序信息压进这条通路。
Stage II:用成对视频教「只改该改的」。 角色、场景、动作、镜头运动被拆成结构化描述里的四段文本。成对视频给出「目标因子要变、其余要保」的关系,训练时在 connector 之后、DiT 之前,把配对样本中对应因子的整段 latent 换掉(不要求等长,mask 同步更新),再让 DiT 对着目标视频学习。作者说明,这不假设四种因子已解耦。
Stage III:反过来训 MLLM。 冻结训好的 DiT,联合优化 MLLM 和 connector,用「纯文本」和「文本加完整视频」两种观测共享同一目标视频。纯文本一路逼 MLLM 从稀疏证据推断时序,完整视频一路保证重建不退化;因为 DiT 固定,梯度仍穿回上游更新,无需同步改解码器。
数字:赢在编辑,输在动作
同口径下 FAPL 相对基座 UniVideo (13B):Motion Order 从 48% 提到 61%,平移误差 0.0763 降到 0.0586,旋转误差 1.54 降到 1.02 弧度,因子编辑 ∩-Acc 从 42% 提到 58%,跨镜头 FaceSim-Arc 从 0.451 升到 0.523。参数更大的 Omni-Video 2 (14B) 只有 43% 与 37%。
消融表有一行反直觉:加入因子段替换后,∩-Acc 从 48% 跳到 57%,但 Motion Order 反而从 54% 微降到 53%,两项镜头误差也略微变差。论文的解释是,这段收益集中在因子编辑上,不指望顺带改善时序。
训练成本:三段分别 10K、15K、10K 步,AdamW 1e-5,BF16,共享 100K 条质量过滤后的视频对(每因子 25K);推理 50 步采样,CFG 5.0。
所以呢
收尾句是:找对瓶颈,能带来可观增益而不需要增加架构复杂度。分量在于——视频生成这两年堆 DiT 规模、采样步数、参考图通道,而 MLLM 有没有被真正用上,此前一直被当成理所当然。
作者也承认边界:当前 MLLM 读不懂 3D blockout、推不明白复杂运镜,预训练 DiT 的视觉保真度仍限死复杂表演。推理与生成互相喂养的闭环,目前只见轮廓。
论文与完整表格见 arXiv:2610.30926。