生成的视频里,篮球从半空落下、弹了几次,突然在半空中定住——同一个提示词换四个随机种子,失败模式还各不相同。这不是素材库翻车集锦,而是最先进视频扩散模型的日常输出。北邮智能科学技术中心的团队没有像多数工作那样往模型里塞物理先验或专用数据,而是打开模型内部,问了一个更根本的问题:运动轨迹到底在哪一步、被什么机制定下来?
运动规划:前 5 步定生死
团队以 Wan2.1-T2V-1.3B 为分析对象,发现文生视频的「运动规划」——把文本语义落到物体逐帧位置的过程——主要发生在 50 个去噪步的前 5 步,呈现「先定形状、再补细节」的规律。他们把跨注意力里的轨迹模式和因果干预实验结合起来,从众多注意力头里分出真正驱动运动的那一批:有的头只是「展示」运动模式,有的头才是「决定」运动的角色。
病根:RoPE 的空间锚定偏置
顺着这条线查自注意力,问题浮出水面:3D RoPE(旋转位置编码)带来空间锚定偏置——一个 query 倾向关注其他帧里空间上邻近的坐标,远处那个物理上合理的候选位置拿到的注意力严重不足。更麻烦的是「早承诺」效应:候选区域本来在互相竞争,一旦某几帧提前安定,空间锚定立刻给其他帧的邻近位置「拉票」,哪怕那违反物理。论文里最典型的失败种子里,第 10 帧稳定后,第 14 帧从较低的候选切换到较高的候选,篮球就此悬在半空。
修法很轻:只动前 5 步的 RoPE 频率
根因诊断出来,修复反而便宜。训练自由版:只在去噪前 5 步缩小高、宽两个方向的 RoPE 频率,削弱过度的空间衰减,之后恢复原频率,完全不动权重;训练版用 LoRA 适配自注意力与跨注意力,推理时前 5 步取 λ=0.70。在 VideoPhy 物理常识基准的 344 个案例上,由人工评判语义遵循与物理合理性,固体交互类场景提升最大。论文自称是首个针对文生视频扩散模型运动规划的可解释性研究,代码与项目页已随论文放出(https://arxiv.org/abs/2609.23658,https://siriuslala.github.io/physics)。
所以呢
几天前我们还在聊怎么给视频模型的物理能力打分,这周有人直接把病理切片做出来了。真正值得行业咀嚼的是那个反直觉结论:物理问题未必需要物理方案,调一下位置编码的频率就能止血。视频模型某些「不理解世界」的瞬间,可能只是注意力预算在空间上分配得太早、太死。下次再看到物体悬浮,先别急着骂数据——看一眼 RoPE。