自回归视频扩散已经是长视频生成的默认路线:一块一块往后接,块与块之间保持因果注意力。但它有个没人明说的漏洞——teacher forcing 训练时,相邻几帧实在太像了,模型只要把上一块的像素"抹"过来就能完成当前块的去噪,压根不需要理解物体接下来会怎么动。
10 月 21 日,南京大学、腾讯 IEG ARC Lab 与浙江大学团队在 arXiv 上公开了 Looking Ahead(arXiv:2610.29989),把这个问题当成训练目标本身来修。
把"预测未来"写进训练目标
作者的核心判断是:视频的时序冗余太高,局部连续性会变成一条捷径,让模型绕过对视觉演化的建模。FCP(Future Chunk Prediction)加了一个辅助目标——在与 teacher forcing 去噪损失联合优化的同时,从当前块的中间特征出发,预测时间上相隔较远的视频块,而不是只盯着相邻的下一块。
三点设计值得注意。源表征只取当前块的特征,不喂完整历史;每个时间偏移量各配一个由三个 DiT 模块组成的轻量预测器,并行而非串联;辅助预测器里完全去掉文本交叉注意力——文本提示本身就可能泄露未来线索。
数字:同设定下的对照
论文的主张建立在受控对比上。作者从 Wan 的官方 checkpoint 出发,训练了 1.3B 和 5B 两档,配置与数据完全对齐。
在 5B 上,teacher forcing 基线的图生视频 IQ 是 30.4,视频生视频是 40.6;加入 FCP 后分别变成 33.8 和 44.4。1.3B 上是 27.6 提到 30.9。消融表里能看到拆分:只加干净源表征 28.8,只加带噪源表征 29.9,两者合起来 30.9。
更值得注意的是两组反向结果。串联设计在 1.3B 上只到 30.1,低于并行的 30.9;到了 5B,两个串联变体在图生视频上只是勉强超过基线,视频生视频则完全没有改善——论文的解读是,大模型更善于利用串联路径里泄露的信息。另一组是给辅助预测器加文本条件,IQ 反而掉了 1.1 分。
零推理成本
FCP 的模块在推理时全部丢弃,生成流程和基线完全一致,零额外开销。论文还与 Next Forcing 那类"用完整历史做条件"的方案做了对比:训练步数相同时两者分数接近,但只用当前块表征的版本达到同等性能所需的训练算力大约少 40% 到 50%。
在 WorldModelBench、PAI-Bench-G 和 PhyGround 上,FCP 相对 teacher forcing 均有提升,增幅从 0.03 到 2.39 不等,说明增益不是只在单一基准上成立。
横评表里 FCP 的 5B 拿到 IQ 33.8,高于同表的 Wan2.2-14B(32.2),低于 Grok Imagine Video(34.8);但该表基线分数主要引自基准本身,只适合看量级。
所以呢
世界模型这条线上,大家比的是谁能生成更长的视频、多少卡、什么分辨率。这篇工作的切口小得多:不动架构、不加参数、推理端零成本,只是换了个训练时该预测什么。
代码和两档权重已放在 GitHub 上,作者在 H200 上验证过环境,单卡即可跑推理。值得看的不是 IQ 涨了 3.4 分,而是"局部连续性会被当成捷径"这个判断——它对任何高冗余的序列数据都成立。
论文:https://arxiv.org/abs/2610.29989
代码:https://github.com/TencentARC/Looking-Ahead