实时生成长视频,卡在两件事上:现有的块式自回归扩散必须等前面的块串行去噪完、再刷新历史缓存,哪怕用一步去噪也得跑两次前向;而 rollout 越长,画质越容易劣化,镜头还会漂移。10 月 31 日,上海交大 DENG Lab 把 Wave Forcing 挂上 arXiv,三天后登上 Hugging Face Daily Papers 当日榜首(86 赞),给这条流水线做了一次彻底重构。
让后面的块提前开工
Wave Forcing 的核心是波前调度(wavefront scheduling):后面的视频块不必等前面的块完全去噪,而是用块级因果注意力提前访问前面块更干净的中间状态,把"更干净到更噪"的上下文喂给当前块。去掉阻碍流水线化的反向依赖后,系统达到 1F1C——流水线填满之后,每个并发前向轮稳定吐出一个视频块,输出不再是"等一批",而是"匀速流"。
训练和运行时是一起设计的
- 三阶段训练:混合噪声去噪 → 运动监督 → 因果适应,全程用自生成历史,让模型适应这种"半成品上下文"的生成方式。
- WaveRT 运行时:Wave Parallelism 让全模型副本各自处理不同块阶段的任务,逐层 K/V 状态单向发布,通信提前预取、藏进关键 rank 更长的注意力计算里;再叠加优化 kernel 与流水化 VAE 解码。
数字层面(论文与仓库自报)
团队在 Wan2.1-T2V-1.3B 基座上蒸馏出 WaveForcing-1.3B:
- 吞吐:8×H200、832×480 分辨率下,4 步 checkpoint 端到端 134.8 FPS——1593 帧约 11.8 秒解码完,对比匹配条件的单卡 19.06 FPS 基线,提速 7.07 倍;稳态峰值 157.8 FPS。
- 质量:5 步 Wave Forcing 与 Rolling Forcing 整体质量相当,但 100 秒长视频的 Dynamic Degree 从 36.63 升到 91.45,Subject Preservation 从 92.75 升到 97.10。
- 扩展性:匹配 SageAttention+W8A8、步数与卡数的 DiT-only 测试里,Wave Parallelism 比 Ulysses/Ring 两者中更快的一条最高再快 2.53 倍,覆盖 1.3B-14B 六个规模;14B 系统原型跑到 33.5 端到端 FPS(注意:这是随机初始化权重,只测系统扩展性,不代表生成质量)。
开源成色
WaveRT 推理代码 Apache 2.0;4 步/5 步两版 checkpoint 放在 Hugging Face,ModelScope 有镜像;训练侧 S1/S2/S3 配方也一并放出(单独的学术许可)。GitHub 仓库目前 91 star。
我的看法
这不是"又一个视频生成模型",而是一次把调度、训练目标、运行时拧在一起的系统工程——论文标题里的 Speed-of-Light 指向的是延迟,不是质量 SOTA。真正值得盯的是 1F1C 这个性质:生成一旦变成匀速流,直播式内容、可中断可改写的交互视频、甚至世界模型的实时渲染才算有了地基。当然要冷静:以上数字全部团队自报,8×H200 的门槛也不低,第三方复现落地之前,先别急着下"改朝换代"的结论。
当"生成视频"开始用 FPS 而不是"像不像"来打分,这个赛道的下半场,是不是已经提前开始了?