少步自回归视频扩散是目前流式生成的主流路线:视频被拆成按时间排序的块,块内做多步去噪,块间复用 KV 缓存,天然支持边生成边播放。但要把它从「能用」压到「能实时」,主流做法是后训练蒸馏——而这条路的开销一直降不下来。
三网络蒸馏到底贵在哪
Self Forcing、Causal Forcing 这类基于 DMD(分布匹配蒸馏)的方案,每次更新要同时维护三个视频扩散网络。论文里给了一笔账:蒸馏一个 Wan 2.1 1.3B 的生成器,典型配置还要额外挂一个冻结的 14B 教师和一个在线更新的 1.3B 批评家。教师给出目标分布的得分,批评家拟合学生分布的得分,两者相减才是训练信号——三个网络的维护与前向,让每次更新都在算力和显存上付出成倍代价。
ViRDM 的思路:对齐预计算的表示分布
Northeastern University 与 Adobe Research 的团队(第一作者 Zichong Meng,实习期工作)提出的 ViRDM 换了个问法:能不能不要教师、不要批评家,只让生成器去对齐一份提前算好的目标分布?思路来自一步图像生成里的 RDM(表示分布匹配),但直接搬到视频上会撞三堵墙:端到端梯度路径显存装不下、图像那套优化配方在视频上失效、表示分布管不住时序动态。
ViRDM 的配方逐堵拆墙:用随机截断的干净出口,让每次更新只回传一个被选中去噪步的干净端点预测;换轻量 VAE 解码器;用分阶段向量-雅可比积把生成器、解码器、表示编码器三段反向图错开驻留显存。论文还摸出了视频特有的优化区间:每个批次 8 到 64 条新生成视频就够用(图像 RDM 报告的最优区间在 2048 条以上),且初始化必须来自因果适配过的模型——表示分布匹配能把现成的因果生成器打磨到位,但没法把双向模型凭空改造成因果模型。针对动态维度偏弱的问题,再补一个轻量动力学正则。
数字层面:20 次更新,16 个 A100 卡时
论文报告的官方 VBench 总分 84.87,比此前最佳的少步因果基线 Causal Forcing 高 0.36,Dynamic Degree 达到 72.02;若按不含动态维度的口径计算,Total 为 85.77,也超过 Self Forcing 此前的 85.34。训练成本一侧:8 张 A100 跑 2 小时合计 16 卡时,共 20 次生成器更新,每次约 6 分钟,每卡峰值显存 48.3 GB;换单张 80GB A100 靠梯度累积也能跑,峰值 68.5 GB。同一配方还能外推:后续块一步去噪的因果生成拿到 84.27 的同档最佳 Total,双向生成 1/2/4 步分别为 83.12/84.53/84.56。
冷静看的部分
论文自己的 Limitations 写得很直白:这是后训练配方,不能替代因果预训练;主实验只验证到 Wan2.1-1.3B 主干和 81 帧视频,更大规模、更高分辨率、更长时序还没测;方法还继承冻结表示编码器和固定参考分布的归纳偏置。另外「超过基线 0.36 分」是作者在自家实验设置下的自报对比,第三方复现结果需要等时间检验。
对做视频生成工程的人来说,真正的信号是:蒸馏不再是「三网络堆算力」的唯一解,表示分布匹配把少步因果后训练的入场门槛从集群级压到了单卡可试。下一步值得盯的是这套配方在更大主干上的复现——如果 16 卡时的量级能保持,少步因果视频生成的成本曲线会再往下压一截。
参考:arXiv:2609.28923(https://arxiv.org/abs/2609.28923),项目页 neu-vi.github.io/ViRDM/