480×832、81 帧的视频,让 Wan2.1-I2V-14B 在单张 A100 上端到端生成一遍,要 851.5 秒——超过 14 分钟。扩散模型的 DiT 要在 3.28 万个潜 token 上反复去噪 50 步,算力账就是这么烧起来的。KAIST AI 与 Kakao 的联合团队给出了一个新思路:不动扩散大模型,把它的"燃料"——潜空间——重新压缩一遍。方法叫 GRACE,论文已挂 arXiv(2610.10524),代码以 MIT 协议开源,权重放在 Hugging Face。
压缩潜空间的老大难
视频扩散模型的速度瓶颈在 token 数:自编码器压缩率越高,DiT 要处理的 token 越少,生成越快。但压缩率一旦拉高,重建质量会先崩——想靠加通道数找回细节,更多通道又会拖慢 DiT 收敛;更麻烦的是,压缩后的潜分布偏离了 DiT 预训练时学到的分布,要么从头重训 DiT,要么付出高昂的适配成本。只对着重建指标优化编码器,表面看兼容,实际上潜空间已经被悄悄搬离了 DiT 认识的世界。
GRACE 的三件套
GRACE 分两阶段绕开这些坑。第一阶段训自编码器:冻结原版 Wan2.1 编码器输出的基座潜变量,另外学一个残差潜变量,装下强压缩丢掉的细节和运动信息;损失函数里,压缩潜变量会被拉到冻结 DiT 的特征空间里与原版潜变量对齐,让编码器"为生成而优化"。第二阶段适配 DiT:输入输出投影扩展到残差通道,transformer 块上挂 LoRA,再加上非对称去噪——基座潜变量永远比残差领先一步去噪(默认偏移 δ=0.15),残差始终建立在更"安定"的底子上,且不增加采样成本。最终潜配置从 f8t4p2 压到 f16t8p2,480×832 下的 token 从 32.8k 降到 4.3k。
快了 11 倍,文生视频跑分反超
结果表最有说服力:同样 480×832×81,GRACE 端到端 75.8 秒,原版 Wan2.1-14B 要 851.5 秒,提速 11.1 倍;分辨率拉到 736×1280×81,提速放大到 15.5 倍——分辨率越高省得越多。质量侧,VBench 文生视频总分 GRACE 85.81,反超未压缩原版的 83.93,其中语义分 84.98 对 78.70 拉开最大差距;图生视频总分 87.90,与原版 87.92 基本持平。横向比,同 token 量级的 Open-Sora 2.0、DC-Gen、LTX-Video 在文生视频总分上都不及 GRACE,图生视频总分 LTX-Video 以 87.97 与 GRACE 处在同一档。
消融:预训练一次都别浪费
论文的消融实验把"为什么不能蛮干"讲得很清楚:同样压缩、把 DiT 从头重训同样步数,VBench 文生视频总分只剩 71.04,比"只压缩不对齐"的 baseline 82.12 还低 11 分;依次加上双潜变量设计(83.55)、DiT 特征空间对齐(84.68)、非对称去噪(85.81),分数一级级爬回并反超原版。对齐目标也有讲究:换成 V-JEPA 2.1 的特征只有 83.99,不如冻结 DiT 自己的特征——生成任务里,DiT 自己的"世界观"更值钱。去噪顺序同样有方向性:基座先行 87.86,残差先行掉到 87.17,低于同步去噪的 87.51。
这套方法证明:预训练视频扩散模型的算力账,可以从潜空间这一层重新算——不重训大模型,token 少一个数量级,质量守得住。视频生成成本高企的当下,"生成感知"的压缩很可能变成标配工序。代码和权重都已放出,复现门槛不高,值得动手一试。
参考:arXiv:2610.10524 / cvlab-kaist.github.io/GRACE