视频扩散 Transformer 的推理瓶颈从来不在别处:3D 全注意力的开销随序列长度二次方增长,720p、81 帧的规格下,每层 Transformer、每个去噪步都要把这笔账重复支付一遍。10 月 29 日挂上 arXiv 的 AB-Attention(arXiv:2610.39663)来自港中文(深圳)InfRec 团队,联合山东大学、东京大学、复旦、UC 伯克利、港科大与新加坡国立,思路是不训练、不改权重,直接跳过 89–92% 的注意力计算:论文报告端到端最高 2.23 倍加速,PSNR 反而比最强稀疏基线高最多 4.4 dB。

三步机制:打分、采样、装填

方法由三个组件构成。Intra-Block Clustering Selector(IBCS)只在每个 query 块内部做 query 聚类,用带权簇心给所有 key/value 块打分,不置换 token、不做全局聚类,把打分开销压到很低。Sampling with Inclusion-Probability Weighting(SIP)是核心:不硬性截断,而是按分数比例采样 key/value 块,再用包含概率的倒数对选中块重加权——论文证明这一遍稀疏前向给出的是注意力分子与 softmax 归一化分母的无偏估计,被丢掉的块不会从归一化里凭空消失。最后由 paged kernel 把零碎的选中块凑满完整的 tensor core tile,在不增加 tensor core 成本的前提下细化选择粒度。

论文对现有动态稀疏方法的批评集中在三处:块重要性估计要么粗要么贵;被剪掉的块在 softmax 里直接归零;整 tile 粒度的保留或丢弃太粗。翻译成人话:失真的根源往往不是"选错",而是"截断"这个动作本身。

主结果:稀疏度更高,保真度反而更好

评测用 Wan2.1-T2V-1.3B、Wan2.1-T2V-14B、HunyuanVideo-T2V-13B 三个文生视频模型,720p,Wan2.1 81 帧、HunyuanVideo 129 帧,Penguin Benchmark 600 条提示词,同提示词同种子对照稠密参考,硬件为 NVIDIA H20、BF16、PyTorch 2.6。关键读数:

  • Wan2.1 1.3B:跳过 89.16%,单视频延迟 962.39s 降到 479.11s(2.01 倍),PSNR 34.436;
  • Wan2.1 14B:跳过 89.16%,4743.52s 降到 2571.52s(1.84 倍),PSNR 30.788;
  • HunyuanVideo 13B:跳过 92.35%,4399.03s 降到 1974.61s(2.23 倍),PSNR 34.347。

基线侧,静态 mask 的 RadialAttention 稀疏度 73.03–73.63%,动态的 SVG2、DFSAttn 在 67.89–81.29% 之间;论文统一用 FlashInfer 的 FlashAttention-3 块稀疏后端执行所有基线的 mask,排除实现层差异。结果是基线要多算 1.8–3.6 倍注意力,PSNR 仍落后 1.6–4.4 dB。VBench 五个维度(美学质量、背景一致性、成像质量等)上,AB-Attention 与稠密参考的差距都压得很小。

消融:逆概率重加权一项扛走 4 dB

论文在 14B、100 条提示词、同一 89.16% 稀疏度下逐一替换组件,得到全文最有信息量的一组数:去掉 SIP 的逆概率加权,PSNR 掉 4.00 dB;换成均匀采样且不加权,掉 7.25 dB;换成 Top-k 硬选择,掉 3.99 dB。而把块内聚类换成朴素的 query 平均池化只掉 0.91 dB,整 tile 级选择掉 1.02 dB。也就是说,误差大头不在"选哪些块",而在"没选上的块怎么处理"——选择器可以朴素,截断必须换成带概率修正的采样估计。

冷水:只写了 H20 kernel,代码未放出

Limitations 一节作者自己交底:kernel 只适配实验用的 H20,只支持前向推理,评测只覆盖三个文生视频模型。GitHub 仓库目前只有 README 和许可证,徽章写着 Code coming soon,第三方复现暂无门路,上述数字全部是作者自报。计时区间含文本编码、50 个去噪步与 VAE 解码,不含模型加载;即便加速 2.23 倍之后,单条视频仍要 8–43 分钟,离实时很远。

所以呢:稀疏注意力的竞争焦点,正在从"选得更准"转向"估计得更诚实"。AB-Attention 用重要性采样把"跳过"变成"无偏估计",这个思路不属于视频扩散专有——长上下文 LLM 的 prefill、任何 softmax 归一化的稀疏化,理论上都适用。等代码放出,第一件事应该是验证它在 H20 之外硬件上的真实表现。