长视频生成卡在哪?不在模型权重,在缓存区。视频扩散Transformer靠KV缓存复用历史帧的键值向量,省了重复计算,但缓存随生成历史线性增长,这篇11月19日挂上arXiv的论文的说法是,它能涨到数十GB,超过常规显卡装得下的范围 (https://arxiv.org/abs/2611.26334)。QVG团队在另一篇论文里给的独立口径更具体:自回归视频生成的KV缓存经常超过30GB,直接挡住部署 (https://arxiv.org/abs/2602.02958)。MIT运筹学中心三名研究者的解法,是把这块缓存压到2比特,同时把主体一致性从90.38抬到92.02。
LLM的量化经验直接搬过来会翻车
KV缓存量化在LLM侧已经成熟,QuaRot一路的思路是先旋转再量化:把离群通道混进正常通道,分布摊平了再压比特 (https://arxiv.org/abs/2404.00456)。但论文指出,这类方法是按LLM缓存的结构设计的,直接套到视频扩散Transformer上精度损失明显。视频缓存有自己的结构:同一个图像块在相邻几帧里的缓存向量,在每个通道上共享一个缓慢变化的均值。论文量化了这件事——按2帧一块切,Key缓存里91.22%的能量落在块的均值上;放宽到16帧一块,均值仍占76.88%。要压到2比特,均值就是必须先处理掉的大头。
每块一组2比特角度,在线拟合
TRQ的做法分两层。每个时间块(默认8帧)先配一棵2×2平面旋转的树:每个旋转的角度只从0、π/4、π/2、3π/4四个值里选,所以每个角度只用2比特存储;块内所有帧共用这组旋转,树后面再接一个所有块共享的固定Hadamard变换。目标很直接:把块的逐通道均值旋成近似常数向量,让量化器的offset把共享成分整体吸收掉。整棵树用贪心法拟合,论文证明这个贪心拟合在它的均值摊平目标下就是最优解。关键在「在线」二字:每条新视频现拟合自己的旋转,不用梯度,不改模型权重。开销也压得够低——块大小8、通道数128时,一组旋转只要2048比特元数据。
论文实测:数字站得住
对比在LongCat-Video-13B、Self-Forcing-Wan-1.3B、HY-WorldPlay-8B三个视频扩散模型上跑,主战场是LongCat,100条配对视频、480p。同等压缩率下(TRQ 6.89倍,QVG 6.88倍),主体一致性:BF16基线93.02,QVG 90.38,TRQ 92.02;PSNR从24.06抬到26.53。720p的25条配对视频上差距更悬殊:93.46对91.06。8B的HY-WorldPlay,论文摘要报的是86.33升到87.61;论文并称在LongCat和Self-Forcing上七项指标全部领先、HY-WorldPlay上七中六。消融实验说明问题:只留Hadamard变换,PSNR从27.69掉到25.90;把学出来的角度换成随机的,再掉到23.30——在线拟合的角度才是增益来源。工程侧论文配了Triton内核,H100上每对K/V的旋转开销从6.638毫秒压到1.785毫秒,整条缓存的处理时间从10.196秒降到2.743秒。
该泼的冷水
第一,论文自己承认,时间冗余弱的场景——快动作、镜头切换——是开放问题,自适应块长被列为后续方向。第二,TRQ走旋转路线,QVG走质心路线,论文明说两者结构互补、合并可能更强,但也只是指出,没有做。第三,论文称已发布融合Triton内核,但正文没有给出仓库链接,发布状态待核。第四,所有对比数字都是论文自报,被对标的QVG有多强,同样是论文的一面之词,还没有第三方复现。机制层倒是双源成立:QuaRot在LLM侧证明旋转能在不改输出的前提下压掉离群通道(LLaMA2-70B压到4比特,困惑度损失至多0.47,zero-shot保留99%),QVG在视频侧独立确认了30GB这堵墙。
所以呢——长视频生成的下半场,拼的可能不是谁的模型更大,而是谁的缓存更省。为每条视频现配一组2比特的旋转,这条路论文已经走通;快动作和镜头切换那两个坑,就看谁先补上了。