自回归(AR)视频扩散模型有个老毛病:视频一长,颜色和纹理慢慢跑偏,运动幅度逐渐衰弱,业内称之为漂移(drifting)。主流修法是 KV conditioning——推理时挑选或改写缓存里的 key-value 条目,控制模型"读"什么。首尔大学、高丽大学、成均馆大学与佐治亚理工四校团队给出了不同诊断:光管"读"不够,病根在"写"。论文已发布于 arXiv(https://arxiv.org/abs/2610.03120),代码同步开源。
KV 溯源:条目写入时就已越界
团队的观察很直接:KV conditioning 隐含假设缓存条目仍在训练分布内,但该假设在训练视野之外失效。一个 KV 条目依赖它被缓存时注意到了哪些条目——即它的溯源(provenance)。模型只在短视野上训练,推理 rollout 时每个新 chunk 都是在训练从未执行过的溯源状态下写入缓存,条目本身就成了分布外(OOD)数据。团队将其命名为 KV-provenance problem,推论相当残酷:溯源在写入那一刻就已固定,事后任何 conditioning 策略都无法挽回。
两级规则:写入端自缓存,读取端精确窗口
ID-Forcing 是纯测试时框架,零微调,规则只有两条:
- 写入端 self-caching:窗口内最早的条目只注意自己写入,其余条目在其之上自回归写入。每条 KV 的写入溯源都与训练执行过的状态一致,从源头杜绝 OOD。
- 读取端精确滚动窗口:永久保留首个 chunk κ0(训练每一步都以它为条件),其余只留最近条目并做时间距离再旋转,窗口严格满足 L ≤ N−1,滚动窗口精确落在分布内。
效果:免训练外推 48 倍时长
项目页演示中,单一提示词生成的视频被外推到 30/60/120/240 秒,而基座训练视野约 5 秒,全程无微调。仓库默认脚本生成 2 分钟视频,即 160 个 chunk、1917 帧(16 fps)。评测覆盖两个基座:Self-Forcing 从第 7 个 chunk(跨过其 7-chunk 训练视野的第一个 chunk)起接管;LongLive 从第 1 个 chunk 起接管,它本身就用分钟级视频训练。结果显示方法在标准视频生成基准上保持竞争力,缓解漂移则大幅超越此前工作——由两项漂移指标与用户研究共同验证:颜色漂移度量首尾帧 180-bin HSV 色调直方图差异,运动漂移用 VBench Dynamic Degree(首尾各 5 秒,RAFT 光流、8 fps 采样)。对比基线包括 Self-Forcing、Deep Forcing、MemRoPE 与 Infinity-RoPE。
开源与复现门槛
GitHub 仓库结构干净:run_self_forcing.sh 与 run_longlive.sh 两条一键脚本,权重表写明 Self-Forcing 用 EMA 权重、LongLive 用 base+LoRA,文本编码器与 VAE 取自 Wan2.1-T2V-1.3B;评测提示词为 128 条 MovieGen prompt;代码沿用两个基座原仓库的 Apache License 2.0。断点续跑开箱即用——已存在的视频自动跳过。
所以呢
这件事的价值不在"又把视频拉长了",而在成本结构:分钟级视野意味着分钟级数据与算力,而 ID-Forcing 证明只要推理期把 KV 的读写都对齐训练分布,5 秒视野的现成模型就能稳定外推。对算力有限的团队,这是"用推理期工程换训练期投入"的又一个样本;它也提醒整个社区:KV cache 不只是省显存的工程件,它本身就是分布问题的载体——文本推理侧的缓存研究热,与视频生成侧的这条线索,正在说同一件事。