流式视频生成走到 few-step 自回归这一代,已能一边生成一边播放。但 KAIST 与 NAVER AI Lab 的团队指出一个推理循环里的浪费:few-step 自回归视频生成器把每个 token 都送满完整去噪 schedule,不管它还需不需要精炼。均匀计算是默认选项,却常无必要——很多 token 在最初几步就非常接近最终输出,另一些则要 refine 到最后。

不是每个 token 都值得跑满四步

LongLive 上的步数-质量阶梯很直接:1 步 VBench 总分 79.06,2 步 82.46,3 步 83.08,4 步 83.08。3 到 4 步总分一分不涨;但 1 步掉到 79.06,无脑减步也不可行。项目页可视化显示:背景、与历史帧相似的区域很早收敛,镜头新揭示的区域才需持续去噪。收敛是 token 级事件,不是整段视频的集体属性,这是整套方法的出发点。

草稿、验证、提交

Speculative Forcing 拆成三段。Draft:每个去噪步本来就会给出「干净估计」,把它当作该 token 最终输出的草稿。Verify:验证器判断草稿距 full-step 输出还有多远——training-free 版基于与干净内容的相似度和跨步稳定性;learned 版是读冻结生成器中间特征的小型 3D 卷积头。Commit:通过验证的 token 立即冻结为最终输出,跳过剩余全部去噪步,但其 KV 缓存保留,后续 token 仍在完整上下文里精炼。全程不改生成器权重;推理期只用一个容差 ε 调速度与质量,ε 在 0.20-0.24 区间能保住四步质量且 Drift 最低。

三个场景,三组数字

  • 5 秒短视频(LongLive):learned 验证器平均 1.68 步/token,H100 上 41.74 fps,VBench 总分 83.21;四步基线 4.00 步、26.40 fps、83.08,质量不降反升,吞吐 1.58 倍。training-free 版 1.65 步、43.61 fps、83.12。
  • 30 秒长视频:1.72 步/token,24.5→37.8 fps(1.54 倍),VBench-Long 总分 82.69→82.81,Drift 从 1.722 降到 1.707,提前冻结反而更稳。
  • 世界生成(Lingbot-World 2.0):镜头控制持续揭示新内容,平均步数升到 2.55,仍达 18.1→24.5 fps(1.35 倍),Drift 3.094→2.839。

边界与启发

消融给出两个失败模式:粒度从 token 放粗到 chunk,整块过早提交会让误差传到后续 chunk;时间差分当接受信号,分不清镜头运动和生成失真。收益建立在「粒度对、信号对」之上;2.55 步的世界生成也划出边界——新内容越多,可省的计算越少。

这套 Draft-Verify-Commit 拆法,与 LLM 推理里「草稿先行、验证把关」的资源分配逻辑同构:都赌大多数位置不需要最贵的计算。区别在视频的「接受」语义更微妙——冻结的是空间区域的视觉状态,还得为后续 token 留着上下文。

对做流式视频生成与世界模型 rollout 的团队:不改权重的推理期加速,已部署的 few-step 生成器可直接套用;ε 一个旋钮调速度-质量档位。当视频生成向实时交互收敛,每 token 计算量分配会像 LLM 推理优化一样成为独立战场。

参考:arXiv:2610.22347|speculative-forcing.github.io|github.com/naver-ai/speculative-forcing