扩散视觉语言模型(DVLM)有一条被默认接受的成本结构:每个去噪步都把完整输入重新过一遍,而图在里面占绝对大头。10月27日,KAIST 与 AITRICS 的研究者在 arXiv 发表论文 Look Only When Needed(arXiv:2610.36671),先给这条结构做了个体检:在他们研究的十个基准上,视觉 token 占 LLaDA-V 输入的89-97%;但把图整个拿掉,平均只有22.8%的解码步骤会改变"这一步揭开哪个 token"的决定——最低的 MMBench 只有7.9%,最高的 DocVQA 也不过43.8%。大部分去噪步根本不需要看图,模型却每一步都在付看图的钱。

一致即认证,分歧才看图

LOWN 的做法不训练任何东西,也不调任何阈值。每个去噪步先做一次不带图的 TEXT-ONLY 前向(便宜),把结果和上一次带图预测比对:一致的位置被"认证",直接复用,认证出的 token 数量决定这一步揭开多少;一旦出现分歧,才做一次带图的 FULL 前向并刷新锚点。论文的测量撑起了这套设计:FULL 与 TEXT-ONLY 两种前向在83.4%的被揭开位置给出相同的 top-1 token,85.0%的最终 token 在被揭开之前就已是 top-1 预测。认证也有可靠性边界——锚只旧一步时,不一致率4.1-11.0%,锚旧到八步会涨到 DocVQA 的25.3%;但实际轨迹里92-97%的复用用的都是上一步的锚,最老不超过五步。项目页的一分钟演示给了个直观对照:同一个看图说话任务,带图前向从48次降到12次,生成时间从近10秒压到3秒以内。

同预算对比:剪枝派掉分,LOWN 几乎无损

按论文 Table 1,在 LLaDA-V 上给所有方法至少同等算力预算:LOWN 以0.353倍解码 FLOPs 保留99.6%的基线分数,十个基准里八个是全部加速方法中的最高分;同预算下,视觉 token 剪枝路线的 RedVTP、ZOO-Prune、KLASS 分别只保留87.8%、88.8%、89.3%。KLASS 还要按基准逐个调阈值,LOWN 全程一条规则。时间侧,H200、batch size 1 设置下生成时间平均砍掉57.4%,最高73.2%。组合性也齐:与 RedVTP(保留50%)叠加,在0.223倍 FLOPs 保98.3%且十项全部最高;与 Fast-dLLM 的 KV 缓存叠加,时间再降38.1-50.1%。同一条规则原样迁到 LaViDa,以0.174倍 FLOPs 保99.7%,并扩展到视频协议下的 VidLaDA。

什么时候需要图,任务说了算

7.9%到43.8%的跨度说明"何时需要图"是任务属性:文档理解(DocVQA)最依赖视觉,多选识别(MMBench)最不依赖;且需要图的步骤在解码轨迹里靠前聚集,不会周期性出现——固定时间表注定两头不讨好,只能自适应。这也把两条优化轴拆开了:token 剪枝管"图保留多少",LOWN 管"多久看一次",二者正交。论文给了个直观例子:RedVTP 保留50%再叠加 LOWN,在0.195倍 FLOPs 拿54.9分;RedVTP 保留30%不叠加,0.354倍 FLOPs 只有51.7分——更省算力,反而更高分。

泼点冷水

其一,99.6%是平均值,里面含四个超过基线的基准;把每项封顶100%后是98.6%。其二,与 Fast-dLLM 叠加虽然更快,但三个任务的分数都低于 Fast-dLLM 单独使用,LLaVA-Bench 掉5.0分——叠加不是免费的。其三,FLOPs 是分析性估算,只计 decoder 与 LM head,不含视觉编码;计时口径却包含视觉编码,两种数字别直接混着比。其四,所有数字均为作者自报,GitHub 仓库只有5个 commit,尚无第三方复现;实验底座也全是 LLaDA 系(LLaDA-V、LaViDa、VidLaDA),自回归 VLM 上是否成立未验证。

对做部署的人,这篇的启发很直接:多模态推理的账单大头是视觉 token,而"这一步要不要看图"和"图要保留多少 token"一样,是一条可以单独调度的轴。反过来也值得想一层:约77%的去噪步里,看不看图,揭开的都是同一个 token——那每步重看的那张图,到底在给哪几步真正供信息?