扩散语言模型(Diffusion LM)常被当作"下一代文本生成范式"的候选:不必逐个 token 从左到右,而是多个位置并行去噪。但翻开账本,推理这一步并不便宜——块扩散模型(BDLM)每生成一个块,要在多个去噪步里反复回看不断变长的历史前缀,还要把块内所有位置反复推过整个 Transformer,哪怕每一步真正"敲定"的只是其中一小撮 token。arXiv 上的新论文 DUET(2611.09239)把这两处冗余各打一刀:免训练、双稀疏,32K 上下文下 SDAR-8B 的单步延迟从 99.53 毫秒压到 21.09 毫秒,端到端快 2.41 倍。
白算的账,先算清楚
论文把 BDLM 的浪费拆成两笔。第一笔在历史侧:每个去噪步都要对全量前缀做注意力,上下文越长,这一步越贵。第二笔在块内:当前块的全部位置在每个去噪步都会被推过所有 Transformer 层,但该步最终只会敲定其中一个子集——没被选中的位置白跑了一趟深层计算,包括注意力投影和 FFN/MoE。
动手之前,作者先给出两个经验观察,证明这两笔账真的可以省:
- 前缀注意力高度集中,且跨步稳定。预算 256 的历史 KV 子集就能覆盖约 85% 的历史注意力质量,预算提到 512 接近 90%;且在整个块的去噪过程中,覆盖率波动只有约 2.5 个百分点。也就是说,每个块开头选一次紧凑子集、整块复用即可,不必每步重选。
- 更新位置在浅层就能预测。把模型原本的解码策略作用在不同层的隐藏状态上,衡量其对"最终会被更新位置"的召回:在第 1 层保留 70% 的 masked 位置,就能召回约 80% 的最终更新位置;保留 90% 时召回约 95%。"这一步会改谁"的信号在浅层已经很强,没必要把所有行都送到最后一层。
免训练的双稀疏框架
对应两个观察,DUET 出两招,都不动模型权重:
第一招,前缀 KV 稀疏。在每个生成块的第一个去噪步之后,用块内查询与历史键的相似度打分,为整个块共享地选出一份紧凑历史 KV 子集(预算 256/512/1024),跨去噪步复用;进入下一个块,再对着全量缓存重选。
第二招,早期 query 稀疏。指定一个较早的选择层,在该层用模型原有解码规则预测哪些 masked 位置会被本次更新,只把这些活跃行送进后续层——后面的注意力投影、FFN/MoE 计算只为活跃行付账,其余行绕过深层,保持 masked 留到下一步。两个模型配置不同:LLaDA2.1-mini 用保留率 0.7、选择层第 1 层;SDAR-8B 用保留率 0.5、选择层第 5 层。
整套方法不引入任何额外训练的预测器,复用模型自身的解码策略,这是它"免训练"的关键。
结果:单步快不等于端到端快
质量端,LongBench Macro-F1 在 512 预算下 LLaDA2.1-mini 拿到 51.35,几乎追平稠密推理的 51.33;四项短任务(256 预算)上,SDAR-8B 的 MMLU、HumanEval 与稠密持平或略升,LLaDA 的 HumanEval 还从 78.66 涨到 80.49。代价并非零:LLaDA 的 MATH-500 从 91.80 掉到 87.60,数学推理上的降级要留意。
效率端(80 条 NarrativeQA、固定生成 256 token、H800 GPU)更能说明问题:32K 上下文下,LLaDA2.1-mini 端到端 1.34 倍、单步 2.83 倍;SDAR-8B 的收益随上下文增长,8K/16K/32K 分别为 1.53/2.05/2.41 倍,端到端延迟从 18.416 秒降到 7.656 秒,单步 4.72 倍。
对比两个基线更有嚼劲。FOCUS 的单步延迟同样漂亮(21.23 毫秒),但它改变了解码轨迹,平均步数从 25.05 涨到 64.53,端到端只剩 1.04 倍;LoSA 在 32K 的端到端为 3.672 秒,反而比稠密的 3.486 秒更慢,实测平均 KV 用量 434/405,超出名义预算 256。论文强调所有方法跑在同一推理框架、同样的 Triton 核上,对比是公平的。
工程启示
这篇论文给推理优化圈提了个醒:单步延迟降得再漂亮,若步数随之膨胀,端到端收益可能被吃光——吞吐优化必须在真实解码动态里端到端地测,而不是只看 kernel 基准。对扩散语言模型这条线,DUET 的意义在于把"推理贵"从笼统印象拆成两个可验证、可利用的结构性事实(注意力集中且跨步稳定、更新位置浅层可测),再用最小干预收割红利。论文随附匿名源码与测试流程;致谢显示工作受江苏省科技重大项目(#BG2025005)资助,通讯作者 Jingwei Xu 的邮箱后缀为 nju.edu.cn。顺带一提,论文的 AI 使用声明写得相当坦白:生成式 AI 用于优化实现与评测代码、监控实验、润色文稿,核心方法出自作者本人——这种披露姿态值得同行效仿。
扩散 LM 要从论文走向线上服务,推理优化得和架构演进同频。DUET 证明,不动权重的稀疏化就能先吃掉一大块冗余——下一步,就看这两个观察能否推广到更多块扩散模型上。
论文:DUET: Dual-Sparse Inference for Block Diffusion Language Models