扩散语言模型(DLM)的卖点很直接:不逐个 token 生成,一次前向就能并行预测多个位置,对延迟敏感的场景比自回归模型更有吸引力。为了摆脱早期 DLM 固定画布的长度限制,如今的大规模扩散语言模型几乎都走块扩散(block diffusion)路线:把序列切成块、逐块生成,块内用双向注意力反复精修,块之间靠 KV cache 因果衔接,LLaDA 2.1 和 DiffusionGemma 都是这么做的。
但这套设计里藏着一笔隐性成本:块边界是一堵同步墙。下一块必须等当前块全部定稿才能初始化,而一个块的完成时间由最慢的那个 token 决定——好预测的 token 早就稳定了,几个顽固分子还在反复自编辑,整条流水线只能干等。
尾部 20% 只产 10% 的 token
新论文(arXiv 2611.14387,Amir Mann 等 7 人)先给这笔「边界税」定了量:DiffusionGemma 在 HumanEval+ 上,一个块最后 20% 的进度要消耗 22% 的前向步数,却只产出 10% 的 token;「token 份额/步数份额」比值在尾部跌到 0.35–0.71(DiffusionGemma)和 0.05–0.62(LLaDA 2.1 mini)——越接近块尾,每次前向的空转越严重。
B3:相邻两块共享同一次前向
论文提出 B3(Blurring the Block Boundaries):当前块「稳定得差不多」时,把下一块拉进同一次前向一起去噪。三个关键设计:
- 注意力保持块因果,当前块的预测与原版逐位一致,不引入额外分布漂移;
- 错误由自编辑兜底,下一块在未定稿前缀上起草、早期预测可能被带偏,等它转正后 self-editing 会回头修正;
- 开块时机自校准,门控条件是当前块全部 token 的熵不超过阈值 τ,而 τ 从模型自己的接受行为统计而来——免训练、零超参,任何带自编辑的块扩散模型都能直接插上。
启用 B3 后,尾部比值被拉回 0.67–1.39 和 0.71–1.25,空转被实打实填掉了。
三个模型,30 组配对全涨
实验覆盖 DiffusionGemma 26B、LLaDA 2.1 mini 16B、LLaDA 2.1 flash 100B(两个扩散家族、16B 到 100B),跑 GSM8K、MATH500、AIME26、GPQA-D、HumanEval+ 等 10 个基准:
- 平均吞吐(TPS)提升 11.5%–14.5%,每次前向产出(TPF)提升 15.9%–19.4%;
- 30 组模型×基准配对无一例外全部改善,且没有任何按模型或任务的调参;
- 平均精度变化仅 −0.40 到 +0.76 个百分点,三个模型合计 +0.03 个百分点;
- 亮点格:DiffusionGemma 26B 在 AIME26 上提速 20.3%、精度反涨 3.33 个百分点;LLaDA 2.1 mini 在 HumanEval+ 上提速 21.9%。
对比同期两个要调阈值的多块解码工作 FlowBlock 和 MBD-LMs:块大小 64 下,B3 比 FlowBlock 快 11% 且精度相当,比 MBD-LMs 精度高 3.0 个百分点还快 3%。加大块也换不来这个收益——DiffusionGemma 块 256 时 B3 提速 12%,基线要把块加到 384 才追平速度,但至少损失 4.0 个百分点精度。
顺手修好了 LLaDA 的推理代码
两个工程细节值得单独记一笔:LLaDA 2.1 官方 Hugging Face 推理代码的 MoE 前向是 for 循环逐专家跑的,GPU 利用率近乎归零,作者换成 vLLM 的 fused MoE kernel;定稿块不做 KV cache 的话,100B flash 模型的运行时随输出长度平方增长。这两个修复与 B3 无关,但复现实验绕不开。硬件上 26B 用 2 张 A100 40GB、100B 用 2 张 H200 141GB,全部是公开 checkpoint。
局限也写得诚实:B3 依赖自编辑,无自编辑的 masked DLM 不适用;不像验证式投机解码那样保证输出与原版完全一致;加速上限被每块的低接受率尾巴封顶;实测只在单一推理栈、英文任务上做过。
这 11.5%–14.5% 本质上是调度层白捡的加速:不动权重、不重训、不调参。对正把扩散语言模型往低延迟场景推的团队,这是笔值得立刻对账的账。最后一个小注脚:论文附录坦承代码与 LaTeX 由 Claude Code 协助完成、Claude Chat 还当了一轮审稿人——研究「如何加速语言模型」的论文,自己也在被语言模型加速。
论文:arXiv:2611.14387,独立镜像可对照 papers.cool。