扩散语言模型(DLM)一直有个尴尬的卖点:窗口越宽,一次 forward 能并行写出的 token 越多,理论上越快。可实际评测里,宽窗口经常让精度直接塌方——按这篇论文转述的 CD4LM 评测管线,LLaDA-8B 在 GSM8K 上从 32-token 块的 77.7% 崩到单个 256-token 块的 13.2%。11 月 16 日挂上 arXiv 的一篇论文(https://arxiv.org/abs/2611.20693,MBZUAI 与 UIUC 的三位研究者)把四个开源 DLM 的每一次 token 提交都翻出来查账,结论相当反直觉:塌方的锅主要不在「并行」,在「顺序」。

先讲清楚机制

LLaDA、Nemotron-Labs-Diffusion(NLD)、Fast-dLLM v2 这批开源 DLM 普遍用基于置信度的阈值解码:每一步,把窗口内所有置信度不低于 0.9 的未填位置一次性提交;如果一个都凑不出来,就由 fallback 把「最自信的那一个」硬提交上去。关键规则是提交永不撤回,而且可以乱序——左边还空着,右边就能先把词定了。论文把「最左边的未填位置」叫 frontier(前线),把左边未填时就抢先提交的行为叫 ahead commit。宽窗口给了 ahead commit 更大的活动空间,这就是嫌疑现场。

自信度其实挤在前线附近

论文的第一个发现:没必要抢跑。在四个模型上,15-24% 的位置要等自己成为 frontier 时才首次过阈值,60-64% 的位置在距 frontier 七个位置内过阈值,到距离 16 处首次过阈值的份额已跌破 1.5%。也就是说,能提前提交的 token 天生就少。实测里,frontier-only 策略(从 frontier 起把连续的自信位置一并提交)在全部 34 个设置下,每步提交 token 数仍有 vanilla 的至少 0.92 倍——NLD 上约一半、LLaDA 上约四分之三的 ahead commit 基本是白抢。更糟的是宽窗本身更贵:batch size 32 时,B=128 比 B=32 慢 2.4-2.5 倍。

丢分的是顺序,不是并行度

把「在哪提交」和「一次提交几个」拆开对比,天平一边倒。GSM8K 上,只在 frontier 提交的策略组比按置信度乱序提交的策略组高出 3 到 46 个点,而「每步提交一个还是几个」最多只动 2 个点。最夸张的是 LLaDA(评测提示 B):宽窗下 35.5% 对 frontier 系的 82.2%,差 46.4 个点;NLD-3B 用 256-token 窗口时,54.5% 对 88.0%,差 33.3 个点。精度损失几乎全由「提前把右边的词定了」造成。

两种病因,每个模型的配方还不一样

提前提交有两种死法,混配比例因模型而异。第一种是早期 EOS:end-of-sequence 被 fallback 从窗口深处提前拍死,答案直接被截断。NLD 上几乎全是这种病——把 EOS 限制在 frontier 提交后,顺序效应从 +8.4 点缩到 +1.1 点,B=256 时从 +33.3 缩到 +0.5。第二种是早期内容词:Fast-dLLM v2 上几乎全是这种,加了 EOS 限制顺序效应还是 +5.3 点纹丝不动。LLaDA 则两种病都有(+21.5 缩到 +17.8,+46.4 缩到 +24.8)。含义很实际:在某个模型上调好的修复,换一个模型可能直接失效。

最硬的证据:回放实验

论文用 root 分析加单步重放把因果钉死。失败解码与参考解码的第一个分叉点叫 root:fallback 提交只占总提交的 11-35%,却发起 61-72% 的有害分叉;逐 commit 做泊松回归后,在三个块扩散模型上,同等置信度下 ahead commit 引发分叉的频率仍是 frontier 提交的数倍(比率 7.8-14.6),而 fallback 提交开出有害 root 的频率是 confident 提交的 10.3-31.5 倍。重放实验更直接:把失败答案在 root 那一步改回只在 frontier 提交,比改动同样早的其他步骤多修复 7-39 个点的失败答案。元凶就是那一步。

修复便宜得有点意外

处方不用改权重、不用重训:要么只在 frontier 提交,要么至少把 fallback 和 EOS 关在 frontier。在 CD4LM 管线里,LLaDA 的 13.2% 加 EOS 限制回到 64.5%,每步都提交 frontier 则到 79.3%,而 forward pass 数量不变。距离帽 k≤2 也能保住精度,且论文扫过所有 k 值,没有一个能让速度提升超过 18%——抢跑在速度上几乎无利可图。论文代码已开源:https://github.com/rmakarovv/fast-at-the-frontier

该泼的冷水

四条边界要交代:模型都小于等于 8B;只研究了不撤回提交的阈值解码(DiffusionGemma 侧实验显示可撤回时 ahead 提交确实更常被改写,但主线没覆盖);任务是数学、代码、翻译、摘要这类从左到右自然的场景;精度效应主要出现在窗口宽于训练块时——不过 Fast-dLLM v2 从 8-token 子块扩到 32-token 训练块就已经掉了 4 个点,边界比想象中近。

所以呢?并行解码的真正瓶颈从来不是窗口宽度,而是模型置信度的空间分布——训练要让模型在 frontier 前方更早自信,推理则老老实实把提交留在 frontier。宽窗口买到的不是速度,是「还没想好就先把话说出口」的机会。