扩散语言模型(Diffusion LM)最诱人的能力,是一次能同时揭开多个 token——不像自回归模型只能从左到右逐字吐。但这份并行的诱惑里藏着一个坑:从同一个半遮半掩的序列里独立采样多个位置,token 之间的依赖会被打断,你拿到的分布已经不是模型本来的分布了。论文把这类误差称为 factorization error,此前更有工作直呼其为「并行解码的诅咒」。Fast-dLLM、Fast-dLLM++ 这类置信度并行解码器,以及 tau-leaping 数值采样器,快是快了,但都是用近似换速度。

精确采样的代价:一个 token 一次串行评估

换到连续时间视角,扩散 LM 的反向生成过程是一条连续时间马尔可夫链(CTMC):每个事件揭开一个 token。这种精确采样不引入离散化或分解误差,但代价是每个 token 都要一次串行的模型评估,上一个没算完,下一个不能开始。想要「快而不变味」,就得在这条链上做文章。

SpecCTMC:把投机解码搬进 CTMC

arXiv 2611.08362 提出 SpecCTMC,思路对标自回归 LM 的投机解码(Leviathan/Chen, 2023),但有两处关键改造。其一,免训练、不需要独立草稿模型——草稿直接复用目标模型已经算过的预测。其二,并行评估若干候选中间态,再用精确的接受-校正程序裁决:第一个被拒绝的位置从正残差分布重采样修正,后续草稿全部丢弃、从修正态重新起草。整条链成立靠一个漂亮的观察:对 absorbing-mask 生成器,事件时钟只依赖剩余掩码数量,与已揭开 token 的内容无关,因此时钟可以提前采样,并在拒绝-校正中原样保留。定理 1 证明:SpecCTMC 输出轨迹(事件时间、生成顺序、token 取值)的联合分布与逐 token 直接仿真完全一致——既无时间离散化误差,也无并行分解误差,连 pass@k 都逐 k 相同。

数字:评估省 1.73-4.38 倍,峰值提速 2.88 倍

在 LLaDA-8B-Instruct 与 Dream-v0-Instruct-7B 两个模型、GSM8K/MATH/MBPP/HumanEval/IFEval 五个基准上,串行目标模型评估减少 1.73-4.38 倍;温度 1 的随机采样设定下,两模型平均准确率分别为 16.0→16.5 与 14.8→14.6,基本平价。NVIDIA B200 实测 wall-clock 平均提速 1.36-1.55 倍,IFEval 上峰值 2.88 倍;多模态 LLaDA-V 上收益更大,MathVerse/MathVista 评估减少 5.93-6.69 倍。GSM8K 上做 K=8 次采样,SpecCTMC 用 724 次中位累计评估,达到与 256 步 tau-leaping(2056 次)相同的 71.88% Pass@8,省约 2.84 倍。代码以 Apache 2.0 开源。

评论:诚实的天花板与真正的价值

必须泼盆冷水:wall-clock 增益明显小于评估数降幅,因为并行 batch 不是免费的——长 prompt 的 GSM8K 在 Dream 上只打平甚至更慢,短序列、多分支的 HumanEval/IFEval 才是大赢家。但方向价值很清楚:贪心解码永远只给一个答案,而多次随机采样能覆盖贪心漏掉的解;此前这条路被「精确=串行」锁死,SpecCTMC 把精确随机采样的成本压进了可负担区间。加速不应以偷换模型输出为代价——快而不变味,才是扩散 LM 走向生产的门票。