FMLM+ 把扩散语言模型的「自纠错」解锁:32× 更少 NFE 匹配离散基线

非自回归语言模型的两条主线——Masked Diffusion Models (MDM) 与 Flow Map Language Models (FMLM)——长期处于两难取舍中:MDM 灵活、支持任意顺序解码,但同时生成多个 token 时会出现分解误差,质量崩盘;FMLM 用联合序列传输绕开了这一瓶颈,单步就能产出像样的文本,却牺牲了推理时"挑错重写"的能力。 CMU 与 KAIST 联合团队在 arXiv 2606.24773 上提出的 FMLM+ 与 Posterior Refinement,把这两条路径缝合到了同一个框架内。核心思路是给 FMLM 装上 masking 风格的噪声调度:一方面保留 FMLM"一次性全局生成"的特性,另一方面借来 MDM 的"任意位置置信度评分",让模型在生成完整序列之后回过头检查每个 token 的全局一致性,按需重写。这一后验打分机制天然支持迭代自纠错——论文称之为 Posterior Refinement。 实验结果显示,FMLM+ 仅需 32 轮 Posterior Refinement 就能逼近需要 1024 次函数评估的离散基线,最高做到 32× 更少的 NFE(Number of Function Evaluations)。覆盖 TinyStories、OpenWebText、GSM8K、Sudoku 四类基准,在所有数据集上一致压过 MDM 与 FMLM 同类方法。作者团队(CMU 的 Manan Agarwal、Sheel Shah 与 KAIST 的 Chanhyuk Lee、Jinwoo Kim 等)已经把代码与项目页放出,结构上兼容既有的大规模 MDM 预训练权重。 这条工作的真正价值在于把"快速生成"和"迭代修正"放回到同一个可微框架内——这是离散 AR 模型结构性做不到的事。一旦这条路被打通,推理时 scaling、agentic self-edit、多轮 long-form 写作等高算力场景都多了一个不堆 GPU 也能提质的选项。扩散语言模型从"论文里的并行玩具"开始跨进"工业可用"的工程门槛,FMLM+ 至少贡献了一块砖。