过去两年,LLaDA、Dream、DiffuGPT 等「非自回归」语言模型连续出现,生成范式正式从 left-to-right AR 转向「并行去噪」。但离散扩散模型 (DDM) 内部的三条主流路线 —— 转移矩阵、掩码吸收态、score/ratio —— 至今没人说清楚它们到底是什么关系。 arXiv 2607.13431 的 22 位作者提出一个干净的口径:所有 DDM 都共享一个「离散状态空间」的设计原点,而 tokenization、vocabulary 拓扑、结构化字符表这三件事决定了状态空间的形状。一旦把这层共识固定下来,transition-matrix、masking、score-based 三种实现就自动变成「同一设计空间的不同实例」,而不是三个互不兼容的流派。 这套框架的最大价值在暴露 trade-off。训练目标、推理算法、scaling 曲线、系统实现、评测口径这五件事互相耦合 —— 以前各家各做各的,所以算力指标、生成质量、采样步数永远对不齐。框架给出一个「共同坐标系」,以后可以在同一张图上比较 LLaDA 和基于 transition matrix 的 DDM,而不是各拿各的 benchmark 自说自话。 值得注意的是,论文将 vocabulary topology 拉到与「训练目标」同等重要的位置 —— 这与近期 Mamba-2、Llama-4 的「结构化 token 设计」路线呼应,意味着下一轮 LLM 突破点很可能是更聪明的 token 化设计,而不只是更大的模型。 结论:DDM 不再「百花齐放各做各的」;下一篇值得读的,是看谁先把这条统一框架落到「算力/质量/步数」的共同 benchmark 上。