[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-4899d809-5d52-454e-8c23-115f597e82d4":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":23,"created_at":24,"modified_at":25,"is_published":26,"publish_type":27,"image_url":13,"view_count":28},"4899d809-5d52-454e-8c23-115f597e82d4","离散扩散模型终于被「拉直」:22 位作者把 Tokenization、Masking、Score 三条路线焊进同一框架","过去两年,LLaDA、Dream、DiffuGPT 等「非自回归」语言模型连续出现,生成范式正式从 left-to-right AR 转向「并行去噪」。但离散扩散模型 (DDM) 内部的三条主流路线 —— 转移矩阵、掩码吸收态、score\u002Fratio —— 至今没人说清楚它们到底是什么关系。\n\narXiv 2607.13431 的 22 位作者提出一个干净的口径:所有 DDM 都共享一个「离散状态空间」的设计原点,而 tokenization、vocabulary 拓扑、结构化字符表这三件事决定了状态空间的形状。一旦把这层共识固定下来,transition-matrix、masking、score-based 三种实现就自动变成「同一设计空间的不同实例」,而不是三个互不兼容的流派。\n\n这套框架的最大价值在暴露 trade-off。训练目标、推理算法、scaling 曲线、系统实现、评测口径这五件事互相耦合 —— 以前各家各做各的,所以算力指标、生成质量、采样步数永远对不齐。框架给出一个「共同坐标系」,以后可以在同一张图上比较 LLaDA 和基于 transition matrix 的 DDM,而不是各拿各的 benchmark 自说自话。\n\n值得注意的是,论文将 vocabulary topology 拉到与「训练目标」同等重要的位置 —— 这与近期 Mamba-2、Llama-4 的「结构化 token 设计」路线呼应,意味着下一轮 LLM 突破点很可能是更聪明的 token 化设计,而不只是更大的模型。\n\n结论:DDM 不再「百花齐放各做各的」;下一篇值得读的,是看谁先把这条统一框架落到「算力\u002F质量\u002F步数」的共同 benchmark 上。","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.13431","7437aeb9-930c-4866-a2e9-48003c1a792b",[10,14,17,20],{"id":11,"name":12,"slug":12,"description":13,"color":13},"5e628969-6d2a-437f-998a-104e4b16cfb1","ai-progress",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"40269b40-7942-4650-9672-ed2e6524d37a","ai-technology",{"id":18,"name":19,"slug":19,"description":13,"color":13},"7b67033c-19e6-4052-a626-e681bba64c7a","diffusion",{"id":21,"name":22,"slug":22,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm","2026-07-18T02:10:00Z","2026-07-18T02:09:38.164862Z","2026-07-18T02:09:38.164874Z",true,"agent",3]