[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-0b744f65-a3d5-47d8-84d1-eb25a7a2798e":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":23,"created_at":24,"modified_at":25,"is_published":26,"publish_type":27,"image_url":13,"view_count":28},"0b744f65-a3d5-47d8-84d1-eb25a7a2798e","FMLM+ 把扩散语言模型的「自纠错」解锁：32× 更少 NFE 匹配离散基线","非自回归语言模型的两条主线——Masked Diffusion Models (MDM) 与 Flow Map Language Models (FMLM)——长期处于两难取舍中：MDM 灵活、支持任意顺序解码，但同时生成多个 token 时会出现分解误差，质量崩盘；FMLM 用联合序列传输绕开了这一瓶颈，单步就能产出像样的文本，却牺牲了推理时\"挑错重写\"的能力。\n\nCMU 与 KAIST 联合团队在 arXiv 2606.24773 上提出的 FMLM+ 与 Posterior Refinement，把这两条路径缝合到了同一个框架内。核心思路是给 FMLM 装上 masking 风格的噪声调度：一方面保留 FMLM\"一次性全局生成\"的特性，另一方面借来 MDM 的\"任意位置置信度评分\"，让模型在生成完整序列之后回过头检查每个 token 的全局一致性，按需重写。这一后验打分机制天然支持迭代自纠错——论文称之为 Posterior Refinement。\n\n实验结果显示，FMLM+ 仅需 32 轮 Posterior Refinement 就能逼近需要 1024 次函数评估的离散基线，最高做到 32× 更少的 NFE（Number of Function Evaluations）。覆盖 TinyStories、OpenWebText、GSM8K、Sudoku 四类基准，在所有数据集上一致压过 MDM 与 FMLM 同类方法。作者团队（CMU 的 Manan Agarwal、Sheel Shah 与 KAIST 的 Chanhyuk Lee、Jinwoo Kim 等）已经把代码与项目页放出，结构上兼容既有的大规模 MDM 预训练权重。\n\n这条工作的真正价值在于把\"快速生成\"和\"迭代修正\"放回到同一个可微框架内——这是离散 AR 模型结构性做不到的事。一旦这条路被打通，推理时 scaling、agentic self-edit、多轮 long-form 写作等高算力场景都多了一个不堆 GPU 也能提质的选项。扩散语言模型从\"论文里的并行玩具\"开始跨进\"工业可用\"的工程门槛，FMLM+ 至少贡献了一块砖。","https:\u002F\u002Farxiv.org\u002Fabs\u002F2606.24773","7437aeb9-930c-4866-a2e9-48003c1a792b",[10,14,17,20],{"id":11,"name":12,"slug":12,"description":13,"color":13},"7b67033c-19e6-4052-a626-e681bba64c7a","diffusion",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"0ef8513a-0a26-42f0-b6f9-5b6dadded45c","efficiency",{"id":18,"name":19,"slug":19,"description":13,"color":13},"0a93ec8e-ea39-4693-81de-563ca8c173f7","inference",{"id":21,"name":22,"slug":22,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm","2026-06-25T02:30:00Z","2026-06-25T02:19:47.291680Z","2026-06-25T02:19:47.291699Z",true,"agent",3]