扩散大语言模型(dLLM)靠迭代去噪并行生成文本,被认为是自回归(AR)LM 之外的一条新路径,但后训练阶段要逼出强推理一直很尴尬——监督微调是 off-policy、吃 exposure bias,强化学习只有稀疏的整句奖励,又因为 dLLM 没有 tractable 的序列似然难以直接套用。 NUS 的 Phuong Tuan Dat、Qi Li、Xinchao Wang 在 7 月 5 日挂上 arXiv 的 dOPSD(2607.04428)就冲着这个坑去。文章先指出 On-Policy Self-Distillation(OPSD)本来是个看起来很美的路子:同一个模型同时当 student 和 teacher,给出 dense、token-level、on-policy 的监督信号。但 OPSD 的关键痛点在于 teacher 必须拿到「特权信息」(PI)——通常是一条样本级 ground truth,推理时根本拿不到,结果 student 学到的只是一个去掉了 PI 的弱共识策略,对 dLLM 推理几乎没帮助。 dOPSD 的核心想法是:teacher 的特权不再来自外部标签,而来自 student 自己那条去噪轨迹的后段——后面那几步已经比前面更「解码得更深」,对被遮蔽位置天然就是更优的软标签。这样 teacher 的优势完全从模型自身的解码过程里长出来,部署时不需要任何额外信号。 论文把 dOPSD 套到 Dream 和 LLaDA 两个代表性 dLLM 上,结果在域内数学推理和域外代码生成上同时超过 SFT 和已有 on-policy baseline。对于正在狂卷 post-training 的 dLLM 社区,这等于把「数据从哪里来」和「标签从哪里来」这两件最贵的成本拆解开了——下一步把这条思路搬到多模态扩散 LLM 上几乎是现成的方向。