扩散语言模型想抢自回归的饭碗,卡在一个结构性瓶颈上:并行解码时每个 token 只从自己的边缘分布独立采样,同批 token 之间的统计依赖被整体切断。数独这类全局约束任务直接暴露问题。连续扩散语言模型绕开了它——所有 token 在一个共享连续潜状态里联合规划——但去噪器只看得见潜状态,直到最后一步才解码,中间没有「必须是合法词元组合」的约束。UIUC 团队 10 月 1 日提交到 arXiv 的 HC-DLM 把两条路线缝在一起:离散 token 生成与连续潜轨迹耦合进同一个去噪过程,训练目标由 token 似然的变分界导出。

潜变量当唯一草稿纸,token 每步纠偏

HC-DLM 让潜变量成为唯一的持久生成状态:每步先从潜状态 x_t 读出 token 草稿 k_t,草稿再反过来指导下一次潜状态更新。与把连续上下文挂在自包含离散链上的混合方法不同,这里离散链本身不存在——token 只是潜状态的读出物,却承担「锚」的角色。训练端一个变分界拆三项:token 读出的重构项、token 引导的流匹配项、防编码器坍缩的熵正则项,端到端训练。

跑分:同规模扩散阵营里的最优解

项目页对比四类设计:离散扩散(MDM、LLaDA 类)一步内 token 相互独立;连续扩散(Plaid 类)只在 t=0 解码;混合方法(CCDD)靠条件耦合。HC-DLM 两头都占。数字(项目页口径):

  • Hard Sudoku(6M 参数):72.41%,比 CCDD 高 1.68 个百分点,比 MDM(top-prob. margin)高 22.53 个百分点;7 倍大的自回归模型只有 32.57%。
  • Countdown CD5(6M 参数):37.52%,比 CCDD 高 12.17 个百分点,且领先随规划深度拉大——CD4 只领先 3.2。
  • LM1B 生成困惑度(118M 参数):75.5,低于 Plaid 的 77.3、LangFlow 的 92.2、MDM 的 103.9。

冷水也在同一页:Easy Sudoku 上 CCDD 94.65% 仍略高于 HC-DLM 的 94.21%;LM1B 上自回归 Transformer(108M)的 66.7 仍低于所有扩散方案。「领先」只在扩散阵营内部成立,自回归的城墙还没破口。

消融:两层缺一不可

去掉 token 引导退化为纯潜扩散,Hard Sudoku 从 72.41% 掉到 24.74%;去掉潜变量退化为纯离散链,掉到 49.88%。前向噪声同样关键:吸收态噪声最好 48.25%,均匀态加并行更新才到 72.41%——均匀腐蚀的序列仍是完整假设,mask 不携带支架信息。两条过程曲线值得看:中间预测准确率在 t/T=0.6 前爬过 90%(无引导版本封顶 57%);去噪步数从 100 砍到 10,HC-DLM 稳在 52%-76%,MDM 从 56% 跌到 20%——少步数场景正是扩散对自回归的速度优势所在,这条曲线直接关系到路线的实用价值。

所以呢

这一年扩散语言模型从「能不能生成」卷到「并行解码的依赖怎么保」:Flash-dLLM 做免训加速、dQwen3.5 接适配断点,HC-DLM 则重构生成状态本身。对做推理服务的人,价值不在 6M 玩具规模,而在验证了联合规划与逐步锚定可以共存、少步数下不塌。6M/118M 的结论能否推到大模型等后续工作回答,但「潜变量打草稿、token 每步纠偏」这个范式值得进论文清单。

参考:arXiv:2610.02193(hc-dlm.github.io)