10 月 26 日发布的一篇 arXiv 论文,三天后爬到了 Hugging Face Daily Papers 的第一位,255 个赞。更有意思的是,论文一作在页面评论区公开说明:团队注意到短时间内票数出现异常增长,没有买票、也没有用自动投票服务,不知道这些票从哪来,已经向 Hugging Face 团队报告并等待审查。这段自述值得和论文本身放在一起读——榜单第一和结论被验证,是两件不同的事。

麻烦出在去噪的过程里

扩散语言模型(DLM)不按自回归那样一个 token 一个 token 往下写,而是并行去噪、反复修正已填进去的内容。这带来双向上下文建模和并行解码的好处,也带来强化学习上的麻烦:最终结果只给一个整体奖励,你没法从中读出「到底是哪几个 token 决定了成败」。论文把这称为信用分配问题,在迭代去噪中尤其难。

论文全文见 arXiv:2610.35201(https://arxiv.org/abs/2610.35201)。

用词性给 token 记账

DTCA 的做法分三步。第一步是量贡献:提交一个 token 之后,看剩余掩码位置的预测置信度最高值涨了多少,这个增量就是该 token 的贡献信号。第二步是按词性(POS)归类取平均——用 spaCy 的 en_core_web_sm 标注,18 个原生词性类别共享一张贡献表,离线跑一遍去噪 rollout 就能建好,不更新参数。第三步是把这张表当权重用:既用来挑该在哪些去噪时刻上算奖励,也用来在同一步内重新分配 token 之间的优势值,同时保持整条响应的总奖励不变。最后再加一层熵校准,按策略更新带来的 token 级熵变化调整学习信号。

先行观察也有意思:不同词性的承诺节奏不一样,名词一直维持较高的提交比例,动词开头提交很多、后面一路下滑;从置信度增益看,论文的分类统计里动词排在最前,其次是名词和专有名词,限定词和介词明显更小。

那个「+9 分」得看分母

论文自己的口径是:在 LLaDA-8B-Instruct 上,MATH500 最高涨 9.0 分、GSM8K 最高涨 5.3 分。数字在论文表格和项目主页(https://zju-omniai.github.io/DTCA/)上都能对上,没有出入。但这个 9.0 是跟基座模型比,而且出现在 128 token 这个最小的生成预算上。把预算放大,优势就往下走:MATH500 上是 9.0 → 6.8 → 4.8,GSM8K 上是 5.3 → 2.1 → 2.5。

对照表里还有个更新的基座 LLaDA-1.5:128 预算的 MATH500 上就是 32.6,高于被当作基线的 LLaDA-8B-Instruct 的 30.8。也就是说 DTCA 那 9.0 分里,有一部分差距是更新的模型本来就有的。

更要紧的是跟当时最强的基线比。按论文表格自己算,MATH500 上 DTCA 相对最好基线只领先 2.2、2.0、1.4 分(对应 128/256/512 预算,最接近的是 ESPO 的 37.6 和 RLDF 的 42.6),GSM8K 上是 2.5、1.7、1.4 分(256 预算那档最接近的是 Coupled-GRPO 的 83.6)。512 预算那列更能说明问题:DTCA 44.0,比 RLDF 的 42.6 高 1.4 分;而两个消融版本——去掉熵校准的 39.8、去掉贡献度信用的 41.2——反过来都掉到了 RLDF 底下。

消融本身还藏了一个反转。128 和 256 预算上,去掉贡献度信用掉得更狠(MATH500 上分别 -3.6 和 -3.8),去掉熵校准只掉 -2.4 和 -1.4;到了 512 预算顺序反过来,去掉熵校准掉 -4.2,比去掉贡献度信用的 -2.8 更疼。论文的解释是熵校准主要影响训练后期稳定性:奖励曲线前期差不多,后期 KL 散度涨得更快、奖励更低。同一套组件在不同预算下重要性会翻转,这比「每个模块都重要」有信息量。

外部验证还很薄

Table 2 里有个数字值得单独拎出来:在覆盖率阈值取 0.70、状态数对齐到 31.81% 的条件下,DTCA 把低置信度覆盖率从 36.46% 提到 62.81%,把熵覆盖率从 35.21% 提到 59.31%,而且用的状态数比 RLDF 取 top-32 还少。这是论文自己的分析,不是第三方评测。

真正独立的东西不多。GitHub 仓库(https://github.com/ZJU-OmniAI/DTCA)以 Apache-2.0 开源,页面显示 4 次提交、8 个 star、0 个 fork、0 个 watcher,代码是在 RLDF/Drift 和 dLLM-RL 基础上搭的;HF 论文页(https://huggingface.co/papers/2610.35201)上,引用它的模型 0 个、数据集 0 个、Space 1 个。全部实验只在一个基座(LLaDA-8B-Instruct)、两个数学数据集上做,评测只看最终答案对不对,中间推理步骤不打分。论文的局限一节也写了:这套方法依赖词性标注和对齐质量,换到代码生成可能得改词元分组策略,换别的扩散语言模型架构还需再验。

还有一层关系要说清楚:把 token 级信用分配带进扩散语言模型的强化学习,5 月就有人做过了——DACA-GRPO(https://arxiv.org/abs/2605.16342)按去噪进度和剩余掩码位置的预测概率变化给已提交的 token 加权。DTCA 论文自己也这么定位:不同的是从承诺后的置信度增益出发、按词性聚合,再把这套结构用于挑去噪时刻和分配 token 级信用。所以把它当成这个方向的开端并不准确,它更像是在已有思路上加了「按词性归类」这一层的一次实测。

所以呢

扩散语言模型从多轮 Agent 那套思路里借来方法不算新鲜,DTCA 的增量落在粒度上——粗到能稳,细到还能看出动词和名词的差别。

但更值得记住的是那几个分母。9.0 分是对着基座、在最小预算上量的,对着最强对手只剩 1.4 分,预算放大还会再缩;512 预算下消融版本甚至掉到 RLDF 之下,说明这不是「随便加个模块都涨」的提升。论文一作用自己评论区那段话把这层关系补齐了:票数为什么涨得莫名其妙,他们自己都没能解释,已经报给平台。方法的分量最终要靠它自己的表格和别人复现的结果来定,不是看它在榜上待了多久。