扩散语言模型(dLM)想成为自回归之外的另一条路,但后训练一直是个粗活:SFT 把整段文本当教材,所有 token 一视同仁;在线 RL 把整条轨迹的奖励摊到每个位置。而 dLM 的去噪有个独特性质——少数几个早期承诺(commitment)一旦做出,剩余掩码位置的不确定性会骤降,整条回复的走向基本被这几个决定钉死。失败往往不是全盘皆错,而是毁在几个关键节点上。现有训练配方恰恰没有利用这个信号。
只训「支点」token
一个研究团队提出的 Pivot-SD 是离线自蒸馏框架,思路分两步:先用信息增益(information gain)度量每一次去噪承诺对剩余掩码位置不确定性的削减量,挑出 top-K 个高影响承诺作为「支点」(pivot);然后只对这些支点施加监督——正确轨迹的支点用交叉熵强化,错误轨迹的支点用 targeted unlikelihood 定点压制,失败轨迹里其余有效部分原样保留,不做无差别惩罚。这与 SFT 丢掉全部失败样本、RL 奖惩整条轨迹的粒度完全不同。
200 道题的账本
训练预算少得反常:200 道题、每题 4 次 rollout、1000 步。在 LLaDA-8B-Instruct 上(256 token 生成,三次运行取均值,与所有基线同预算),四项跑分全面超过 full-sequence SFT 与预算对齐的扩散 RL(diffu-GRPO、wd1++):
- MATH500:基座 31.40 → 37.47,比 SFT-GT 的 35.47 高 2 个点
- GSM8K:75.13 → 79.51
- HumanEval+:32.32 → 40.43,四项中涨幅最大
- MBPP+:43.12 → 47.12
算力账更直接:800 条 rollout 一次性离线采样花 2.5 小时,训练本身 0.3 小时(2× NVIDIA L40),总墙钟约为在线 RL 的八分之一,平均准确率反超 3 分以上。论文已被 EMNLP 2026 收为主会 Oral(arXiv:2610.03665)。
值得注意的三点
- 信号密度大于数据量。 200 道题打赢整段 SFT,说明塑造模型行为的不是 token 数量,而是少数关键决策点。对验证器昂贵、标注昂贵的领域,这是条省钱的路线。
- 失败样本终于被「外科手术式」利用。 传统 SFT 直接丢弃错误轨迹,Pivot-SD 只惩罚导致错误的支点、保留其中有效的子步骤——负样本的价值第一次被精细定价。
- 局限也明确。 实验只覆盖 8B 量级、数学与代码任务、256 token 生成长度;信息增益选支点在超长生成和更大模型上是否依然高效,论文没有给出答案。
当争论还聚焦在扩散 LM 能否追上自回归时,这篇论文提示了另一个方向:训练信号本身就该按信息量分配,而不是按 token 均摊。支点找到了,下一步是把它搬上更大的棋盘。
参考:论文 arXiv:2610.03665 · 项目页 sunwoohong.github.io/pivot-sd