扩散语言模型(dLLM)有个出名的不对称:一轮前向能同时预测很多 token,却要反复解码很多轮才能真正收尾。并行度有了,轮次下不去,速度还是慢。MBZUAI VILA Lab 的 Aidar Myrzakhan 与 Zhiqiang Shen 在 10 月 26 日提交到 arXiv 的论文里给出一个反直觉的答案:瓶颈不在"哪些 token 好猜",而在"先揭开哪一个"。论文提出的框架叫 dSpark,核心是把"揭示顺序"本身当成可学习、可蒸馏的知识。

反直觉发现:最自信的 token 往往最不值得先揭

主流的置信度解码策略,是先提交模型最有把握的 token,把没把握的留到后面。dSpark 的测量恰好指向反面:在 LLaDA 的正确 GSM8K 回答上,先揭开一个"不确定"的 token(置信度解码会推迟揭示的那类),能让其余被遮位置的 surprisal 多降 4.7 倍,并让多 5.1 倍的位置提前"就绪"。换句话说,最可预测的 token 常常提供最少的上下文;先揭难的那块,拼图反而成形更快。论文还观察到:不确定性区域越大的回答,需要的前向次数越多——轮次成本直接挂在"没揭开的信息量"上。

方法:冻结教师排出新顺序,再蒸馏给学生

dSpark 分两步。第一步,让冻结的教师模型对同一条正确回答换一种顺序揭示:每一轮挑"最能降低其余位置不确定性"的那个 token 先揭。第二步,把这些揭示轨迹蒸馏进学生模型,让模型自己学会这种调度;同时在模型自己的失败回答上加 KL 锚定,防止快速解码把生成质量带崩——README 的说法是,正确轨迹教调度,失败轨迹做正则。

训练数据全部自产:基座模型在 GSM8K、PRM12K、NuminaMath-CoT、AceCode 上生成回答(Dream 基座另加 OpenMathInstruct-2),最多 256 个新 token、block size 32,按参考答案或单元测试筛出正确与失败两类轨迹,分别喂给调度学习与 KL 正则。仓库为 LLaDA 与 Dream 各建了目录,提供从数据构造、训练到评测的脚本,快速上手示例直接加载合并后的 dSpark-LLaDA checkpoint 做推理。

数字与边界

按论文报告,GSM8K 上 dSpark 把 LLaDA-8B-Instruct 的前向次数压缩 10.12 倍(tokens per forward 达到 10.12),把 Dream-7B-Instruct 压缩 5.12 倍,同时精度持平或更好;评测覆盖 GSM8K、MATH、HumanEval、MBPP,基于 lm-evaluation-harness,除准确率外还报告 tokens-per-forward 解码速度。这些数字都是作者自报,目前没有第三方复现。

冷水也要泼:仓库明说模型权重与训练数据"即将放出",写稿时还没放出;实验集中在数学与代码两类任务、两个 8B 级开源基座;训练配置里最多 256 个新 token,长回答场景未经验证。

所以呢

dLLM 的加速竞赛正在换轴:上一阶段比"猜得更准",用更少轮次收敛;这一阶段开始比"调度更聪明"——同一个模型,只换"先揭谁",前向次数就能差出一个数量级(论文口径)。对做推理引擎的人来说,这比又刷高一个 benchmark 更值得盯:调度是零参数改动的加速杠杆,而且是能蒸馏、能迁移的杠杆。当然,在权重放出、有人在新任务上复现之前,"10 倍"请先按论文口径理解。论文 / 代码