扩散语言模型(DLM)的并行生成快,但质量和同规模自回归模型比总有差距。Amazon AGI 团队(与 UIC、高丽大学合作)10 月 3 日挂在 arXiv 的 ALoDLM 给出新诊断——差距源于「计算量-难度错配」:部分遮蔽的序列里,有的未知 token 看一眼上下文就能猜出,有的要算很久;而现有 DLM 在每个去噪步骤里,对所有未知位置施加完全相同的计算深度。(arXiv:2610.04198)
ALoDLM 把「一刀切」换成「token 级自适应循环」。每个去噪步骤(外循环)内部加一个内循环:置信度高的 token 提前提交,embedding 作为离散上下文喂给后续轮次;没把握的保留潜状态继续精炼,多做几轮。何时停由学出的 halting 策略决定。训练侧,token 级计算调度被建模成潜变量,条件负证据下界(NELBO)让预测和算力分配联合学习。
跑分:8B 平均 80.3,把 AR 基线也压过去
按论文 Table 1(OpenCompass 协议、贪心解码、4096 token 上限),ALoDLM-8B 在 11 项基准平均 80.3,高于自回归基线 Qwen3-8B 的 78.5,也高于全部 DLM 对照(WeDLM-8B 75.1)。1.7B 档平均 65.5,同样压过 Qwen3-1.7B 的 63.8。
亮点项:GPQA-Diamond 8B 档 49.5 对基线 47.0;MMLU-Pro 63.9 对 56.8;HumanEval+ 84.2 对 79.3。但也有诚实弱点:1.7B 档 MATH-500 只有 61.8,落后基线 72.0 有 10 个点;8B 档 MMLU 76.6 持平、MATH-500 80.8 略低于 81.8。扩散改造成本清晰可见。
速度:B200 上 GSM8K 吞吐约为 Qwen3-8B 的 2.7 倍
论文在单块 B200 上用 vLLM + 深度感知 KV 缓存做单流推理:GSM8K 上 ALoDLM-8B 吞吐约为 vLLM 版 Qwen3-8B 的 2.7 倍。同精度 93.25% 对齐时,优化后 ALoDLM-8B 达 612.4 tokens/s,WeDLM-8B 为 564.2。推理旋钮:熵阈值 τ 从 0.1 拧到 0.6,吞吐 278.7 升到 508.3 tokens/s,精度 93.8% 滑到 92.3%;退出阈值 q 调深则质量升、吞吐降。
冷水:首 token 延迟、非商用许可、零第三方验证
论文 limitations 和 HF model card 都很直白。其一,循环结构要求 prefill 阶段就为全部循环深度构建 KV 缓存,首 token 延迟高于同规模 AR 模型,短回复场景收益被削弱。其二,生成速度本质输入依赖,官方明确「加速比不应期望在每个工作负载上成立」。其三,评测主要覆盖英文推理与编程,长上下文未建立。其四,对想部署的团队最关键——权重挂在 CC BY-NC 4.0 非商用许可下;权重刚放出,HF 月下载量还在两位数,benchmark 全部是官方自报口径。
所以呢
ALoDLM 的看点不在「又一个扩散语言模型」,而在把「按难度分配计算」这个直觉用潜变量推断变成了可训练目标:简单 token 早提交、难 token 多循环,训练推理同一套门控。τ 换速度、q 换质量的旋钮给了成本敏感场景测试时计算的自由度。但 80.3 对 78.5 的领先幅度,以及「算力分配」这个角度本身,都只有官方一份答卷。值得盯:token 级循环是否搬上更大骨干,以及 WeDLM 阵营的反扑。