SLIM-RL:扩散大模型 RL 训练从「轨迹重构」走向「风险控制」

扩散大语言模型(dLLM)的 RL 训练长期为「随机掩码目标」与「推理轨迹」的不匹配买单——目前 SoTA TraceRL 把每个 rollout 切成 K/s 个轨迹对齐样本,训练成本随块大小 K 线性增长。arXiv:2607.00208 提出的 SLIM-RL 给出一条不同路径:完全不重构轨迹,而是用 τ-预算解码器为每一步 rollout 设定 commit risk 上限,从数据源头压住不匹配的损失。配套的 trace-free 随机掩码目标把序列级重要性采样和 masking 水平的确定性 quadrature 结合起来,再加一个「逐块均分保持、单调下降」的 mask schedule,有效降低方差。结果在 SDAR-4B 上以 0.46× 训练样本复现 TraceRL 最佳 MATH500;在匹配动态采样下,MATH500 提升 6.32%、GSM8K 提升 11.05%。更关键的是规模倒挂:经 SLIM-RL 训练的 4B 模型直接超过更大的 LLaDA-8B(MATH500 +10.76%)和 Dream-7B,但仍略低于自回归基线 Qwen2.5-7B——说明 dLLM 的 RL 收益远未触顶。同时 τ-预算解码器无需再训练即可在 LLaDA、Dream、SDAR 间迁移,意味着同一套 RL 配方可在多个开源 dLLM 上复用。代码已开源(github.com/laolaorkkkkk/SLIM-RL)。这给行业一个清晰信号:扩散 LLM 的 RL 未来未必是把 rollout 切得更细,而是把「风险预算」和「随机掩码」耦合起来——一种更便宜、更可迁移的训练范式正在替代轨迹工程。