训练投机解码的草稿模型,最常用的损失是交叉熵和 KL 散度。可推理时真正决定加速比的,是每轮平均能接受几个草稿 token——期望接受长度 EAL。港大 Yu Tian 的单作者论文 REAL 把这层错位拆到了底:不止传统目标在优化别的东西,连近期专门冲着 EAL 设计的 block 级目标,也带着一个能把梯度方向整个反过来的系统偏差。

乘法顺序错了,梯度跟着反

WTV 这类 block 级目标把每步接受率相乘,去近似整窗的存活概率。问题在被接受的 token 有双重身份:它既延长已接受前缀,又决定下一个草稿 token 在什么前缀上接受验证。「先平均再相乘」丢掉了这层分支结构,精确目标应该给每条路径乘上权重再平均——两者之差恰好是路径权重与后续接受率的协方差。论文的反例干净利落:取一个两步、两个词表项的迷你设定,第一步目标分布是 0.4 对 0.6,草稿分布是 0.8 对 0.2,第二步的目标分布随第一步接住的分支而变;直接枚举四条路径后,精确目标的梯度是正的、奖励调大草稿参数,代理目标的梯度是负的、奖励调小,在 θ=0.5 处两者数值相等、方向相反。这不是玩具担忧——作者还记录了训练全程的协方差:始终为正,意味着代理在系统性低估真目标。

REAL:无偏估计器,只改损失函数

REAL 的做法是在冻结 target 采样的轨迹上,给每个 token 乘路径权重,恢复提出即接受的分支分布,得到 EAL 的无偏估计;再用 Rao–Blackwellization 把每项末端的采样因子换成条件期望,第 2 个位置的单项梯度方差降 76–84%,聚合梯度方差降 52–58%;外加一项辅助交叉熵稳定从头训练,消融显示纯交叉熵和去掉交叉熵的变体都更差,两个成分各贡献一半。改动全部落在损失函数上——草稿器架构、训练管线、推理流程一概不动,也不引入额外训练开销。

4.792 的成绩单和它的边界

实验冻结 Qwen3.6-35B-A3B(MoE 与 GDN 混合架构,贴近当前主流模型的设计选择)当 target,配 Domino 草稿器,每轮 1 个锚点加 γ=7 的草稿窗口,3 个 epoch 共 140K 步,数据用 OpenPerfectBlend 提示词由 target 在温度 1.0 重新生成。评测在 vLLM 引擎上跑 9 个任务子集、5 个随机种子,区分概率采样和 greedy 两种 serving 协议。概率采样 serving 下,REAL 的接受长度 4.792,去掉 Rao–Blackwellization 的变体 4.791,压过 static LK 的 4.740、WTV 的 4.715、VSD 的 4.657、DBLast 的 4.749,九个子集的最优全部由这两个变体包揽;第 1 个位置各家几乎打平,差距是在后面位置拉开的——第 7 个位置的接受保留率 0.315,高于 LK 的 0.306。优势还会随训练累积:对 WTV 的领先从第 1 个 epoch 后的 0.041 扩到第 3 个的 0.077,续训到第 4 个 epoch,REAL 到 4.816,没有饱和迹象。

两个边界必须写明:greedy serving 下最高的其实是 static LK(4.544 对 REAL 的 4.537);把采样温度降到 0.5,static LK 以 5.002 反超 REAL 的 4.993。REAL 的优势在随机采样 serving,越接近确定性解码越窄——这是论文自己声明的适用范围,不是遮掩。验证也只覆盖单一 target、单一草稿器、单一数据配方;VSD 和 DBLast 的对比是损失级改编而非完整系统复现。

所以呢

这篇的真正贡献不是零点零几的接受长度,而是方法论警告:当训练指标与真实目标之间隔着代理,先问一句「代理无偏吗」。作者实测常用的训练期 EAL 代理指标全程偏向 WTV,与真实 serving 排序完全相反——因为这个代理和 WTV 共享同一套乘积形式,指标在悄悄骗人。工程上这是个即插即用的损失函数,参考实现挂在 vLLM speculators 库的 fork 上(King-ty/speculators);同期还有 EDR、BV loss 等工作从动态规划、块验证角度攻同一问题,这个方向正在变热。对把投机解码当推理降本主路径的团队,目标函数级的修正比再堆一层系统技巧更值得跟进。当然,单 target、单草稿器的验证规模也摆在那里(论文),结论外推前值得多看几家。