投机解码这两年一直在卷更准的草稿模型、更深的树、更宽的树,却很少有人去动真正卡住所有方法的量:一次草稿决策能换回多少个目标 token。这篇论文把它叫做「单位」,并指出它被 BPE 的预分词规则钉死在 1 上——Qwen3-4B 词表里「United States of America」是四个 token,任何相邻两个都不构成一条词表项,多词短语对「在目标词表里草稿」的方法都不可达。作者 Madhusudhana Naidu,11 月 9 日提交到 arXiv。
一个被默认的常数
诊断从一个公式开始:每个前向能「存下」的 token 数 = 1 + landing × (每次被接受的草稿单位换回的目标 token 数)。前面那个 1 是目标模型自己送的白菜,后面被乘的才是单位。Medusa、EAGLE-3、DFlash、DSpark 全都在目标模型自己的词表里草稿,候选树的一个节点就是一个目标 token,单位恒为 1,能动的只剩节点数量。
作者团队自己先撞上了这堵墙:在 Qwen3-4B 上做的词级草稿器,landing 做到 0.711,看着不算差,但每次被接受的猜测只换回 1.049 个目标 token,基本贴着 1。论文的总结很硬:不是接受率不行,是单位太短。
单位为什么短?BPE 在学合并规则之前先按空白切分,再多合并训练也造不出跨词的 token。SuperBPE 说得很直白,空白只是历史上为切形态学子词而设的规矩;它走改目标分词器的路,代价是从零预训练 8B 模型、约 330B token,而这篇论文不碰目标模型。EAGLE-3 的天花板也由单位决定:草稿头用截断词表,151,936 个 id 里只留 32,000 个(21.06%),外面的目标 token 任何树深树宽都写不出来。
换单位:另建一张短语词表
做法是:目标模型和分词器全程冻结,两层 LayerNorm 的 MLP 头读目标隐状态,预测一个一到三词的短语,短语是独立草稿词表里的一条目;命中后用贪心最长匹配展开回目标 token,多个候选在一次前向里靠前缀树掩码一起验证。因为只接受与目标自身 argmax 一致的候选,输出与贪心解码一致。
参数账很干净:头的固定开销是 1,377,792 个参数(d_model=2560、H_DIM=256),再加每个词表条目 257 个输出行参数。于是词表大小就是参数预算本身:8,000 条对应 3,433,792 个参数、占 Qwen3-4B 的 0.0854%,输出层占 59.9%;80,000 条对应 21,937,792 个、0.5454%,输出层占 93.7%。十分之一的词表只买到六分之一的参数。
21.94M 的头(占 Qwen3-4B 的 0.545%)在 GSM8K 上 2.391 倍、MATH-500 上 2.444 倍、MT-Bench 上 1.544 倍(它训练时只见过数学蒸馏,MT-Bench 是零样本迁移)。缩到 8,000 条的头是 3.434M 参数、0.0854%,比 EAGLE-3 的 218.2M 草稿器小 64 倍,却保住大个头 GSM8K 上 92.3% 的每趟 token 数。
放到同一个分母上比更有意思:22M 的头在 GSM8K 和 MATH-500 上分别相当于 EAGLE-3 tree-16 的 102.3% 和 108.5%,但每个数据集上都没追上 tree-60(91.5%、98.1%,MT-Bench 上只剩 66.6%)。论文对此不遮掩:它讲的是同等工作点上的参数效率,不是新的速度纪录。
加速到底从哪来
这是论文最有价值的自我拆解,也是最反直觉的一处。
作者统计了草稿词表里装着什么。8,000 条头里 3,997 条是多词条目,只有 467 条(11.7%)是纯字母加空白;43.9% 含 LaTeX 字符,55.0% 含数字,24.7% 含换行。频率最高的条目在两个头之间完全一致,都是 Markdown 和 LaTeX 脚手架。
再统计真正入账的 token 来自哪类条目:标点占 31.4%(GSM8K)、41.0%(MT-Bench),LaTeX 占 26.0%、11.7%,纯英文词只有 7.3% 和 22.6%;数学题上标点加 LaTeX 合计 57%–63%,59% 的入账来自三词条目——按上面那份普查,那些多是 LaTeX 碎片。论文自己的话是:这个方法在收割数学散文的低熵排版骨架。
跨域时这张账单直接翻面。换到 MT-Bench,LaTeX 从 41.3% 掉到 11.7%,纯词从 5.5% 涨到 22.6%,单词条目从 12.4% 涨到 35.7%,landing 从 0.817 掉到 0.509。论文的解释是:对话里没有排版骨架可收割,草稿只好退回猜常见短词。
还有个更扎人的细节:8,000 条的头在 MT-Bench 上每个 N 都打赢了 40,000 条的头(最好 1.653 对 1.588)。多出来的 32,000 条不只是没用——论文说它们「有害」,每一个都是在同一份监督上训练的竞争 logit。
另一头:词被切碎的语言
论文认为真正的战场不在英语,而在词被切得最碎的语言。Qwen3-4B 的分词器在 23 种语言上量下来:英语 1.38 token/词,印地语 5.00,泰卢固语 11.73,印度语系平均 8.68;而 151,669 个 token 里印度系文字只有 253 个(0.17%),以词为单位的草稿一次决策就能白赚好几个 token。但论文自己承认这一档基本没跑:印地语系的实验用的是 Gemma-3-1B,而 Gemma-3 每泰卢固语词只花 3.05 个 token,Qwen3 要 11.73,差 3.8 倍——正好落在空间最小的那一侧。
论文自己承认的账
局限章节比多数同类工作诚实,每条都是实测出来的。分母很脆:仅仅换一个 transformers 库版本就值 5.7%–9.1% 的加速数字,同一张卡三次运行在 MATH-500 上有 5.7% 的抖动。一张卡、一个种子、50/50/40 道题,没有置信区间。在线自适应「还不是一个结果」:landing 单调从 0.736 升到 0.759 再到 0.764,可加速没跟上(2.180 → 2.214 → 2.201),而且没有冻结对照组,那条曲线分不清是自适应还是流在漂。
所以呢
真正的贡献可能不是 2.444 倍,而是把「单位」从常数变成了变量:只要接受率不是瓶颈,天花板就取决于一次草稿决策能换回几个目标 token,而这个数被分词器的空白预分词规则卡着。这也提醒我们多问一句——它换回来的是语义,还是格式?
工程上这条路适用面很具体:数学、代码这类格式规整的流量上,一个 3.4M 参数、占 4B 目标 0.0854% 的小头就能吃到两倍多吞吐;对话流量上,论文的账本说明收益会掉到 1.5 倍左右。想动手,先量的不是树宽,而是自己分词器的 fertility。