投机解码这个技术,从 2023 年被提出那天起就有个默认剧本:小模型先猜几个 token,大模型一次性验掉,猜对了就省时间。剧本里小模型当然越强越好。
这轮研究把这个剧本倒过来演了一遍。Antal van den Bosch 在 INLG 2026 上发表的论文《Towards Green Text Generation: Memory-Based Speculative Decoding》(arXiv:2611.16714,https://arxiv.org/abs/2611.16714 )把顺序改了:当验证器用上了 KV cache,一个 1.1B 的神经草稿模型不但不省事,还把整体吞吐拖到只剩原来的三到五成,能耗反而涨上去。论文给的解法不是换个更强的草稿模型,而是把草稿退回一张查找表。
论文的验证器是 Mistral-7B-v0.1 base,跑在一台 M1 Max 的 Mac Studio(32GB 内存)上,对比 7 种草稿策略 × 3 种草稿长度(k=3/5/8)× 300 个提示词,每种模式 6300 次生成,能耗用 macOS powermetrics 以 1Hz 采样整机功耗(CPU、GPU、Neural Engine 合计)。
两种模式,两个答案
不带 KV cache 时,验证器每步都要把整段上下文重算一遍,注意力开销主导成本,追加几个草稿 token 几乎不额外花钱。这时草稿模型越「免费」越好:4-gram 哈希查表 0.09 毫秒出一个 token,Olifant 各变体 0.16 到 0.25 毫秒,而 TinyLlama-1.1B 要 254 毫秒。表 1 里,领域匹配的 Olifant-eurlex 在欧盟法律文本上把吞吐从 2.29 拉到 5.55 tps(2.43 倍),能耗从每百 token 1326 焦耳降到 529 焦耳(2.51 倍)。
更有意思的是速度随草稿变长反而更好:k 从 3 涨到 8,接受率从 38.1% 掉到 19.9%,但平均接受长度从 1.13 涨到 1.53 token,净吞吐继续上扬;再把 k 拉到 12、16、24 继续测,吞吐在 k=8 见顶,之后回落到 2.2 倍附近。
带上 KV cache 后,底座直接快了 6 到 7 倍(plain 解码从 2.3 到 2.8 tps 变成 16.3 到 16.9 tps),能耗只剩原来的十分之一(每百 token 96 到 106 焦耳)。规则整个翻过来:神经草稿每一步要串行跑 k 次小模型前向,时间花在验证它带来的收益上,加速比从 1.15 到 1.20 倍掉到 0.47 到 0.29 倍——按论文说法它成了净亏损,能耗也从「省 1.2 到 1.4 倍」翻成「多花 2.5 到 3.8 倍」,每百 token 要 243 到 382 焦耳。
草稿从神经网络退回一张查找表
Olifant 不是神经网络。它用 TiMBL 的 IGTree 算法:训练集压成一棵前缀树,层级按信息增益排序,预测时从根往下走一条路径,取最深匹配节点的多数标签。训练时会把「多数标签与父节点一致」的节点整个剪掉,树因此瘦掉约 95%,深度受上下文窗口限制而不是语料规模。
它的语料用 Mistral 的 SentencePiece token,与验证器同一套词表,草稿能直接塞进验证步骤,没有表示错配。四个实例库覆盖 1.089B(FineWeb-Edu)、536M(PubMed 摘要)、130M(WikiText-103)、94M(EurLex)token。编译最大的那个实例库在评测机上花了大约六小时、约半兆焦耳,按论文说法一千次 100-token 生成就能回本;作为对照,TinyLlama 是在 16 张 A100 上用 3 万亿 token 训了约 90 天,单算 GPU 板级功耗在 10^10 焦耳量级,高出四到五个数量级。
匹配语料比匹配方法更要紧
论文还花力气排除一个质疑:法律文本是不是本身就啰嗦,所以才容易被猜中?测下来不是。法律文本的文内重复率 12.1%,另两类任务分别是 21.2% 和 29.6%;高出来的是跨文档重复,法律文本 4-gram 的跨文档重合率 73.6%,通用 26.7%、医学 14.9%。吃到的红利来自「离线在领域语料上训练过」这件事,不是文内复读。
在同一批法律文本上固定 k=3,只换草稿模型,接受率从 7.5%(拿 PubMed 语料训的那个)一路排到 38.1%(拿 EurLex 语料训的),中间的会话内 4-gram 是 24.7%,神经草稿是 21.1%——那个 1.1B 神经网络,连语料都免费的 4-gram 都没打过。
论文自己划的边界
有几处限定值得一起记着。全部实验只在 M1 Max 这一台机器、一个验证器、贪心解码、批大小为 1 的条件下完成;能耗是整机测量,只支持同硬件上的相对比较,不支持跨平台的绝对结论。缓存模式下草稿与 plain 的 ROUGE-L 有 0.955 到 0.959 对 0.971 的差距,论文归因于 float16 在 MPS 上的浮点非确定性,而不是算法本身改了输出。论文的脚注还交代,测量期间的电来自太阳能板加家用电池的组合,几乎不用市电;plain 配置的重复测量在两种模式下都吻合在 2% 以内。
还有一处数字不能混着看:摘要把 38.1% 接受率与 2.43 倍吞吐、2.51 倍能耗写在一起,但按正文表 1、表 3 和附录 A,2.43 倍与 2.51 倍对应的是 k=8(接受率 19.9%),38.1% 对应的是 k=3(吞吐 2.06 倍、能耗 2.13 倍)。
所以呢
这篇论文有意思的地方不是「又提速了一倍」,而是它把投机解码的评价标准换了:过去盯接受率,现在该盯草稿每 token 的成本和整机能耗。验证器侧会一直变快——KV cache、批处理、量化、更快的 kernel 都在挤压留给草稿的预算,论文自己的判断是这种压缩还会继续。可草稿侧只有一个方向:便宜到可以忽略。
同一时期 ACL 2026 Findings 上另一组团队的论文(Speculative Verification,https://aclanthology.org/2026.findings-acl.1809.pdf )独立测到类似的事:超过 40% 的验证开销花在被拒 token 上,48% 的投机解码步骤比直接解码还贵,大 batch 下草稿模型和验证开销会把已经缩水的好处继续吃掉。两边团队、方法、场景都不同,指向的却是同一件事——当验证器不再是瓶颈,投机解码的胜负手就换成了草稿有多便宜。
所以下一个问题可能不是「草稿模型该多大」,而是「草稿模型该多便宜」。CPU 上 0.2 毫秒、不占加速器内存、不用反向传播、换个实例库就能换一个领域——这张表可能比又一个 1.1B 更值得看。代码与模型都放出来了:https://github.com/antalvdb/olifant-speculative 与 https://huggingface.co/antalvdb/olifant-speculative-ibases。