把温度调高能让模型多探索一点,长文本生成却开始胡言乱语——这类场景在很多团队的调试现场不算新闻。这篇论文有意思的地方不在模型本身,而在模型和推理引擎之间那道一直没人补的缝:一份技术报告承诺的内存节省,在真实部署里往往一笔都没兑现。

报告里的 37.5%,引擎里的 1024

Gemma 4 的 31B 模型有两类层:50 个滑动窗口层只看最近 1024 个 token,配 16 个 KV 头、每头 256 维;10 个全局层看整个上下文,配 4 个 KV 头、每头 512 维。长上下文下,全局层才是每请求缓存的大头。这批层的模型配置项叫 attention_k_eq_v,没有独立的 value 投影:value 就是 RMS 归一化后的 key 投影,key 则是这个 value 乘上一个固定权重,位置编码只作用在 512 维里的 128 维。Gemma 4 技术报告的说法是,这套设计配上 KV 共享,全局 KV cache 最多省 37.5%(arXiv:2607.02770)。

论文读了 vLLM、SGLang、TensorRT-LLM、Hugging Face transformers 的 KV cache 代码,又搜了 15 个仓库、arXiv 和网页,给出的判断是:每个 KV 头每个 token 仍然存满 1024 个值,那份节省没有被引擎兑现。论文自己补了一句,搜索看不到私有代码。这篇论文见 https://arxiv.org/abs/2611.23035

640 个数干 1024 个数的活

办法是一行 640 长度的行:每个 KV 头每个 token 存 k_R、v_U、v_R 三段,分别是 128、384、128 个数,合计 640。前 512 个数是打分需要的 key,后 512 个数是 value,中间 384 个是重叠部分。要点是这两段不是两份拷贝,而是同一块内存上的两个带步长的视图,不需要搬任何数据,现成的分页注意力内核照原样就能读。

不改内核的关键在 query:key 里缺的那部分被折叠进 query,而位置编码不碰这一段,所以在实数运算下这一步是精确的。16 位下则不是逐位一致——论文说两种取整路径不同,维度置换也改了浮点求和顺序。真正逐位相同的是紧凑版与对照版:后者在 stock cache 上模拟同样的算术,432 个提示的输出全部逐位一致。

为什么不干脆只存 512 个?论文给了理由:旋转角度对每个缓存 token 都不同,没法一次性作用在 query 上,那就得换一个新内核。存 640 个,是拿一点空间换一个不用改内核的方案。论文明确写着,不主张这个节省、这个行形状或者这个缓存缩减是新的。

内存省下来了,速度不一定

vLLM 里用 16 位 31B 模型、单张 A100、15 GiB 缓存池实测:32K 上下文下,每请求稳态解码占用从 1349 个块降到 1008 个,64K 下从 2373 降到 1690,折算成每请求少占 0.83 和 1.67 GiB;全局层的块数降到原来的三分之二。32K 时同一个池子能多塞进一个请求,解码速度从 56.0 涨到 69.7 token 每秒。但 64K 时两种布局都只装得下两个请求,紧凑版反而慢了 4%。

精度那边,432 道题里有 400 道 GSM8K 和 32 道 7.7K token 的针检索,紧凑版 0.9769 对 stock 的 0.9722,差 0.46 分,落在预设的正负 3 分区间里;两道最终答案变了,都转向正确答案一侧,432 道题里 88 道的生成文本不同。

收益真正出现的地方是预填充与解码分离的部署。两张 A100 组成的解码节点上,16K 提示长度下每步解码 token 数是原来的 1.376 倍,8K 下是 1.237 倍,论文事先冻结的块池模型分别预测了 1.364 和 1.229。eager 解码吞吐涨到 1.30 和 1.11 倍。代价也写清楚了:紧凑版每一步在长提示下慢 5.5%、短提示下慢 11%,单机测试里同批下一步慢 4% 到 9%。

该泼的冷水

论文的自我限定写得很诚实:精度测试只覆盖到 7.7K token 的提示,而省内存真正有意义的场景要长得多,作者的说法是「没发现破坏」,不是「证明质量相同」;FP8 路径上,默认 KV 精度下紧凑行过不了误差界,1.34 到 1.40 倍的节省只对 16 位成立;所有测量只覆盖 31B 一个模型和 vLLM 一个版本,没测前缀缓存、张量并行和投机解码;最要紧的是,原型代码和实验记录论文写的是「计划发布」,目前还没有。

所以呢

有一条账算得挺清楚。论文说它读了 16 份当前模型配置,别的模型声明的 10% 以上精确冗余,基本都已经被 vLLM 或者配套的推理镜像用掉了;Gemma 4 这个键值相等的设计属于另一类情况,引擎侧没有对应实现,这也是它能省 37.5% 的原因。

另一条更值钱:模型报告里的省,本质是开给推理引擎的欠条。这篇论文的价值不在提出新东西,而在把欠条金额算到分:37.5% 是怎么在引擎里漏掉的,省下来之后每一步要慢多少,以及在什么条件下这笔账才变成吞吐而不是纸面数字。等推理引擎真把这套布局吃进去,下一个要回答的问题就来了:这类欠条,该由模型团队定价,还是由推理框架团队定价?