「冻结权重也能涨点」:Byte-Exact KV-Cache Grafting 把 Gemma-4-12B 在 AIME 上从 80% 推到 93.3% Sietse Schelpe 7 月 15 日挂在 arXiv(2607.14431)的论文给出了一种看起来「不科学」却极其暴力的玩法:不改一行权重,直接把 frozen LLM 拔高到大一号的水平。核心是 byte-exact KV-cache grafting——把推理中的 KV 状态当成「验证过的知识工件」,下次会话时 byte-for-byte 嫁接回去。 论文最硬核的承诺是 bit-exact 可复现:固定配置下,grafted logits 与重跑结果 SHA-256 完全相等,KL 散度 = 0,50 样本 argmax 一致率 100%。这种精确手术成立的前提是 floating-point rotary encoding 下,own-position graft 是唯一数值精确的操作点。 三组实测都很炸:① Gemma-4-12B 在 AIME 2025 从 80.0% → 93.3%,超过自身 77.5% 基线,压过 31B 同门 89.2%;② 8 道基模型 401,026 token 解不出的题,graft 后只需 61 token,token 减少 6574 倍,能耗约 1/8700;③ 同一份 byte-exact 仓库把可用上下文从 32,768 拉到 2,854,766 token,零额外显存,跨同架构机器 byte-identical 迁移。 价值在于给行业一个新能力杠杆:不再只依赖训练侧,可把验证过的推理轨迹当永久缓存,在新会话中零成本调用。KV-cache 从「显存负担」变成「可重放能力资产」,与 prompt cache、KV cache compression 并列成第三条独立工程范式。当然限制也明确——引擎闭源、所有数字靠 committed hash 自证、graft 不能跨架构直接用。