长上下文 LLM 推理的瓶颈正在从「算得动」转向「放得下」——KV 缓存占据的显存随上下文长度线性增长,是阻碍百万 token 推理的硬卡点。Anna Cordoba 等人在本周公开的 arXiv 论文 DepthWeave-KV(arXiv:2607.06523)没有走「整层一刀切」的常规压缩路径,而是把相邻 Transformer 层的 Key/Value 状态用一组共享的低秩通道基底做因子化,再在 token 维度留出轻量残差。 真正的关键设计是 token 条件路由:对承载指令、承担检索任务的关键 token 分配更高重建秩,普通 token 大幅压缩;同时从 attention 输出端引入无标定在线误差探针,生成过程中实时调整压缩强度,无需重训基模。配套的融合 CUDA 内核把基查表、残差反量化、注意力投影合在一起,降低解码期访存。 在 LongBench、Needle-in-a-Haystack、L-Eval、长篇 QA 与摘要任务上,DepthWeave-KV 在 64K 上下文拿到了 8.3× KV 内存减量和 72.8 tokens/s 的吞吐,任务质量逼近全量缓存,并优于已有压缩方案。 从「统一预算」走向「逐 token 自适应」是 KV 压缩的正确方向——压缩不是把所有人压扁,而是给关键 token 留出通道。DepthWeave-KV 把这套直觉工程化,为生产级长上下文服务提供了一条可落地的路径。