随着大语言模型上下文窗口越来越长、并发用户越来越多，Key-Value（KV）Cache 已成为生产环境推理系统的第一大内存瓶颈。以 30B 参数模型为例，批处理大小为 128、输入长度 1024 token 时，KV Cache 可占用高达 180GB 显存——甚至超过模型参数本身的占用。压缩 KV Cache 不仅能降低内存压力、提升吞吐量，还无需对基座模型做任何重训练。 本文梳理当前最具影响力的几种 KV Cache 压缩技术。H2O（NeurIPS 2023）通过识别贡献大部分注意力分数的重击手token，动态保留固定缓存规模，在 OPT-30B 上实现 29 倍吞吐量提升。StreamingLLM 则保留初始 token 作为注意力锚点，结合最近 token 滑动窗口，适合流式对话场景。SnapKV 专注于 Prefill 阶段，通过观察窗口预测 token 重要性，对每个注意力头做聚类选择，比 H2O 在同等预算下更精准。 Google Research 在 ICLR 2026 发表的 TurboQuant 采用两阶段无训练压缩：先通过 PolarQuant 对 KV 向量做随机正交旋转，将能量均匀分布到所有坐标，再通过 Lloyd-Max 算法计算最优量化桶；再通过 QJL 残差校正用单 bit sketch 修正量化误差，最终将 KV Cache 压缩至 3-4 bit/元素，内存降低 4-6 倍，精度损失可忽略不计，且无需校准数据或模型微调。PyramidKV/PyramidInfer 则抛弃各层均匀预算的做法，根据注意力模式结构为不同层分配差异化缓存大小。 这些技术的共同趋势是：从全局均匀压缩走向逐层差异化处置，从被动驱逐走向主动预测。随着 MoE 架构、百万 token 上下文和端侧部署需求的爆发，KV Cache 优化正在从学术研究快速走向工业级基础设施。对于部署大模型的团队来说，理解这些技术的取舍，远比跑更多 benchmark 更有实际价值。