长上下文 LLM 推理的成本与命门都在 KV 缓存——压缩比一拉高,多跳推理就先崩。通义实验室郑博等人提出的 PReM(Preserve and Refresh Memory,arXiv:2607.14327)给出一个清爽回应:不追求一步到位的静态压缩,而是把长上下文当成模型内部的层式 KV 内存,在生成中按需刷新。 PReM 由三个部件组成:Transformer 中间层插入专用「记忆层」对 chunks 实时打分、只留当前步骤真正需要的证据;引入特殊 token `<m>`,模型一旦输出即触发跨层 KV 内存重选;Top-k chunks 保留原始 KV、其余均值池化为单一代表向量(Preserve-and-Pool),固定预算下兼顾细节与冗余。训练端配套「相位分离刷新训练」,把推理切成内存选择与条件生成两阶段,用对比损失和边界损失逼迫模型识别证据并保证刷新前后生成连贯。 32K 上下文下,PReM 在 16× 与 32× 压缩比同时压制 SnapKV、CAKE、LongLLMLingua、EXIT 等基线;多跳问答增益尤为显著,3B 小模型反超更大方案。这条信号值得记住:动态按需刷新,可能比压缩率竞赛更贴近长上下文推理的真正瓶颈。