长程 Agent 把对话历史压缩进摘要这件事，几家厂商和实验室最近半年已经磨出了好几套方案，包括 AutoCompact、CliffCompaction、CompactionRL 等。但它们都还卡在一道坎上：纯文本摘要保不住每一个后续决策所需的信息，丢掉的东西容易让 Agent 在工具调用、网页检索这类长链路任务里失准。10 月 8 日放出的 arXiv 2610.11287 换了一个思路，引入一个独立的小网络为压缩后的摘要「补」上一段软记忆，把上下文开销砍到原来的 5.2%，却在 SummHay 上逼近全上下文得分。
它到底做了什么
REMORY 的核心动作分成两步。第一步，让一个外挂的 memory network 读取完整历史和当前摘要，输出一个固定长度、连续向量化的「软记忆令牌」(soft memory tokens),不是可见文字，而是直接把 LLM 输入嵌入层之外的连续向量接到摘要之后。第二步，主 LLM 冻结不变，只接收「摘要 + 软令牌」即可继续推理，作者把这一段比作「序列维度的残差连接」—— 摘要负责可读叙事的压缩，软记忆负责保留那些不能用文字总结的细节。
和把它当成额外的 KV cache 插入不一样的是「学习」：memory network 的参数是训出来的，输入端永远是冻结的 LLM。研究团队同时为 Qwen3.8-27B 与 GLM-5.3-Flash 各训了一套外挂记忆，分别是 1.9B 与 1.24B 的小模型，权重分别以 Qwen3.8-27B-REMORY-1.9B、GLM-5.3-Flash-REMORY-1.24B 在 Hugging Face 上公开。
测评覆盖哪些场景
论文围绕长程 Agent 跑了四类基准。SummHay 是「带来源归属的高质量摘要」测试，REMORY 在保留 insight coverage 基本不变的前提下，把 source attribution 推高，并能在仅用 5.2% 输入位的情况下逼近 full-context 的 joint score。BrowseComp 与 Terminal-Bench 2.1 是行业流行的网页检索与命令行执行任务，Qwen3.8-27B 和 GLM-5.3-Flash 在两类基准上一致提升，重复工具输出和工具错误的次数显著下降。仓库里的 demo 显示，在 Codex 这类代理里直接插记忆网络的 compact hook 即可上线，Qwen3.8-27B 默认 256K 上下文，配合两卡 80G 显存的 SGLang 部署就能跑。
训练的代价也值得一提：memory network 是有监督学习，目标是让「摘要 + 软令牌」条件下冻结 LLM 输出的 logits 接近「看完整历史」时的输出，因此训练阶段不需要重新训练主模型。这对真正落地至关重要—— 大模型重训代价高、风险大，而 1B 量级的小外挂网络对大部分团队都可承受。
行业意义
把上下文从「文本摘要 + 软记忆令牌」双轨压缩，比 KV cache 量化更省显存，比纯文本摘要更准，特别适配 Claude、GPT-6、Qwen3.8-MAX 这类为长程 Agent 准备的指令级模型。REMORY 有点像给 LLM 加了一片「可学习的长期记忆外挂」，和人类工作记忆「读 + 隐式索引」分开的认知结构更接近。一个直接的下一步是把这套思路接到 RAG、Tool-Use 训练管线里，让小模型自己学会压缩、回放工作记忆，而不是每次都让主模型在长上下文里硬扛。