智能体要「记住用户」,得有一套记忆系统:存下对话、检索相关片段、拼给模型回答。这两年它越做越复杂——抽取事实、知识图谱、离线整合、语义压缩。但两份独立工作先泼了冷水:一份论文报告,朴素 RAG 直接检索原始对话,在 LoCoMo、LongMemEval 等四个基准的七组设定里有六组排第一,领先被对照的人工记忆系统 0.13 到 5.53 个点(Raw-RAG 论文);另一份则拆成「记忆收益」和「记忆税」,指出加工既可能带来收益,也可能抹掉有用证据(Memory Tax 论文)。

那么记忆系统该怎么设计?一份 11 月 12 日提交 arXiv 的新论文给了条不一样的路:别让人设计,让程序自己搜。

把手写设计换成程序进化

论文叫《Discovering Effective Agent Memory Designs through Program Evolution》(https://arxiv.org/abs/2611.17068),框架叫 MAPE。它把记忆系统拆成 build、retrieve、compose、answer 四个阶段,每个都可编程,在统一接口上做整程序进化:从一个「什么都不记」的最小种子出发,提议器改写整个程序,评测打分,诊断代理读执行轨迹找失败原因,再喂给下一轮提议。

提议器和诊断代理都跑 Claude Opus 4.8,推理强度开到 xhigh。LoCoMo 上每个设置跑三轮,LongMemEval 上一轮,每轮 20 步。搜索集与评测集 20% / 80% 切分,评测集在进化期间不可见。

对照实验对象是五个手写记忆系统(Mem0、A-Mem、LightMem、SimpleMem、Zep)和朴素 RAG、Full Context。

搜出来的是手写设计里没写出来的那部分

进化结果有两套。LoCoMo 上搜出的 MAPE-ALCM 在 GPT-4.1 mini 上拿到 87.94%,同一张表里 Full Context 是 80.87%,SimpleMem 是 80.80%。LongMemEval 上搜出的 MAPE-ALME 用 Qwen3-30B-A3B-Instruct-2507 跑到 77.00%,该栏基线里朴素 RAG 是 66.00%。

最抓眼的一组数字来自换成 Qwen 骨干:LoCoMo 上 MAPE-PLCM 拿到 81.33%,比 SimpleMem 的 69.32% 高 12.01 个百分点,服务成本 1.14 美元对 3.24 美元,只占 35%。

可复用的不是分数,是两条反复出现的规律。

第一条:留着原始对话。MAPE-ALME 抽取原子笔记的同时也索引原始对话轮次,检索时最多返回五轮原文。消融显示,去掉原始轮次,LoCoMo 从 75.90% 掉到 63.73%,LongMemEval 从 77.00% 掉到 70.50%;其中单会话助手类问题降幅达 20.00%。

第二条:按查询意图分流。论文管它叫 Query-Routed Scaffolding,先按措辞把问题分到六种意图,再各自套专门的脚手架——时间问题做日期推算,聚合问题用代码去重计数。去掉它,LoCoMo 从 75.90% 掉到 71.46%,LongMemEval 从 77.00% 掉到 70.75%;两个都去掉,只剩 63.12% 和 63.00%。

这两条规律与前面两份独立工作方向一致:加工会丢东西,原始证据不可替代。

把规律塞进别人的系统里

论文没停在自家分数:它把意图分流的组合模块移植进五个现成记忆系统,保留各自的构建与检索,只换证据怎么拼。

LongMemEval 上五个系统全部涨分,涨幅在 2.75 到 9.25 个点:SimpleMem 从 49.25% 到 58.50%,Zep 从 46.75% 到 52.25%。

幅度分化,论文给了原因:Mem0 只有 2.75%,它的失败主要不是「证据够了但没用好」,而是检索没把信息带回来——意图分流治的正是前者。错误归因分析印证:分流模块能修正 42% 到 60% 被判定为「证据充分但答错」的错误,对「证据就缺」的错误只有 3% 到 13%。

把成本写进目标,计算就搬家了

只用准确率当目标,搜索会一路往构建阶段堆东西——LongMemEval 轨迹上第 13 步引入「每会话抽一次笔记」的构建期操作,服务成本大约翻六倍。MAPE-ALME 最终约 92% 的服务成本花在构建期抽原子笔记上。

把成本写进目标,搜出的程序形态完全不同:MAPE-PLME 直接用 BM25,构建期一次模型调用都不要;MAPE-PLCM 检索原始对话轮次,只在聚合类问题上才查抽出的事实。这两个程序的服务调用次数比纯准确率版本在 LongMemEval 上少 90%,在 LoCoMo 上少 40%。告诉优化器「省着花」,计算就从「入库时加工」搬到「查询时按需处理」。

成本口径也写清楚:按固定单价折算成每千次查询的美元数,单价表日期是 2026 年 9 月 21 日,不含搜索代理调用与本地计算,不测延迟。

换模型、换基准,排名会反转

这套程序在迁移上很脆弱:同一 LoCoMo 上搜出的程序,服务模型换成 Qwen 骨干后排名直接对调——只追准确率的 MAPE-ALCM 在时间类问题上从 79.84% 掉到 43.80%,MAPE-PLCM 守住 70.93%。论文的解释是:前者把相对日期解析甩给问答模型,后者会在回答前把相对表述换成绝对日期。

跨基准迁移也不总是赢。LoCoMo 上搜出的两个程序搬到 LongMemEval 是 65.50% 和 64.25%,压过五个手写记忆系统,却仍低于朴素 RAG 的 66.00%;反过来,LongMemEval 上搜出的程序搬到 LoCoMo 是 75.90% 和 74.67%,超过全部基线。

论文自己承认的边界

局限段写得很老实:结论只在两个问答基准上成立,组件分析只针对一个代表性程序;进化轨迹在不同 run 之间会变;成本结论还取决于构建成本能在多少查询间摊销。这是一份尚未标注会议出处的 arXiv 预印本。

所以呢

这份工作交付的不是一个更高的分数——分数会随基准和模型变——而是一套能自己找出设计的过程,加上两条被反复验证、能移植到别人系统的规律:留着原文,按意图分流。

对做智能体的人来说,这比任何具体架构都值得抄:构建阶段尽量少加工,加工留到查询时按问题类型来。想省成本,就把成本写进搜索目标,别指望模型自己学会取舍。

前提是评估口径要跟论文学:别只看准确率,还要看每次查询花了多少钱、证据齐不齐。