过去两年,智能体记忆几乎成了 AI 工程圈最热的方向。Mem0、MemMachine、Memora、EverMemOS——架构越画越复杂,功能越堆越多。
但一篇 10 月 22 日挂上 arXiv 的论文把这堆东西拉进考场跑了一圈,结论有点扎人:最朴素的 RAG 方案,几乎全赢了。
论文是《Is Complex Agentic Memory Always Needed? Naive RAG Is Stronger Than We Thought》(arXiv:2610.30755),西安交通大学六位作者完成。对照组 Raw-RAG 极其朴素:不做抽取、不做结构化、不用 LLM 改写历史,只把原始对话切窗口、稠密检索加重排,把证据塞给一个 reader 模型。
赢了多少
四个基准——LoCoMo(1540 道题)、LongMemEval(500 例)、MEME(1188 道阶段题)、MemoryAgentBench(2071 题)——对照 12 个记忆系统(LoCoMo 与 LongMemEval 一侧 12 个,MEME 与 MemoryAgentBench 一侧 7 个)。七组「基准×模型」设定里,Raw-RAG 赢下 6 组,只在 MEME 配 DeepSeek-V4-Flash 那组输给 MemMachine。差距见官方对照表:LoCoMo 上 GPT-4o-mini 读手 89.07 对 MemMachine 的 88.12,MemoryAgentBench 上 53.41 对 Memora 的 47.88。摘要的说法是在 6/7 组设定里领先最强对照系统 0.13 到 5.53 分。LongMemEval 那组只赢 0.13 分,基本踩线。
更狠的是反证
只是「简单方法也能打平」,顶多算持平论文。真正有杀伤力的是后面三组实验。
第一组审计 Mem0 的写入决策。LoCoMo 的 33902 次写决策里,UPDATE 和 DELETE 只占 4.39%,LongMemEval 的 428858 次里占 2.46%,真正落地的有效变更只有 1.90% 和 1.34%。把 UPDATE 换成纯追加的 ADD、DELETE 换成 NONE,LoCoMo 准确率从 67.36% 升到 69.42%——显式改写记忆没带来任何收益。
第二组给 Raw-RAG 加工记忆,三种方式全部变差:抽原子事实掉到 28.70 分(比基线低 19.62),加摘要掉 5.81 分,图结构扩展掉 5.78 分。论文的解释是抽原子事实会把测试时学习从 47.68% 打到 15.37%,可用示例的格式结构被拆散了。
第三组是成本。同一段 10 集 110 问的 MEME 切片上,Raw-RAG 写入加检索合计 305.91 秒,Mem0 要 4142.95 秒,EverMemOS 要 9301.48 秒。论文的说法是比下一个快 5.1 倍、比 EverMemOS 快 30.4 倍。而加上那三种加工,代价是上亿个 LLM token 和数小时耗时,Raw-RAG 同样任务只要 12 分钟。
为什么
机制落在两个指标上:覆盖率(证据够不够回答)和利用率(证据够了之后答对没答对)。MemoryAgentBench 上覆盖率跨度 19.07% 到 45.29%,利用率跨度只有 80.00% 到 89.71%。真正拉开差距的不是「拿到证据后多会读」,而是「该给的证据有没有给到」。论文还引入「路径覆盖」解释长链条问题:MEME 追踪和级联题上,Raw-RAG 条件路径覆盖 62.34%,MemU 只有 9.62%。
最锋利的一刀是完整存储对比。给加工过的记忆库开全部权限,Raw-RAG 和 MemMachine 恢复到 57.54% 和 57.46%,原始证据本身是 61.60%。去掉打包上限后,七个系统全部仍比原始证据低 7.58 到 29.38 分,配对 95% 置信区间都不含零。结论很直白:写入阶段丢掉的信息,靠检索补不回来。
谁该紧张
这不是「记忆系统没用」。论文划了三条边界:证据只在离线对话和公开基准上成立;原始存储随历史线性增长,牵涉隐私;状态重建效果还取决于 reader 模型能力。附录里跑 PersonaMem-v2,Raw-RAG 拿 49.62%,七个系统里只排第三。但验收标准是实打实的:改进型记忆系统应当证明自己赢过一个配置良好的朴素 RAG 基线,并说清楚多出来的复杂度贡献了什么。人话就是——你的消融表里必须有一行,是打不赢朴素 RAG 的复杂度。
仓库 README 致谢 GoodMem 团队的独立复现:同样的 embedding 模型、reranker 和检索深度跑 LoCoMo,GPT-4o-mini 读手得 88.68、GPT-4.1-mini 得 93.48,论文报告 89.07 和 93.70,四个数都落在 95% 置信区间内。
所以呢
这篇论文的价值可能不在「朴素 RAG 赢了」,而在把一个长期没人愿意验证的前提摆上台面:智能体记忆的复杂度,到底是问题带来的,还是行业共识带来的。
它测的全是「给定一段已存在的历史,如何回答问题」。真实产品的记忆问题还有另一半——什么时候该记、记什么、什么时候该忘、数据主体要求删除时怎么办。这恰恰是结构化记忆系统在卖的东西。
更准确的读法不是「记忆系统没用」,而是:证明自己比「把原始对话扔进向量库加重排」更强之前,复杂的记忆架构很可能只是在为想象出来的需求买单。