给智能体配"长期记忆"几乎成了行业默认动作:MemOS、A-Mem、HippoRAG2 这类系统一个接一个出场,卖点都是"让 Agent 记得住你"。但 UIUC 牵头、清华与人民大学等机构参与的一篇新论文(10 月 25 日挂上 arXiv,已在 Hugging Face 论文日榜拿到 99 个赞),把 11 个开源记忆系统拉到和最朴素的 RAG 同一台面上:多数场合,记忆系统跑输了,而且输得又贵又脆。论文给这部分净亏损起了个名字:记忆税(Memory Tax)。论文原文见 arXiv:2610.34073。

实验怎么做的

三个基准:LongMemEval-s(长对话记忆问答)、PersonaMem-v2(用户画像推断,抽 20% 样本)、MINT-Eval(多目标干扰,抽 10%);三个底座:Qwen3.5-4B、Qwen3.6-27B、GPT-5.6-luna。11 个记忆系统按存储组织方式分四类:扁平存储(A-Mem、MemOS、SimpleMem)、层级/生命周期(MemoryOS、LightMem、OpenViking)、图结构(HippoRAG2、MAGMA、PlugMem)、训练策略(Mem-T、Memory-R2)。参照系是不做记忆加工、直接在原始历史上切块检索的朴素 RAG,分一轮/两轮两档;为了公平,作者用"检索范围"(Retrieval Scope)对齐各系统预算,判卷统一交给 Qwen3.6-27B。

账面:全线跑输,成本差三个数量级

LongMemEval-s 上,11 个系统在三个底座上全部低于两轮 RAG:27B 底座两轮 RAG 拿 81.4 分,最接近的 A-Mem 79.4,MemOS 76.6;LightMem 在 4B 底座落后 14.6 分,OpenViking 更是直接掉 40.4 分。另一面,PersonaMem-v2 上 Memory-R2 反超 2.0 分,MINT-Eval 上 PlugMem 反超 3.3 分——不是一边倒,而这正是论文要拆的东西。

成本端更刺眼:附录成本表里,LongMemEval-s 上 A-Mem 的离线构建耗时 117 小时,RAG 只要 0.11 小时,差三个数量级;LLM 调用量 9.84 万次对两轮 RAG 的 200 次。多付一千倍构建成本,换来分数倒退,这就是论文说的负净价值。

记忆税的三条税源

论文把净价值拆成记忆收益(组织、蒸馏做对的部分)和记忆税,再顺藤摸瓜找税源,找到三条。保真:把原子事实从原始语料一路追到记忆单元,OpenViking 有 38% 的事实压根没有对应记忆单元,另有 13% 重大丢失;对照组 MAGMA 93.6% 无损失——丢失不是必然,是设计选择。可达性:证据没丢也未必取得出,被切碎、稀释、改写后,记忆系统首轮检索能找回的查询比 RAG 少,证据埋得更深。鲁棒性:固定记忆、换问答底座,不少记忆系统的波动比裸 RAG 更大——模型依赖的中间操作把脆弱性焊进了记忆里。

基准也有锅

论文还把一部分账记到评测集头上:在一批长期记忆基准上,连不用向量的 IDF 关键词匹配都能拿 50% 以上,混合检索能到 70% 左右——题目太"检索友好",天花板太低,税自然显眼。作者又把收益/税框架推广到经验记忆(网页任务里蒸馏工作流确实能赢 RAG,工具调用场景则好几个记忆方法落后)和世界模型记忆(直接回灌历史观测的朴素做法一致性就很强):记忆税不是对话记忆的特产。

所以呢

这篇论文的价值不在"记忆没用",而在给了一个算账框架:以后看任何记忆系统的成绩单,先问一句"朴素 RAG 基线多少分、构建花多少小时"。代码与全部结果已开源。落到选型:场景以事实回忆为主,先上两轮 RAG,大概率够用;记忆系统留给真正需要抽象和偏好沉淀的任务。能算清税的记忆,才配叫资产。