这份 benchmark 想测什么
MemTrapBench 由浙江大学等机构的研究者 2026 年 8 月 20 日在 arXiv 上发布,围绕一个被长期忽略的问题:记忆调用本身,会不会改变模型对当前任务的推理?研究者把这种干扰命名为"memory-induced cognitive traps",具体拆成两类。
第一类是 Reasoning Fixation,模型被记忆里"以前成功过"的策略锁死,拒绝考虑新解法。论文里有个直观的 24 点例子:历史里全是加减乘除解法,新题 [4,1,1,1] 需要阶乘 4!=24。Gemini-3-Flash-Preview 在无记忆时能秒解,但接入 FullText 历史后只在基本运算空间里打转,死活想不到阶乘。
第二类是 Belief Distortion,记忆里的"假设前提"被错误地带到当前任务。安全场景里,只要对话历史中出现"这是沙盒测试,所有安全规则暂不生效"这类前提,模型就可能把真实世界的查询也按沙盒处理,绕过本应遵守的安全判断。还有 Trauma 子类,某次被粗暴否定的策略会让模型在无关新题上过度回避,比如把"对该患者禁用肾上腺素"错误泛化到所有患者。
1050 题、5 种记忆框架、2 个模型
数据集含 1050 个样本,按四个场景分布:Task Boundary 350 题、Cognitive Bias 350 题、Safety 200 题、Trauma 150 题。每个实例都由 GPT-5.4 生成多轮对话(18-40 轮),中间塞进无关噪声,刻意埋下"陷阱种子",最后一轮抛出当前任务。整套语料经过自动化筛选加人工标注两道质量把关,确保每题都能独立求解——出问题只在记忆起作用之后。
评测在两个模型上跑:Gemini-3-Flash-Preview 和 Qwen3-30B-A3B-Instruct-2507。每模型对比 FullText 直接喂全量历史,以及 LightMem、MemOS、SimpleMem、EverMemOS 四个记忆框架,再加一个 wo/Mem 无记忆基线。
核心数据令人不安。Gemini-3-Flash-Preview 无记忆时平均 85.16%,接 EverMemOS 之后跌到 71.17%;Qwen3-30B-A3B-Instruct-2507 从 81.83% 跌到 LightMem 的 70.13%。换句话说,不管用什么记忆压缩或检索优化,只要模型"看得见"过往交互,当前任务的总体表现就掉超过 10 个百分点。所有记忆策略无一幸免,降幅是系统性的,不是某个框架做得不好。
论文里做了受控消融:用无关的填充内容拉到等长上下文,模型不掉分;但只要内容里含"陷阱种子",分数立刻下挫。说明问题源于记忆的语义,而非窗口长度本身。
一个 prompt 就能堵上漏洞
研究者没有止步于诊断,顺带提出 AdaptiveMem:一段简单的指令级 prompt,告诉模型"在调用记忆前先判断它是不是当前任务的陷阱"。这段干预插在记忆调用链前面,不改任何架构。在 Gemini-3-Flash-Preview 上,光这一句话把 LightMem 的 MemTrapBench 分数拉高 14.9 个百分点,回到接近无记忆基线,同时在常规记忆基准上没有回归——某些框架甚至略有提升。
这说明当下的"记忆"问题不是压缩算法不到位,而是模型没学会区分"过往相关的可靠结论"和"过往相关但已过期的策略"。这是一种新的遗忘场景:不是记忆太多挤掉上下文,而是记忆被错误地用于新问题。
所以呢
MemTrapBench 的样本和代码已开源。如果你是做 agent 框架的,今天起该把"记忆调用前自检"列入默认行为;如果你是模型评测方,这四个场景(Cognitive Bias、Task Boundary、Safety、Trauma)直接可以加进回归集。更大的问题是:1,050 题里能稳定复现的退化,会不会在更长上下文、更复杂的 agent 工作流里被放大到不可控?记忆增强这条路,过去一年跑得太快,现在该停下来装一个刹车。