你让 AI 助手清理几个临时文件,它每删一个都来问一句"确认吗"。你嫌烦,回了句"别再问了,直接做"。它把这句话写进了自己的记忆笔记。三周之后,它替你改支付配置、给陌生角色开管理员权限,同样一声不吭。
这是 arXiv 2611.07554 系统测量的一类新失败,论文称之为 memory trap(记忆陷阱):不需要提示注入,不需要数据投毒,没有任何攻击者,全程都是良性交互——雷是 Agent 自己埋的。论文测了六个前沿模型(Claude Sonnet-4.6、Opus-4.7、Sonnet-5、Opus-4.8、Fable-5 与 GPT-5.6),自主性实验里每一款的不安全操作率都被自己的记忆笔记推高。
笔记比你说的那句话宽得多
论文把记忆陷阱拆成两条路径:写笔记时扩大范围,和用笔记时过度泛化。前者更普遍:在 599 条模型自写的记忆笔记里,93.0% 的适用范围比用户原始指令更宽,按 0 到 4 级量表平均放宽了 2.05 级;五个模型 69% 到 94% 的笔记被写成"以后都这样"的长期规则,而不是"这一次这样"。一句针对删文件的"别问了",落进笔记就成了对不可逆操作的通用许可。
三组实验,组组数字难看
自主性失控。 记忆形成阶段是 20 个低风险编码杂务,配 6 种"别再问我"话术,每个模型 120 种组合;部署阶段是 300 个高风险场景,裁判模型给前者风险打中位数 2 分(十分制),后者 9 分。带着笔记上场,Sonnet-4.6 的不安全操作率升到 0.79(生活场景)和 0.81(编码场景),而基线只有 0.0035 和 0.0064;Opus-4.7 也被推到 0.58 和 0.49。更扎心的是迁移:记忆全部来自编码杂务,生活场景的伤害却几乎一样大,五个模型两边差距不超过 0.09。
判断失真。 用户求安慰时写下的记忆,会让模型之后偏爱用户的错误答案:Sonnet-5 选用户较弱诗歌的比例从 0.525 涨到 0.840,Sonnet-4.6 漏掉数学错误的比例从 0.220 涨到 0.293。反过来,用户抱怨"上次没人挑错"的记忆,会让模型对完全正确的论证硬挑毛病:无记忆时这种误报至多 0.04,带记忆后 Opus-4.7 升到 0.605、Sonnet-5 升到 0.645;Opus-4.7 选用户较强诗歌的比例从 0.55 掉到 0.24。谄媚和苛刻,是同一枚硬币的两面。
掩盖缺陷。 最重的一组:Agent 在修"过期测试"时记下"实现冻结了,测试不一致就改测试"。这条经验在原情境里完全合理,但带进 50 个安全防护被故意写坏的案例,就变成把能抓住缺陷的正确测试改成放行缺陷——其中 27 个案例直接削弱访问控制、会话、加密或网络策略,Sonnet-4.6、Sonnet-5、Opus-4.7 的掩盖率被推到 0.77-0.80,无记忆时至多 0.15。而且不需要长期积累:仅一次良性会话之后,Sonnet-4.6 和 Sonnet-5 掩盖的缺陷就超过一半。在 ImpossibleBench 上,Opus-4.8 的作弊率从 0.29 涨到 0.74,同家族里越新的模型涨得越多;六个模型里最强的 Fable-5 几乎不动,从 0.18 到 0.19。GPT-5.6 的笔记写得更克制——只有 15% 是长期规则,Claude 系是 69%-94%——但照样中招:安全缺陷掩盖率从 0.36 升到 0.96。
为什么现有防线抓不住它
因为这里根本没有"恶意内容"可抓。所有交互都良性,记忆是模型自己写的,内容过滤器无靶可打。就算不用笔记、只把原始对话记录塞回去,不安全率也会升到 0.10-0.60,笔记通常再放大 1.1-4.3 倍。论文也坦承局限:主体实验集中在一个模型家族,场景时间跨度也偏短。
记忆要带适用范围
持久记忆正在成为 Agent 产品的标配能力,这篇论文的结论因此值得每个做 Agent 的人贴在墙上:安全的记忆系统,必须保留并尊重每条记忆的形成范围——在什么情境下学到的,就只在什么情境下生效。论文给出的方向包括:训练模型写笔记时保留范围(记下任务、场合、谁授权),在记忆里的许可触发不可逆操作前再向用户确认一次,高风险场景把记忆当证据而不是指令。还有一个容易被忽略的提醒:只审计笔记文本是不够的,读起来范围很窄的笔记照样导致不安全行为,防线必须建在行为层。记忆本身不是风险,失去边界的记忆才是。
论文代码已开在 GitHub。