FARMA 把伪造推理塞进 Agent 记忆:LLM 持久记忆的完整性危机

LLM Agent 大规模进入生产环境,持久记忆几乎是标配。但 Penn State 团队 7 月 6 日挂出的论文《Your Agent's Memories Are Not Its Own》指出一个被忽视的攻击面:不是注入事实,而是注入推理过程。 论文提出的 FARMA 攻击分两步:先用规避性语言写入伪造推理痕迹绕过关键词过滤,再通过自指式强化让 Agent 把这些痕迹当成自己的记忆反复引用,击穿 A-MemGuard 等共识防御。50 次试验中,无防御基线下攻击成功率高达 100%。 防御端 SENTINEL 没走大模型过滤的老路,而是用五个加权信号对候选记忆做结构化分析。在多种 Agent 和 LLM 组合下,把 FARMA 成功率压到 0%,对 326 条良性 trace 无误报——这是生产系统可用的信号。 这条工作的真正价值不在于又一个 jailbreak 变种,而在于把记忆的出处与完整性从可选项推到必选项:任何把 Agent 推到客服、运维、合规场景的团队,都必须在记忆层加入签名、来源审计与异常结构检测,否则 Agent 的经验完全可以被外部改写。