真实网页上的 Agent 会犯一种很特别的错:它要点的按钮,页面上根本没有。
作者来自乔治梅森大学(George Mason University)和特拉维夫大学(Tel Aviv University)。他们用 Online-Mind2Web 在真实网站上采集轨迹,动作空间限制在 CLICK、SCROLL、TYPE、HOVER 四种,模型是 Qwen2.5-7B-Instruct。最终 300 个 episode、2,071 个动作,32.6% 是幻觉。
典型例子:任务是去 CarMax 找一辆 2022 年款特斯拉 Model 3,模型输出 TYPE 动作去填搜索框,但它的 selector 值在页面上找不到对应元素。日志透镜分析显示,这类幻觉来自模型「锁定了一个策略」:页面所有 Search、Explore、Find 并不存在,模型却生成了只引用虚构元素的动作。
探针能在动作写出来之前报警
论文在残差流的三个位置训练线性探针:prompt_end(模型还没吐出任何 token)、selector_start、selector_value_start。按 episode 切 70/15/15,得到 1,433 个训练动作、282 个开发、356 个测试。
prompt_end 的探针在第 18 层拿到 0.80 的测试 AUC——一个线性方向在动作被写出来之前,就能分辨出「这条会不会翻车」。到 selector_value_start 时信号更强,从第 0 层起就很清楚。
干预有效,解释无效
沿探针方向做表征 steering,数字很漂亮:α=40 时修掉 85.4% 的幻觉,只误伤 7.0% 的正常动作,最有效的向量取自 selector_start 的 L17。
但作者接着尝试「解释」,结论就变了。此前针对 RAG 幻觉的 ReDeEP 研究发现,残差流里幻觉常与 FFN 贡献压过注意力头输出有关。论文照此逐个放大各层 FFN 贡献(10 倍)、给注意力头注入高斯噪声,再做联合干预。
最好的组合是放大第 22 层全部注意力头、同时把第 22 到 24 层的 FFN 贡献减半——修好 8.9%,误伤 2.4%。加上第 27 层注意力头,修好率掉到 5.9%,误伤却飙到 27.6%。更麻烦的是被单独干预出来的幻觉跟自然幻觉不一样:放大第 15 层 FFN 会把选择器值改写成 VAR-1000000000 这种语法无效的乱码。
激活修补那边,动作列表确实是因果贡献者:在第 27 层恢复干净状态,能把被污染的概率质量救回 0.36,而选择器起点和任务描述两栏都不到 0.02。但知道它有影响,并不告诉你哪一部分在驱动模型改主意。作者据此判断:计算摊在多个组件和位置上,单点归因接不住。
换个格式就掉链子
最能说明问题的一组对照在附录里。同一个 steering 向量,只把候选动作列表从 JSON 数组换成带编号的 markdown 列表,效果立刻变差:
- α=10:修好率 43.9% 掉到 19.4%
- α=20:75.6% 掉到 41.9%
- α=40:85.4% 掉到 58.1%,少了约 27 个百分点
误伤率几乎没动,α=40 时两边都是 7.0%。作者的解释是:这个方向纠缠的是动作格式,而不是「幻觉方向」本身。
MI 的三个假设在这里失效
标准 MI 方法依赖的三个假设,在智能体场景里都不成立:
- 局部性:假设小范围组件能解释绝大部分行为,而这里是分布式计算,单点干预修不动。
- 平稳性:激活修补需要一条干净基线,但智能体每走一步页面就变、上下文就长。论文构造配对反事实,删掉选中的合法动作逼模型出幻觉,只有 38% 的情况真能造出来,且一步内轨迹就发散。
- 时间局部性:决策本该落在某个时间步上,实际上在生成之前就已经在残差流里成型并增强。
预训练 SAE 也没帮上忙。Qwen2.5-7B-Instruct 上的 BatchTopK SAE,字典 131,072 个特征、每 token 激活 k=64,用在第 27 层——因果恢复最高的那层——排最前面的特征所激活的 token,跟幻觉行为基本无关。论文把「面向智能体的 MI 基准还是空白」列为路线图第一条。
两条独立的旁证
一是 arXiv:2509.18970,一份 LLM 智能体幻觉的独立综述:它按智能体工作流的不同阶段给幻觉分了类,梳理了 18 类触发原因。另一支团队从分类学一侧给出的侧写,和主论文指向同一件事——Agent 幻觉是独立于普通 LLM 幻觉的一类问题。
二是 arXiv:2603.28744,Barin-Pacela 等人发表在 UAI 2026(PMLR 337:364-412)的工作 Stop Probing, Start Coding。他们用受控实验拆解 SAE 在组合式分布漂移下的失败,结论是瓶颈在字典学习而非推理过程。两支团队方法不同,却指向同一条规律:探针和 SAE 找出来的方向会跟着输入表面形式跑偏。
我的看法
这篇论文的价值在于它是一个少见的诚实结果。而最容易被误读的是:0.80 的 AUC 和 85.4% 的修好率看起来像「可解释性已经能修 Agent 了」,但那个修好率对提示格式敏感——改一下动作列表的写法,护栏就少掉近三成能力。而真实系统里改提示格式成本几乎为零:加几行 few-shot、把 JSON 换成表格,都可能顺手改掉它。这套探针更稳的用法是当观测器报警,而不是当纠正器改写输出。
再说方法论。0.80 AUC 说明模型内部存在一个「准备这么干」的可分方向,但可分不等于机制。这篇论文最锋利之处在于它没把可分当成找到机制,反而把「换个格式就失效」摆出来,提醒你很多被当成机制的线性方向,可能只学会了表面格式。
所以路线图上那几条——在智能体轨迹上重训 SAE、跨时间步追踪模型何时锁定策略、建面向智能体的 MI 基准——不是宏大收尾,而是失败清单逼出来的补丁。
Agent 的失败很少是某一行代码写错了,更常见的样子是:几十步里慢慢决定了要干一件网页上根本不存在的事。可解释性如果只在出错之后解释得通,那它对还没出错的那一步还是黑箱。