上下文压缩是长上下文推理省算力的主战场。ICAE 把整篇长文压成几个 memory slot,ARC-Encoder 用连续表示直接替换 token embedding。这条路线上的方案都把“还原语义”当唯一目标,没人问过压缩之后模型的脾气还在不在。11 月 4 日提交的一篇 arXiv 论文(编号 2611.06380,作者是加拿大 Algoma 大学的 Anthony Nguyen 与 Wenjun Lin,标注发表于 Canadian AI 2026)给这本账加了一行:压缩本身会削掉拒答能力,而且削得很安静。论文原文见 arXiv 2611.06380。

塌掉的不是语义,是拒答

论文的实验把整条用户请求编码进压缩表示,再把原始 token 从解码器输入里拿掉,强迫模型只靠压缩记忆作答。作者说这是刻意设计的“诊断性压力测试”,对应上游只交付压缩表示的压缩优先管线,而不是常规检索增强那种文档被压、query 仍留在 token 上下文里的形态。

数字(自建 624 条提示,一半留作评测):Mistral-7B-Instruct-v0.2 配 ICAE,有害提示的拒答率从 62.82% 掉到 10.9%;LLaMA-3.1-8B-Instruct 配 ARC 从 96.15% 掉到 36.54%;Mistral-7B-Instruct-v0.3 配 ARC 从 20.51% 掉到 8.97%;LLaMA-2-7B-Chat 配 ICAE 从 97.44% 掉到 85.9%。换到 HarmBench 与 AdvBench,方向一致:Mistral-7B-Instruct-v0.2 在 HarmBench 上从 57.5% 掉到 16.5%,在 AdvBench 上从 62.69% 掉到 20.38%。ARC 那组的 LLaMA-3.1-8B-Instruct 在 HarmBench 上也从 84.0% 掉到 47.5%。

真正让人停一下的是同一张表里的另一列。安全提示上的拒答率几乎没动:四行里三行是 0.00 保持 0.00,LLaMA-2-7B-Chat 那一行反而从 0.00 涨到 3.2。也就是说压缩没有让模型变成“什么都敢答”,它精准地只削掉了该拒的那一半。只盯过度拒答的评测脚本,看不出任何异常。

为什么塌:重建目标不奖励拒答方向

作者的解释是训练目标错位。ICAE、ARC-Encoder 这类编码器只为还原原文训练,损失函数里没有任何一项要求它保住拒答信号;而拒答行为在解码器内部被 Arditi 等人证明近似由一维方向中介(覆盖 13 个开源对话模型、最大 72B)。语义重建是信息论目标,拒答是几何属性,两者不在一个层面上。机制证据是解码器残差流上的线性探针:原本会触发拒答的有害输入,压缩后沿拒答方向的激活在所有层都塌成负值,轨迹贴到“不拒答”那一侧。

这跟 2024 年 EMNLP Findings 上 Xu 等人的工作能对上:他们发现剪枝和量化在保持困惑度的同时仍会改动毒性与偏见等安全行为,量化大体保住了偏见,剪枝退化得快。一个是参数级压缩,一个是上下文级压缩,两拨不同的人、不同的时间,指向同一件事——压缩不只是成本,也有副作用。

论文留了三个问号

其一,全文把“重建保真度高”当前提。摘要写的是“尽管重建保真度很高”,但论文里没有任何一张表报告重建质量:没有困惑度、没有 BLEU/ROUGE、没有压缩倍率。对照两篇被引的方法论文,ICAE 自己写的是 Llama 上 4× 压缩、约 1% 额外参数,ARC-Encoder 写的是通常输出少 4× 或 8× 的连续表示。压缩倍率这个关键坐标,得自己从被引论文里翻。

其二,正文写“相对降幅最高 78%”(指 Mistral-7B-Instruct-v0.2 在 HarmBench 上),但按它自己表 2 的 57.5% 到 16.5% 算约 71%。同一句里 ARC 那半句“超过 40%”,按表 2 算是 43.45%,倒是对得上。

其三,论文脚注给出的代码地址 github.com/ant-8/Context-Compression-Alignment 目前是空仓库:GitHub 接口返回仓库大小 0、内容接口 404、分支列表为空。复现这条路暂时不通。

修法有效,但只修得了一半

Memory Steering 不重训模型,只在压缩记忆上做一次干预。转向量靠反事实构造拿到:给每条提示配一个“这违反了你的 AI 安全准则”的变体,两份记忆均值的差就是方向;再用逻辑回归逐槽判断哪一格存了不安全意图,按强度 α 注入,避免安全提示上过度拒答。

数字可观:AdvBench 上,Mistral-7B-Instruct-v0.2 从基线 20.38% 一路升到 α=2.0 时的 81.15%,LLaMA-2-7B-Chat 从 90.96% 升到 100.00%。但三个代价写在同一篇论文里:只能修定长压缩,ARC 这种变长池化表示用不了,而恰好 ARC 那组塌得更狠;响应质量会掉,安全提示上的胜平率 LLaMA-2 从 α=0.5 的 85.9% 降到 α=2.0 的 79.5%;旋钮还会冲过基线,Mistral 的 AdvBench 拒答率被推到 81.15%,已经高于它未压缩时的 62.69%。

还有个细节值得记一笔:ARC 压缩下的 Mistral-7B-Instruct-v0.3 拒答率只剩 8.97%,评测集里只剩 14 个正例,直接训探针会因类别极度不平衡而不可靠——这正是作者改用反事实构造的原因。压缩把证据本身也压没了。

所以呢

给要上压缩的团队一条能直接执行的结论:安全评测不能只在未压缩基线上跑,压缩后的模型要单独过一遍拒答评测,而且要盯有害侧,不能只看良性侧的过度拒答。上下文压缩的评测表里,“重建保真度”和“拒答率”应该并排放,而不是默认前者稳后者就不变。

至于这篇论文本身,它的价值不在“压缩会破防”这个结论有多新,而在于把一个一直被当成纯工程问题的选择,重新放回安全问题的范围里。压缩省下的每一分算力,都在问一个没人问过的问题:省掉的到底是什么。