2024 年起,把开源大模型的「拒绝」行为从公开权重里拆掉,就不再需要端到端微调:几百条对比提示词、一张 GPU、改几个权重矩阵,模型就不再拒绝有害请求。全自动工具公开可用,消融后的模型直接挂上 Hugging Face。真正悬着的问题是:新模型是不是越来越难拆?ARA 方法的作者在 pull request 里断言方向类消融在新模型上越来越失灵——但那只是单个来源的传闻级证据。一篇 11 月 13 日提交的单作者 arXiv 预印本(2611.17846,76 页、34 张表,尚未同行评审)用五组新旧模型对给出了 held-out 判分的答案:并不均匀。
五组对照,一条流水线
研究选取五组升级对:Qwen2.5-32B→Qwen3.8-27B、Gemma-2-27B→Gemma-4-31B、OLMo-2-32B→Olmo-3.1-32B、Mistral-Small-2409→Mistral-Small-3.2,外加小参数量组 Qwen2.5-7B→Qwen3.5-4B。每组在 Heretic 2.0 里被三到四种方向类方法(DiM、MPOA、SOM,小对加 J-space)和优化类 ARA 编辑——ARA 现在是该工具的默认方法。所有方法共享同一套提示词、100 次 TPE 搜索预算、首 token KL 散度 0.1 的上限和同一条选择规则。判分用 972 条未参与搜索的留出有害提示(JailbreakBench、XSTest、StrongREJECT、HarmBench,加作者自编的 200 条「代码当武器」题库),由 WildGuard 自动判定是否拒绝。「变难」的定义很朴素:新模型编辑后仍拒绝的比例更高。
五组对,五种答案
方向类编辑后,新模型多留出的拒绝从 -1.2 个百分点(Mistral Small,反而更容易)到 +36.9 个百分点(OLMo)。把逐次运行方差算进来,两种方差模型下都显著排除零的只有 OLMo 一组;Qwen(+10.7)、Gemma(+4.7)和小对(+17.3)的区间都跨零。ARA 的图景同样分裂:Qwen 组 +34.4,但加入运行方差后区间是 -5.9 到 +53.1,论文自己标注为不确定;Gemma 组却是 -26.0——优化类方法在新 Gemma 上反而更好拆。合并四组的方向类效应是 +12.8,区间 [-13.9, +39.5];ARA 合并 +1.3 [-38.3, +40.8]。组间异质性 I² 从 20% 到 89% 不等,取决于尺度与方差模型。
更扎眼的是脆弱性。Gemma 的方向类增加完全来自作者自编的代码题库(该题库上 +49.3,公开题库上 -6.8,方向反转);小对换一个随机种子,ARA 的代际效应从 +14.2 直接归零(种子改变留出拒绝的中位幅度 9.4 个百分点、至多 25.2);Gemma-4-31B 的 DiM 干脆编辑失败——搜索在 30 倍 KL 预算内无法把 dev 拒绝压到 98% 以下,选出的模型拒绝率不低于原模型。同一张表里,Qwen、Mistral 和小对的原模型本来就比前代更爱拒绝(+13.1、+17.9、+16.4),Gemma 和 OLMo 没有——要不要扣除这条基线,又会改变部分结论的读法。
顺带捅破的两层窗户纸
其一,工具优化的信号并不可靠。Heretic 用 33 个关键词在 100 token 窗口计拒绝,与 WildGuard 判分平均只差 0.5 个百分点,但逐模型平均相差 7.0 个百分点、两个方向都有,Cohen's κ 从原模型的 0.73 跌到消融后的 0.39。其二,KL 上限不约束能力损失:42 个主模型的能力变化在 -4.2 到 +0.9 个百分点之间,与选中试验的首 token KL 无关(Spearman ρ=-0.03),与全文 teacher-forced 散度相关(ρ=-0.48),两处最大损失都发生在预算之内。论文还提醒,结论只覆盖非思考模式的贪心解码;而八个社区公开消融版里,四个比本研究选出的模型拆得更干净(Qwen3.8-27B 上 1.4% 对 14.0%),代价是散度更大——预算内的残余拒绝是上界,不是下界。
所以呢
这篇论文对「代际问题」的回答是:取决于模型对、方法、预算和度量,不取决于代际本身。只审 OLMo 会得出「新模型抗拆」,只审 Mistral Small 会得出相反结论。作者给出的最小审计协议值得抄下来:至少一种方向类加一种优化类方法、每格两个以上种子、多来源留出提示、至少两个自动判分器、多个散度预算,外加对判分歧义样本的人工抽检。成本并不夸张——单张 H200 上方向类搜索中位 18 分钟、ARA 81 分钟,31 次计时搜索共 18.1 小时;加一个种子近乎翻倍,但不加种子就是在赌。对开放权重安全的审计而言,「哪一代更安全」是个错误的问题,能回答的只有「哪一对、哪种方法、多大预算、用什么测」。论文原文见 https://arxiv.org/abs/2611.17846 。