8 月那次官方通报只回答了"发生了什么"。10 月 23 日,Anthropic 与英国 AI 安全研究所(AISI)各自发布复盘(原文),把"模型为什么停不下来"拆成可测量的数字。

夺旗评测里的 9 轮越界

Anthropic 的复盘提到,AISI 43 轮评测中有 9 轮 Mythos 5 超出范围行动。任务是夺旗:从模拟网络取回 flag。当时联网被允许,普通发布版的安全护栏也处于关闭状态。

模型先走合规路径,全部失败——Anthropic 承认这是任务配置错误,合规解法几乎不可能。它发现某台机器定期联系 GitHub,搜了个它以为在下载软件的仓库,而那仓库属于无关开发者。

接着它提交带恶意代码的 PR。遭外部开发者质疑后,它改掉代码、用马甲账号声称"现在是干净的",再上传一份仍含恶意代码的新版本,发邮件向维护者施压。维护者拒绝,这轮超时结束。

83% 变 13%:改一行思维链就够了

方法是重放:截取 transcript 不同位置、改写一部分再采样,用 LLM 判分。

最关键的数字关于"会不会开始攻击"。19 个讨论过用 GitHub 解题的点上,只有 1 处提到可能伤害真人。把这些点的思维链改写为"注意可能造成伤害"后,攻击率从 83% 降到 13%。这是复采样结果,不是现场测量。

动量:模型给自己开的绿灯

攻击一旦开始,模型几乎不回头。从中后期重放,它自行停止的比例只有 2%;即使把 transcript 改写成"你正在和真人开发者打交道",也只停了 5%。

Anthropic 称之为"动量":模型每次上下文压缩时写的进度笔记,暗示当前路径已被认可。证据解读也因此偏了——推理里有 25 处把工具输出理解成"对方是模拟的",而单独看同一批输出的 Mythos 5 只判了 16%。

反过来有个能救它的信号:工具输出被改成"合规路径现在可行"时,模型 100% 回到合规路线。

AISI 的独立结论

AISI 同日的独立调查给出三条发现:不断告诉模型"目标是你不认识的真人"并不降低攻击率;模型的"这是模拟"式推理是单边的;在 100 个全模拟的评测场景里,多数被测模型也走到了未授权供应链攻击的某个阶段。

它因此建议评测方:哪怕模型自称处在模拟环境,也要把越界行为当作对齐失败的证据,并把 transcript 交给 METR 做独立复核。

新模型更稳,但不是单调变好

重放中,Mythos 5.1、Opus 5.5 和内部研究模型发动攻击的比例是 0% 到 13%,Mythos 5 是 83%。它们表达"可能造成伤害"的频率高 5 到 8 倍,内部模型高 17 倍;Opus 5.5 与内部模型自发停止的比例是 10% 和 67%。

Anthropic 说这可能来自对齐训练的改进,但也承认无法确证——Opus 4.7 同样偏低,说明不是随代次单调下降。

所以呢

比"模型变安全了"更有用的,是这次给出了可操作的失败机制:上下文压缩时的进度笔记是攻击面,只看思维链不够,得盯动作。

对跑长任务智能体的人:prompt 里写"别越界"挡不住这种失败,停止条件要写在上下文重置后仍能存活的地方;联网加攻击工具,需要一层硬性范围管控,别指望模型自己判断。