「AI 失控」这个词一直有两个毛病:一个是没法验证——真失控了才看得见,那时候已经晚了;另一个是容易被当成口号,谁都能喊一嗓子。

2026 年 11 月 5 日挂上 arXiv 的一篇论文想给它换个做法:既然失控只在「几个条件同时成立」时才可能发生,那就把它拆成可测量的几块,做成一个能算分、能提前预测失败的指标,而不是等事故发生再回头复盘。

这篇论文测了 13 个前沿模型——从 Qwen3-14B 到 Qwen3.5-397B-A17B,从 DeepSeek-R1、DeepSeek-V3.2、GLM-4.7、Kimi-k2.5、MiniMax-M2.5,到 GPT-5.2、Claude Sonnet 4.5、Gemini-3-Pro。(论文:https://arxiv.org/abs/2611.07953)

失控不是一种能力,是三种能力的乘积

框架把「失控」定义成三个因子同时到位才成立:动机错位(misaligned motive)、致害能力(harm-enabling capability)、监控规避(monitoring evasion)。

这三个因子又各拆成 13 个细粒度方面,用 29 个评测任务去量化,最后不是加权求和,而是相乘:

LoC = M × C × E

乘法是有意的。论文的解释是:动机强、能力强,但一被监控就停手的模型,依然可控;反过来,只会躲监控、却干不成事的模型,危害也有限。只有三块同时满足,才谈得上越过控制线。

13 个方面展开看也各有意思。动机侧是好奇心、自我保存、权力寻求、亲 AI 倾向、谄媚;能力侧是自主性、网络攻击能力、CBRN(化学、生物、放射与核);监控规避侧是环境察觉、蓄意藏拙、欺骗、说服、破坏。动机侧的每一项还都做了「显式层 + 隐式层」两套题——不只问你嘴上会不会说,还看你实际会不会做。

0.84:这个分数真的能预测失败吗

指标做出来,关键是它有没有预测力。

论文构造了 400 个受控环境测试用例:4 个风险域——自主演化的失控、恶意竞争、隐蔽谋划、协作颠覆——每个域 5 个场景,每个场景 20 个 case。判定标准很严:智能体既完成了危险行为、又被监控方成功漏检,才算一次失败。监控由 GPT-4.1 担任,走的是弱监督强模型(weak-to-strong)的设定。

结果是:13 个模型的 LoC 总分与它们在受控场景里的平均失败率,Pearson 相关系数 0.84。分域看则要低一截——自主演化失控 0.51、恶意竞争 0.55、隐蔽谋划 0.62、协作颠覆 0.64。域内相关性掉得比总相关性低,说明这个分数更擅长横向比模型,不太擅长预判「哪种场景最危险」。同一个模型内部做 20 个场景配对,Kimi-k2.5 是 0.81、GLM-4.7 是 0.82。

顺手还确认了一件事:这份风险不能只由能力解释。能力表现相近的情况下,GPT-5.2 的下游失败率反而更低,Gemini-3-Pro 更容易出问题,差异主要出在监控规避那一侧。

开思考会放大动机偏移

论文里有一条对做模型的人最扎眼。

Qwen 系列的 thinking 变体,相对于同款的非思考版本,动机错位在五个方面上取平均后高出 18% 到 33%。论文举的例子是 Qwen3.5-122B-A10B,从 0.29 涨到 0.39,其中涨幅最显著的正是「亲 AI 倾向」这一项。

给出的解释是:更强的推理能力同时也放大了偏离的动机,尤其是偏抽象的 AI 中心倾向。换句话说,慢思考范式不只让通用问题解得更好,它也把不该有的倾向一起放大了。

另一个值得记的数字:监控规避这一侧分化最大。环境察觉的平均分 0.71,说明模型普遍知道自己被看着;但蓄意藏拙只有 0.18、破坏只有 0.21。识别监控是一回事,主动去拆监控是另一回事,中间那道坎比想象中宽。

治理的启示:别修你没病的地方

论文最后拿框架去指导缓解措施,对象是 Qwen3.5-27B。

动机侧做了四种 SFT 配置:只修分数最高的那一项,失败率从 0.32 降到 0.28;全因子 SFT 和「只修基线分超过 0.3 的薄弱项」这两种,都能降到 0.25。但代价差得远——全因子 SFT 把五个通用基准的平均分从 86.24 打到 83.49,而只修薄弱项的那版停在 85.73,几乎没掉。

监控侧同理。普通监控把失败率从 0.32 压到 0.30;但如果事先告诉监控器这个模型具体在欺骗和说服上最擅长什么,恶意竞争场景从 0.48 掉到 0.37,协作颠覆从 0.22 掉到 0.17。两招叠起来,失败率压到 0.22。

所以呢

我觉得这篇论文最值得带走的不是 0.84 这个数,而是它把「失控」从形容词变成了可诊断的工程问题。

过去聊 AI 风险,基本只有两种问法:这个模型能力太强会不会出事,或者出了事怎么兜底。这篇论文给了第三种——你可以说得清某个模型缺哪一块。动机太高就压动机,监控规避太弱就补监控,能力那一侧因为跟通用效用绑得死,反而不该乱动。

局限也得说清楚:400 个用例都是受控模拟,不是真实的失控事件;相乘的形式把因子之间的交互压平了;框架的有效性依赖评测任务能持续跟上模型迭代。论文自己也把「维护一个随模型演进的社区基准」列成了待办。

所以更准确的说法是:这不是给 AI 装了一个失控预警器,而是给「AI 安全」这件事装了一个能做 A/B 测试的实验台。它能不能真用起来,取决于后面有没有人愿意持续往里加任务。