监控器的评测指标里,AUROC 几乎成了默认答案。但一组来自三个开源模型的实验显示:拿 AUROC 挑出来的「好监控器」,很可能只在问题彻底爆发之后才出声。
这件事被摆在了台面上。arXiv 上的《Detection Is Not Early Warning: Evaluating Token-Level Alarms on Language Model Failures》(https://arxiv.org/abs/2611.16803)由 ETH Zurich、ETH AI Center 与 Solaris Research 的研究者共同完成,已被 NeurIPS 2026 的可解释性研讨会接收。它的核心主张是:语言模型的很多失败都从某一个 token 开始,论文称之为 onset,而监控器其实在做三件被混为一谈的事。
三个任务,被 AUROC 压成了一件
论文把监控拆成三层:给已经完成的回答打一个最终判定,叫响应级分类;在失败已经进行中时报警,叫失败检测;在失败开始之前就报警,叫预警——只有这一档还留有中止、改写或重采样生成的余量。
作者提出 Prewarn 协议:先在验证集上把阈值校准到应用自己选定的错误率,再跑监控器,最后把每一次报警相对于 onset 打分。配套度量里,Warn_256 指 onset 前 256 个 token 的窗口内被标记的比例,Early 指第一处报警早于 onset 的回答占比,Lead 是第一处报警与 onset 的中位差,负值代表是预警。
同样 0.999,差别可以很大
最扎眼的一组对照来自 token 上限规则——它只读回答的长度。Apertus 上它的 AUROC 是 0.9990,Llama 上 0.9988,Mistral 上 0.9995,后两者还是三个模型里最高的响应级分数。可同一张表里,它的早期预警率是 0.000,窗口标记比例是 0.000,Lead 分别是 +3276、+2958 和 +3688 个 token。也就是说,它对「这段回答已经废了」几乎无所不知,对「它什么时候开始废」一无所知——报警时刻比 onset 晚了三千多个 token。
论文还做了更极端的构造:四个打分器 AUROC 几乎一致,落在 0.9980 到 0.9998 之间,warning coverage 却相差数倍。把分数打乱后,warning coverage 可以到 0.52 到 0.67,早期预警率到 0.95 到 0.96;而只保留每个回答的最高分时,两者分别掉到 0.000 和 0.01 到 0.02。同样的 AUROC,藏着完全不同的预警能力。
作者也报告了响应级指标自身的天花板:每一层的 AUROC 都在 0.96 以上,各层之间的准确率差异不到 3%,但表现好的层与表现差的层之间,warning coverage 差出七倍。用 AUROC 排序与测试集上 warning coverage 排序的一致性只有 τ=0.33,而改用验证集 warning coverage 来选,一致性到 τ=0.94。
探针读得出,读不出「早」
作者用激活上的线性探针做案例研究,模型是 Apertus-8B-Instruct、Llama-3.1-8B-Instruct 和 Mistral-7B-Instruct,数据来自七个来源的三千多个 prompt,每个 prompt 采样十份回答,判定由 Claude Sonnet 5 打标再人工复核。
结果是分裂的。Apertus 和 Llama 上,探针在多数退化回答里抢在 onset 之前报警,第一处报警的中位数比 onset 早 137 到 232 个 token,窗口内标记比例是窗口前的 1.4 到 3 倍。Mistral 上则不然——每个探针的早期预警率都不到一半,第一处报警的中位数落在 onset 之后,而失败检测率仍有 0.99。
在探针下方加装 rank-16 的 LoRA 适配器,三个模型上的 warning coverage 都翻了一倍以上,早期预警率却几乎没动。表里看得很直白:Apertus 的冻结探针窗口标记比例 0.186,配上适配器变成 0.523,早期预警率只从 0.658 挪到 0.695。作者的解释很克制——适配器加的多半是更早、更远离 onset 的标记。
换到留出源上,这套能力还会缩水。5% 误报预算下,冻结探针在 Llama 和 Mistral 上的早期预警率分别掉到 0.20 和 0.12。
换到别的赛道,同一个毛病
这类问题并不只在退化检测里出现。Itkin 在另一篇 arXiv 论文(https://arxiv.org/abs/2606.12476)里把幻觉 onset 检测写成最快变化检测问题,给出 Lorden 下界:误报率 0.01 时检测延迟的下界约 1.3 个 token;而按召回诚实的口径算,实际延迟是 56 到 66 个 token。他的结论和这篇几乎同题:分类指标掩盖了这种延迟结构,序贯分析才能让它变得可测。
Kavumba 等人(https://arxiv.org/abs/2604.03962)从另一头进攻:既然边界检测难做,不如改成预测未来续写会有多有害。其流式护栏在 QWENGUARDTEST 的 response_loc 任务上达到 97.5 的 F1、95.1 的召回与 92.6% 的准时干预率,作为参照的 Qwen3Guard-Stream-8B-strict 基线是 95.9、92.1 和 89.9%。这篇论文引用的另一个例子也指向同一处:一款脓毒症预测模型整体 AUROC 有 0.87,但在脓毒症标准达成之前的预测上只有 0.62,在临床识别之前更低到 0.47。
值得抄的部分
Prewarn 的门槛并不高:标出 onset,校准阈值,按时机而不是按最终分数打分。难的是标注,以及愿意承认「我们之前报的 AUROC 0.999,并不能说明这个监控器来得及做事」。
代码与带阈值的探针都已放出(https://github.com/swiss-ai/degeneration-probe)。下次看到自家监控器的评测表,先找找有没有「提前量」这一列——如果只有 AUROC 和准确率,那多半是在用终局视角给一个过程能力打分。