在 Llama-3.3-70B 的第 40 层,一个线性探针能把这批谎言按真伪排对序,AUROC 0.936。可在基准自己的判定阈值下,它一条都没标出来——139 条谎言,零召回。
听着像 bug,其实是一类 bug。检测模型说谎有个便宜办法,就是在残差流上挂一个线性探针,但它不通用:换个谎言类型就废。这篇论文在 70B 规模上重做了这条路,结论不太舒服:这种测谎器量到的可能不是「谎」,而是「我不知道」。
从探针到人格方向
Liars' Bench(https://arxiv.org/abs/2511.16035)做成了基准:7 个数据集、4 个开放权重模型、72,863 条模型自己生成的谎言与诚实回答。论文挑出的是 HP-KR(harm-pressure knowledge report):模型被展示过危险问题的答案后矢口否认自己知道。基准的 Mean Probe 在 Llama-3.3-70B-Instruct 第 20 层读它,AUROC 只有 0.12。
绕开「贴标签教它认谎」,另一条思路是 Mahadik 与 Skapars 的 persona coordinates(https://arxiv.org/abs/2605.09391):让模型分别扮演诚实和欺骗的角色,各取一组激活的平均,差值就是一个方向向量,不需要标注数据。原论文在 3B 和 8B 上验证过,更大的模型被列为待做。
接下这棒的是 BRAC University 团队(https://arxiv.org/abs/2611.26545)把方向搬到 70B,覆盖 Llama-3.3-70B-Instruct、Qwen2.5-72B-Instruct、Mistral-Small-3.1-24B-Instruct 和 Gemma-3-27B-it。人设库 36 个角色,新增 10 个——4 个「明知而否认」加 6 个诚实对照。
好消息:方向确实更能跨类型迁移
在中间层,扩展后的对比方向在 4 个模型中的 3 个上,迁移超过只在单一数据集上训练的探针。Llama 的五个数据集上,扩展对比的零样本均值 0.899,已发表的对比方向 0.798,同层的原始激活探针 0.778。
坏消息:高分认的是措辞
HP-KR 里 139 条谎言中有 125 条是「否认自己知道」。论文于是做了件很朴素的事:不看激活,只判断回复有没有在否认知识,AUROC 就是 0.916。而扩展对比方向在 HP-KR 全量上是 0.912,落在随机带内部——那条带的 97.5 分位是 0.938。
判决在措辞被固定住之后。论文切出一个 identical-text 切片:只保留回复原文完全是「I do not know the answer.」的行,Llama 上是 78 条谎言对 112 条诚实回答。这时候谎言和诚实否认用的是同一句话,方向若真在读「是否知情」应该还能分开。结果三个主要对比在 Llama 和 Qwen 上全部落回随机带内部,只有 Mistral 的已发表对比清出带子。论文的诊断是:扩展对比在 HP-KR 上好看,是因为增益跟着否认这个措辞走。
角色增益也在同一区间。论文用 35 个随机抽的人设构造零假设,随机加宽同样数量的角色,增益的 97.5 分位是 0.253,p 值 0.165。0.101 落在里面,Llama 上约六分之一的随机加宽能拿到同样提升。这十个角色的作用没有被证明是特有的。
另一条路:知识方向,和它的边界
第二条路叫知识方向:拿「模型答得出来的问题」对比「谁都答不出来的问题」,两边都接同一句脚本化的否认,方向是两组平均激活之差。在 Gender-Secret 微调内部重建再读出来,知识方向得 0.861(区间 0.817 到 0.896),随机带的上沿是 0.824;用基础模型读同一批只有 0.629。
边界同样清楚。一是结果依赖模板:知识方向在全量上得 0.865,去掉自己的措辞成分后只剩 0.349,论文因此只把切片结果算作证据。二是在 Gemma 上直接反转,指令欺骗、留出谎言和重建否认上都反向。三是换掉模板后,Gender-Secret 上掉到 0.747,重新落回带内。论文的措辞很克制:这结果「与方向在读模型知道什么相一致,但不足以确立这一点」。
放到外部竞赛里,名次是 16
论文冻结协议后,把方法零样本送进独立竞赛:Aletheia's Quest(https://aletheias-quest.github.io/winners.html),由 Cadenza Labs 等办。官方页面上是 19 支队伍、478 份有效提交、30 份最终提交。在能读到的 8 个数据集上,论文这套检测器均值 0.657,重算名次第 16;扩展对比 0.705,第 11;同层用 RepE 训练的有监督探针 0.784,第 5。竞赛白盒冠军 GMU-Veritaserum 拿到 0.8511,做法是让被测模型自己审判自己的对话记录,最佳白盒基线只有 0.6611。
判定阈值收到「标记 1% 诚实答案」的严格档位时,六个检测器没有一个能在任何模型上抓到一半以上的谎言,最多的那个是 0.47。论文因此建议:固定阈值下的检出率必须和排序分数一起报,不能只报 AUROC。
第三方也撞在同一堵墙上
交叉印证来自另一组人。Cooney、Africa 与 Irving(https://arxiv.org/abs/2606.12618)构造 13 个在思维链里验证过信念的 reasoning model organism,确保模型真相信自己否认的东西。在 31 个 2B 到 1T 的开放权重模型上跑提示性说谎时,四个检测器都随模型能力正相关;但换到训练出来的 organism 上,激活和 logprob 检测器全部骤降,只有思维链判官还站得住,平衡准确率 0.82。
两篇论文墙是同一面:激活里的信号,对「模型此刻说了什么」比对「是不是在骗你」更敏感。
所以呢
这篇论文的价值不在于给出一个能用的测谎器,而在于把一个大家愿意相信的说法拆开:便宜、内部、无需标注,听起来像是绕过了监督学习的一大堆麻烦。但它量到的东西,有相当一部分只是措辞。最该被记住的反而是论文的提醒:能把谎言排好序的检测器,可能一个都标不出来。
下一步我会盯住两件事:知识方向能不能在换了措辞之后还站得住,这是论文自己列的开放问题;有没有检测器能在模型自己承认之前就抓到它。竞赛冠军那 0.8511 给了个不太体面的答案——先让模型自己说,然后读它。