2026 年 5 月,文学杂志 Granta 收到一篇小说投稿,问 Claude 一句「这是不是 AI 写的」,然后被同行嘲笑太天真——一篇文章的作者身份,不该靠一次模型问答来定。半年后,一篇论文给这件事补了个更冷的注脚:Granta 并不天真,只是用早了几个月的模型。

论文的设定朴素得有点冒犯:给一段文本,加一句零样本提示,不给候选名单,不联网,不要工具,不附写作样本,然后问三个层层收紧的问题——是人写的还是机器写的?如果是机器,哪家实验室写的?如果是人,具体是谁?Claude Fable 5.2 在公开评审里认出 39% 的作者,在 90 篇 Nature 系列评审上认出 78%;Opus 5.5 和 Gemini 4 Argon 对 Anthropic、OpenAI、Google 三家生成的文本有 98% 能报出正确实验室,换成另外八家实验室则最高只有 35%。

论文全文见 arXiv 2611.26216 (https://arxiv.org/abs/2611.26216)。

决定认不认得出的,是曝光量

真正反直觉的部分不在准确率,在梯度的形状。论文用 Reddit 活跃度切了五档:完全没有活动历史的账号,认出率 2.1%;发过 1 到 50 条的 12.8%;51 到 200 条 33.1%;201 到 500 条 53.6%;超过 500 条的 68.9%。另一条线用 Goodreads 累计评分当知名度代理——没有作者主页的故事 4.2%,评分过 10k 的作者 100%。

这说明模型不是在「分析文风」,而是在回忆自己读过什么。论文自己的措辞很直接:模型只依赖参数化知识,对它完全不认识的作者,成功率不到 2%。换句话说,一个人能不能被认出来,主要不取决于他怎么写,而取决于他写过多少、公开在哪。

模型可以先告诉你它有多了解你

更实用的一层是自评。让模型只报一个 0 到 3 的「我有多了解这个人」,这个自评分预测归属准确率的曲线下面积是 0.89,高于用发帖活跃度预测的 0.78。模型报置信度 25% 以上的回答里有 87% 是对的;同时它系统性低估自己——公开数据上平均自报置信度 17%,实际准确率 27%。按置信度筛一遍,高置信子集几乎可以直接当结论用。

防御这一侧则要分开看。用 AI 把文本改写一遍确实有用:私人评审上 Opus 5.5 的归属准确率从 41.2% 掉到 16.1% 和 15.1%,但论文点明改写只挡表层线索,内容本身的线索还在,对模型本来就熟的人效果更差。指望模型拒答基本落空——拒答主要出现在不足 2% 的文档上,Anthropic 一侧拦下 Fable 5.2 的 20 篇公开评审、3 条 Reddit 评论和 1 篇论文,Opus 5.5 是 28 篇和 2 篇。

还有一个更值得警惕的对称性:认出和模仿用的是同一份记忆。论文让 Opus 5.5 模仿 569 个账号的写作风格再让它辨认,对 166 个「自评熟悉且能从真实评论认出」的账号,它有 74 个(45%)仍被判成目标;而对 219 个熟悉却认不出的账号,只有 9 个(4%)。

三条冷下来的注

第一,私有评审那 398 篇来自论文作者自己:四位共同作者加上 UMD CLIP Lab 的两名博士生,一共 6 个写作者,投过 26 个双盲的 ML 与 NLP 会场。56% 这个数只覆盖这 6 个人,论文自己也在正文里说明,规模更大的匿名评审样本要等后续更新。

第二,两个口径别混。摘要里的 39% 对应附录表格中「未被判为 AI」的 789 篇(39.3%);若把全部 1,559 篇公开评审算进来是 21.4%。这正是论文自定的口径——公开评审默认只在未被判为 AI 的文本上报告,图注也写明打印的数字是非 AI 文本的准确率。剔掉 AI 判定文本后,公开评审的准确率对每个模型相对提升 75% 到 87%,Opus 5.5 从 15% 升到 28%。两个数都是论文自己的,只是分母不同。

第三,比对对象与作者团队有重叠:论文拿来对照的 Pangram 4.1 和 IdeaLens,作者与本文有交集,Bradley Emi 在 Pangram Labs,Rishanth Rajendhran 是本文共同作者。论文做了自审并报告「没有检测器在自己实验室的文本上更准」,这对论文是加分项,但读者仍该知道对照面长什么样。

换个域再看一遍

机制层的结论有独立团队在别的域上复现过。CMU Africa 的 Gloire 与 Mitra 测的是双盲评审 (https://arxiv.org/abs/2608.05157):给定 5 个同领域候选作者,Qwen2.5-72B 的 top-1 准确率 42.34%,人类研究者只有 11%,平均倒数排名 0.623 对 0.36,在 50% 置信阈值下候选集收到 1.95 个、仍有 61.6% 的情况保留真作者。Lermen 等人的大规模线上去匿名化工作 (https://arxiv.org/abs/2602.16800) 则做到了 68% 召回、90% 精度,但那是靠联网加候选池堆出来的——本文明确把「不需要候选名单和联网」当作与前作的差别。

反方向也有提醒。Barkhordar 与 Thapa 在代码归属上发现 (https://arxiv.org/abs/2609.30048),15 组模型与基准的组合里平衡准确率只有 49% 到 58%,而两两对比的正确率与「评审者自己的方案有多长」的相关系数高达 0.93;剥掉文档字符串、注释、类型标注和局部变量名之后,12 个重测结果里有 10 个掉回随机水平。零样本归属里有多少是表面特征,值得同样拿来追问人类作者这一侧。防御侧,Fisher 等人早就在做「改写」这条路 (https://aclanthology.org/2024.naacl-long.87/),但那类方法挡不住更近的模型。

所以呢

Gloire 与 Mitra 那句结论值得抄下来:双盲评审应当被理解成概率性保障,而不是匿名性的保证。放到更日常的场景,这篇论文给的判断标准其实很朴素——决定模型能不能认出你的,不是你的文风,是你留在公开语料里的字数;所以最省事的防御不是改写句子,是少留文本。

代价是,你没法知道模型到底读过你多少。你只能自己问它——而它答得相当诚实。