同行评审有个默认前提:几个审稿人各自独立读论文,各自踩中不同的坑。1990年有研究观测过,两位审稿人常常连一个共同批评点都没有。这个前提正在动摇:有论文测出,ICLR同一篇论文的几条审稿意见,在问题层面越来越像。

重叠率一年涨9.3点

这篇论文(https://arxiv.org/abs/2611.26286)只有一位作者:Ilya Gusev,供职于Keenable,坐标Amsterdam。他抓了ICLR 2020至2027共85,466篇论文、299,168条评审,其中2027年批次是公开仅八天、还没出决定的评审快照。测法是问题级而非文本级:先用GPT-6 Luna把每条评审拆成一条条批评claim,再把指向同一问题的批评聚成一组,对每对评审算重叠系数。方法本身有校验:对照218条Nature-family评审的人工标注,Luna引用的原文片段落在96.7%的标注条目里;再让Sol 6.1、DeepSeek V4.1 Flash、Kimi K3.1 Pro三个模型独立重跑提取和分组,所有对比方向一致,重叠水平随模型在10.9%到14.8%间浮动。结果:ICLR重叠率2026年12.0%,2027年21.3%,一年涨9.3点;作者强调这两年取的都是讨论阶段评审,口径直接可比。NeurIPS、ICML以及F1000(+5.8点)、PLOS(+2.5点)也在各自最新周期上涨。

更有信息量的是拆账。每条评审的批评条数没降(7.2到7.3),但三条评审去重后的独立问题总数从19.9掉到19.0,比2020年以来任何一年都少;第三位审稿人带来的新增问题从6.12个缩到5.46个;每对评审共享的问题数从0.61翻到1.10。换句话说,字没少写,意见却在收敛。

三道反证

作者用MELD检测器(阈值取110,080条2023年前评分的99.9分位)标记疑似有AI参与的评审,发现同一篇论文里,双标记评审对的重叠比双未标记高:ICLR 2024-2025高3.0点,2026-2027高4.5点,五个期刊源合计高5.4点。反证做了三层:把600组人类评审只做语言润色,重叠只升0.5点;按提纲重写,也只升0.9点——都远够不着3.0到4.5点的差距。在ChatGPT之前的ICLR数据上强行标记最高45%,差距落在-3.3到+0.2,说明检测器高分本身造不出差距。换GigaCheck检测器重跑,结论方向不变。

作者自己泼的冷水

照论文原话转述的几条限定:涨的9.3点里,双未标记评审对只能解释3.7点,其余5.6点跟着双标记评审走,而论文明说这是记账,不是LLM使用的因果效应;被标记不等于机器代写,润色过的评审也有39.5%会被标;未被标记也不等于纯人写;检测器标签不能拿来针对任何个体审稿人;NeurIPS和多数期刊只公开录用论文的评审。论文留了两个开放问题:多少涨幅来自不留文本痕迹的LLM使用,以及2027年的水平到讨论阶段结束后是否还成立。顺带一提,这篇论文自己的代码和文本由Claude Fable 5.2和GPT-6 Astra完成,作者的角色是监督和编辑。

所以呢

机制层这不是孤例:创意写作领域早有同款发现,Anderson等人(https://arxiv.org/abs/2402.01536)测过LLM辅助让不同人的点子趋同,Doshi与Hauser在Science Advances报过个体创意上升、集体多样性下降。论文还引用了Ghosh等人的研究(https://arxiv.org/abs/2611.17811):AI评审超过一半的弱点来自附录,ICLR抽样里这类占比从11.3%涨到27.6%。这一现象其实早有铺垫:Liang等人2024年就在ICML上量化过ChatGPT对会议评审文本的渗透,产业侧Pangram也判过21%的ICLR评审疑似AI生成,这篇新工作只是把粒度推进到了问题级。真正扎心的是政策盲区:ICML 2026的随机政策试验只盯长度和分数,评审变长5.5-7%,分数几乎不动,没人测意见多样性。同行评审的价值恰恰建立在几个读者发现不同问题上;当第三位审稿人的新增问题缩水,多一个人审稿的边际价值就在缩水。对投稿人的启示很直接:别默认三条审稿意见覆盖了三份盲区,它们可能正在收敛成同一份。