关于 AI slop 的焦虑已经蔓延进学术界:delve 满天飞、参考文献里混进幻觉条目、编辑担心科学写作正在被模型同质化。新泽西理工学院的四名研究者决定不再空对空争论,直接把问题放到数据上:他们抓取 2015 到 2025 年五个学科的约 250 万篇论文全文,从用词、词汇多样性、术语密度、主题多样性、论文结构到合作网络逐层做 2022 年前后的对照。结论有点反直觉:LLM 改写了科学的词,却还没有改变科学本身。(论文:https://arxiv.org/abs/2611.22975 )
被改写的,只有词
研究者对 14,484 个英文词元逐一拟合带 2022 年断点的分段回归:796 个词在 LLM 出现后显著上冲,199 个显著退潮,71 个先涨后跌。上冲的是 establish、underscore 这类分析腔;退潮的是 good、happen 这类平实口语。最典型的是 delve:2023 年前在论文里几乎绝迹,2024 年冲上峰值,2025 年又骤降,作者把这归因于模型更新和公众对 AI 腔的警觉。信号在计算机学科最为明显,在被公式约束的数学里几乎为零。但镜头拉远看:受影响的词总共一千出头,而语料里的唯一词数以千万计,词频的地壳运动并没有改变科学写作的词汇构成。
多样性没塌,是测量在捣乱
那些「科学要完」的指标也经不起推敲。词汇多样性(滑窗型符比 MATTR)在五个学科都没有出现 2022 年的显著斜率变化;术语密度反而在全学科持续上升——按论文的说法,论文显得越来越「科学」,而不是被模型的大白话稀释。生物医学主题多样性在 2022 年后的骤降看着吓人,拆开看,论文之间的相似度大量来自出版模板:权益声明、数据可用性说明、作者贡献表述这些套话。过滤掉 105 个模板短语后,降幅大幅收窄。计算机的主题收拢是真实趋势,但它在 2022 年之前就随学科向深度学习聚拢而开始,2021 年之后甚至略有放缓。
结构与合作:老趋势照旧
结构层同样如此。对 437,980 篇计算机论文的章节分析显示:只有 1 到 3 节的短文占比从 17% 降到 4%,8 节以上的长文从 5% 涨到 30%,Related Work 覆盖率从 32% 升到 66%,标准五段式模板的占比从 25% 涨到 55%;引言从平均 2141 词砍到 1236 词,参考文献却从 682 词涨到 1261 词。这些变化都沿着 2022 年之前的老轨迹滑行,LLM 既没加速也没打断。合作网络也延续长期上行。真正的例外只有一个:来自亚洲的计算机论文,作者人数在 2022 年后加速增长;计算机与物理的发文量增长同样被放大。作者把它放进「LLM 降低跨语言协作摩擦」的解释框架,同时强调这仍是老趋势的延续而非新浪潮。
交叉印证,与该泼的冷水
这篇论文不是孤证。另一支团队 2025 年 10 月提交的独立研究覆盖 arXiv、bioRxiv、medRxiv、SocArXiv 四个预印本库的 210 万篇文献,结论是 LLM 更像「选择性催化剂」而非全面颠覆者:投稿与修改周期被加速,语言复杂度小幅上升,AI 相关主题不成比例地扩张。两支独立团队、两套数百万级语料,指向同一个方向。(交叉研究:https://arxiv.org/abs/2510.17882 )
冷水也要泼够:文中所有数字都出自论文自报口径,没有第三方复现;数据止于 2025 年,而作者自己都写明 LLM 渗入研究流程的速度「令人担忧」;论文引用的 Hao 等人 Nature 论文记录的 AI 悖论——个体产出扩张、科学整体焦点收缩——发生在词频统计照不到的层面。词没坏,不等于科学没变。
下次再看到拿 delve 频率暴涨证明科学被 AI 毁掉的说法,先问一句:十年基线在哪?这项研究真正的贡献不是安慰,而是方法——先校准基线,再谈革命有没有发生。