去年底有个流传挺广的说法:ChatGPT 之后,美国一个保守派论坛的发言明显变得更趋同,而进步派论坛没有。听起来像「AI 正在磨平人们的表达」的一个硬证据。这篇复测论文给出的答案却是:那个信号量的根本不是观点趋同,是文本长度。

提出这个结论的同一位研究者最近自己重跑了一遍。他的数据是:那个保守派板块里带右翼标记的用户,评论平均长度从 2019 年的 109 词缩到 2022 年的 61 词,然后稳住。评论变短了,而「两两余弦相似度」恰好会随长度下降而上升。

一个自己推翻自己的复测

原始研究 arXiv:2608.13674 用了 606 万条 Reddit 评论,取 r/AskConservatives 和 r/AskALiberal 两个板块 2019 到 2025 年的数据,测量方式是「mean-pooled DeBERTa-v3-base 嵌入之间的平均两两余弦相似度」——注意这个编码器从来没有为句子相似度训练过。

原结论是:2022 年 12 月之后,r/AskConservatives 里右翼用户的组内相似度出现向上断裂,γ = +0.0081,p < 0.001;而 r/AskALiberal 左翼用户「移动得少得多」。

复测从 606 万条里分层抽样 915,225 条(336 个「板块 × 意识形态 × 月份」单元格),换了两个句向量编码器,跑了六项诊断。

六个诊断全部指向长度

  • 截断实验:同一批评论从 10 词截到 150 词,平均余弦的上升幅度是原报告断裂值的八倍(0.064 对 0.0081)。
  • 长度安慰剂:把每条评论换成同长度的随机评论,得到 0.0072,原始估计是 0.0089——长度单独就复现了 81% 的不对称,安慰剂抽样里 58% 达到 p < 0.05。
  • 固定内容模拟:78% 的效果能被纯长度变化造出来;BGE 下这个比例是 96%(0.0144 对 0.0151);连中心化后那些本就不显著的估计,仍有 66–85% 是长度。
  • 主方向:原始 DeBERTa 同质性有 99.9% 集中在第一个主方向上——长度信号就坐在那根轴上。

一旦把长度处理掉,不对称在所有编码器下都消失。最粗糙的控制(把平均词数及其与组的交互项加进双重差分)就把 0.0089 (p = 0.021) 压到 0.0024 (p = 0.073);在全部 606 万条上重算,修正后的估计是 0.00 SD (p = 1.00)。

换个平台,同样的坑

在 Stack Exchange 上复现核心诊断:8 个站点、2018 年 1 月到 2024 年 3 月、57.5 万条答案。这个指标报出了技术社区「ChatGPT 后更同质」,而安慰剂完整复现了它——注意这里的答案是变长的,方向和 Reddit 相反。一个用来检测「话语收敛」的度量,在 Reddit 上测到评论变短,在 Stack Exchange 上测到答案变长。

修正之后还剩下什么

修正之后,两个阵营在 2019 到 2022 年间是收敛的,而且在 ChatGPT 之前就停住了——左右质心距离从 2019 年的 14.5 × 10⁻³ 降到 2022 年的 1.8 × 10⁻³。作者说得很直白:他没有检验为什么两个阵营会收敛,只把这当作对这两个论坛的描述。

有意思的是回复。抽了 19.3 万条直接回复做对照:跨阵营回复比自己人回复更「迎合」对方(右回左 +0.017,左回右 +0.006,右回右 −0.006,p < 0.001),跨阵营回复引用对方的比例是 19.5%,同阵营是 13.6–14.8%。而这种迎合度在 ChatGPT 之后并没有上升。

补救措施本身也可能翻车

论文还做了一个反向对照,对象选的是 Doshi & Hauser 2024 那个实验。常见补救是「中心化 + 重新归一化」,但这么处理之后,效应在每个编码器下都反号(BGE −0.39 SD,mpnet −0.23,DeBERTa −0.30)。原因是 AI 辅助写的故事更靠近语料均值,中心化后残差向量只有 0.31–0.61 SD 那么长,再归一化就把「更靠近均值」放大成了噪声。改用不归一化的度量,效应回到 0.29–0.52 SD。

还有一句更狠的:即使长度完全不变、只用固定内容的合成序列,这个时间序列设计也有 10–15% 的运行在 p < 0.05 上拒绝原假设,是名义水平的两到三倍。原因是 84 个月度观测配六个 Newey–West 滞后项,区间偏不保守。

为什么这事不止一篇

机制层早有人打过招呼,只是没被这把尺子连起来:Xiao 等人(EMNLP 2023)证明对比学习编码器存在「长度诱导的语义漂移」;Zhou 等人(ACL 2025)把它命名为 Length Collapse,给出傅里叶域解释——自注意力相当于低通滤波,文本越长低频成分保留越多,长文本嵌入于是聚成一团。

论文自己也做了一份普查:梳理 31 篇已发表和预印本研究,标出「各向异性编码器」与「时间序列或长度不均衡设计」相交的脆弱位置。

该泼的冷水

三点。第一,这是原作者对自己前作的复测,不是独立团队的重复验证;原研究本身在中断时间序列、时间断点回归、趋势校正双重差分上都很扎实——但那些设计吃的是同一条序列,而那条序列量的是长度。第二,论文只覆盖两个平台,伪影的量级甚至符号在其他数据上都会变。第三,议程与声音的拆分只用了单一主方向。

不过作者那个判断我觉得是对的:用长度敏感的度量在 AI 时代找到同质化,很可能只是发现人们写得更短或更长了。那是关于文本体量的发现,关于观点范围还什么都没说。

所以呢

真正该带走的不是「AI 没有让人类同质化」,而是:当一个指标变成时间序列,先问它到底在量什么。这篇论文给的诊断顺序挺便宜——先报随机配对基线,再报长度安慰剂,再换几个编码器跑一遍,最后校准检验本身,大多不用重编码。

下次看到「AI 让 XX 变同质了」这类标题,不妨先翻到方法一节,找找它有没有报过文本长度的变化。