126 万次盲投拆出来的真相
"ChatGPT 是不是变笨了?"——这几乎是每个重度用户都会问一遍的问题。常见的解释有两个:厂商偷偷换了模型,或者模型本身退化了。前者有实证支持:2023 年 3 月和 6 月的 GPT-4,在同一批质数识别题上的准确率从 84% 掉到 51%(arXiv:2307.09009)。但还有第三种解释很少被认真检验——模型没变,评价它的人变了。
arXiv 上 11 月 10 日的一篇论文(Stevens 理工学院的 Zihan Chen、Di Zhu 和马萨诸塞大学波士顿分校的 Lei Nico Zheng,arXiv:2611.14333)用 LMSYS 公开的 Chatbot Arena 对战日志把这个可能量化了出来。原始日志记录了 2023 年 4 月 24 日到 2024 年 8 月 14 日的 1,799,991 场对战;论文剔除 2023 年 4 月 29 日才上线的"两个都不好"投票按钮之前的记录,只保留版本冻结的模型对——33 个带日期的厂商快照(如 gpt-4-0314)、73 个固定开源权重,以及被排除的 23 个会指向新版本的别名——最终分析样本是 1,260,967 场投票、2,231 个模型对、106 个模型。这份对战日志本身就是公开文件(clean_battle_20240814_public.json),任何人都能下载重跑。
同一对模型,评价越来越狠
核心结论很干净:在同一对完全没变过的模型上,"两个都不好"的投票占比每月上升 1.71 个百分点(标准误 0.18,基准均值 17.1%);数据最密的 2024 年是每月 1.91 个百分点。
论文还给了一个不依赖回归的验证:挑出 2023 年 5–10 月和 2024 年 2–8 月都至少被评 50 次的 14 个冻结模型对,14 个全部上升,加权后从 15.5% 涨到 23.3%,涨了 7.8 个百分点。
关键在于——排名没动。在决定性投票里,评级更高的模型赢的比例是 66.7%,2024 年这一趋势是每月 0.00 个百分点。变的不是"你更喜欢哪个",而是"两个答案都配不上你的要求"的频率。论文把这概括成一个跑步机:模型在快速变好(当月参战模型的平均 Bradley-Terry 评级从 2023 年 5 月的 823 涨到 2024 年 8 月的 1067,Elo 涨 245 分;8 月的模型对上 5 月的模型,预期胜率约 78%),但全平台"两个都不好"的比例只从 19.4% 挪到 20.6%——涨了标准,体验感原地踏步。
排除了多少种解释
"也许是用户在变挑剔"听起来像甩锅,所以论文花了大力气排除别的可能。28 组稳健性设定里,趋势区间是每月 +0.97 到 +2.61 个百分点,每一组都是正的,除一组外全部统计显著。控制提示词语言、代码/数学标记和七个难度标签后仍有 +1.63;只看最简单的单轮英文简单问题是 +1.30;只看带日期的 OpenAI/Anthropic 快照对是 +1.41;只看固定开源权重对是 +2.12;只看答案长度稳定的模型对是 +1.16。界面改版也不是原因——按每次页面改动切分区间重估,趋势依然为正。
更硬的一层是人本身。在 24,508 个至少出现过一个月的评委标识上(占全部标识的 6%,却投出了 29% 的票),同一个人的判断每月变严 1.90 个百分点;锁定"同一个人评同一对模型"(11,642 票、3,437 个标识-模型组合)则是 +2.30。按到达时间分组,2024 年才注册的新用户,在第一次投票时就比 2023 年的新用户严 1.25 个百分点/月,到 8 月差距累积到 11.6 个百分点。
还有一个漂亮的收尾:18 个高频被评的冻结模型里有 17 个自身对子显著变严,平均 +1.40;但用其它模型的对子估出的月份效应扣掉之后,平均趋势塌到 +0.19。漂移是全平台共享的,不是某个模型单独退化。
这对排行榜和人类反馈意味着什么
论文给评测平台和模型厂商的建议都指向同一件事:绝对判断和相对判断必须分开记账。绝对判断(这个答案够不够好)的漂移年化大约 21 个百分点,而相对判断(两个里挑一个)在 2024 年没有趋势。也就是说,2023 年标注"可接受"的样本,放到 2024 年同样的标准下未必还合格。
对排行榜,解法是保留一组冻结的参照模型一起放进评测流,用同期参照物给绝对分数重新锚定——论文的样本外检验显示这确实能把漂移消掉。对做 RLHF 的团队,更直接的后果是:混着用的绝对标签,混的是不同年代的标准。
别把它读过头
论文自己的边界写得很老实:观众是自选样本,评委标识跟的是设备或网络而不是人,日志里根本没有提示词和答案文本,数据止于 2024 年 8 月。而且"更挑剔"里,到底是接受阈值提高了,还是人看得更仔细了,这份数据分不开。
但结论的方向性并不弱。当一个产品停在一个地方,周围的品类还在往前走时,它就会自动被判定为退步。 厂商拿用户评分当回归信号,可能读到的是标准漂移;训练数据把不同时期的绝对标签混在一起,混的是标准不是质量。
所以下次再觉得"它是不是变笨了",也许更该问的是:是你变了,还是它没变?