最小对基准把两句只差一个语法点的句子并排放,让模型给更可接受的那句打更高分。这套方法从英语的 BLiMP 出发,扩展到一百多种语言,软肋在标签:模板生成的句对里有些对比母语者根本不认同,作者只能花钱雇人判定。

LLM 显然是更便宜的替代品。一篇 11 月 10 日提交到 arXiv 的论文把它做成了实验:用大模型替人标注基准会发生什么?作者选的是三个公开每条人类判断的最小对基准:英语 BLiMP(348 对)、魁北克法语 QFrBLiMP(1693 对)和一个荷兰语集。三家厂商的 API 模型(Gemini 3.8 Flash、Claude Sonnet 4.6、GPT-6 Luna,温度 0)用强制二选一、逐句打分、三人评审团三种方式验证,对照 1、3、5 人组。设计分两个预注册阶段,见到输出前锁定。

一致率很高,该抓的却抓不到

BLiMP 上,强制二选一的验证器与留出的人类多数意见一致率是 0.937–0.953,比五人评审组的 0.934 还高。但它们只能捞出 0.09–0.20 的「标签不被支持」句对(LNS),一个评委就能捞 0.47。三模型评审团只标了 1.7% 的 BLiMP 句对,可实际有 5.5% 是 LNS。改用逐句打分召回更高,但会把四分之三评委支持的好句对里 5.4–23.2% 也标成可疑。

按 F1 算,七个验证器里六个不如单个评委,最好的 Gemini 3.8 Flash 打分式 0.254,够一个评委、够不上三个;QFrBLiMP 上最好的三人 LLM 评审团 0.366,同样够一个不够三个。预注册结论因此是「弱通过」:最佳验证器的 F1 减去三人组 −0.077,区间 [−0.304, +0.150]。

错误不是随机的

还只是「LLM 是个更差的评委」。致命的是下一层:若验证器的错误方向和被测模型一致,它就不是在筛噪声,而是在按结果筛题。论文用 10 个开源模型(1.5B 到 9B,七家厂商)跑全部句对,用总对数概率判断哪句更可接受,只看人类支持的。

结果是:被 LLM 标记但人类支持的句对,对模型平均难 18.9 个百分点(95% 区间 [−22.1, −15.8]),十个模型全部为负。换成另外六个验证器,幅度 −18.2 到 −32.1,Holm 校正后 p < 0.001。全部 70 种「模型 × 验证器」组合无一为正。拆到单数据集是 −15.7 和 −19.1,只看强支持句对 −16.4,拿掉任一语法现象仍在 −20.3 到 −17.5 之间。

那到底是模型的问题,还是人的问题?

论文做了关键对照:如果任何评审的分歧都指向难题,那「验证器挑出的是难题」不算新闻。结果是,人类分歧确实指向难题——单个评委标的句对平均难 13.7 个点,三人组 21.7。但 LLM 标的比单个评委还难,七个验证器全部如此,差距 5.2 到 18.5,区间都低于零。

打分式验证器标记的比例是人类评委两倍(19.4–24.6% 对 11.4%),按理该稀释差距,实际没有。强制二选一和三人评审团标的量与三名人类评委接近(4.3–6.2% 对 5.9%),差距却再大 5.8 到 10.5。

删完之后,分数好看多了

代价可以量化。用 LLM 过滤器删掉被标记的句对,模型准确率涨 5.6 个点;删掉同样数量的随机句对只涨 0.0,差值 +5.6,区间 [+4.6, +6.7]。QFrBLiMP 上最说明问题:过滤器删掉 426 对,其中只有 85 对是真正的 LNS,还把 112 对 LNS 里的 27 对留在基准里。每个模型在 LLM 过滤版上的分数都高于人工过滤版,平均 +3.4。而十个模型的排名几乎不动(Kendall τ ≥ 0.87,45 组模型配对最多换 2 组),伤害在绝对分数和「哪些失败还留在题面上」,不在名次。

换语言、换协议,还是复现

第一阶段结束后,作者找到第三个有逐人评分数据的荷兰语 BLiMP-NL:756 对、84 个范式,母语者按 7 点量表给单句打分,得 38 对 LNS。协议在见到数据前冻结:同样的三个模型、提示词译成荷兰语,主过滤器不重选,判定标准不变。

结果:被标记句对比未标记句对平均难 13.4 个点,区间 [−21.1, −5.4],十个模型全负;删掉它们比随机删多涨 1.6,区间 [+0.7, +2.5]。另外六个验证器从 −8.7 到 −47.0;70 种组合里 66 种为负。但只看强支持句对时,幅度 −14.8 区间却 [−30.0, +0.8] 跨过零,人类评委对照也弱到 8.5。

作者给的四条建议

第一,不要不加检查地删掉 LLM 标记的句对,应送人工判断,很多有效,而且正是难题。第二,不要把 LLM 的一致率当成验证,要报「在人类拒绝的句对能召回多少」。第三,用多个评委,按点估计三人组的 F1 在两个数据集上都高于每个 LLM 验证器。第四,写清标签怎么验证的,并公开逐人数据。

边界也列得老实:BLiMP 只有 19 对 LNS;LNS 不等于标签无效;DeepSeek-7B 在 QFrBLiMP 上接近随机(0.491);机制只是相关分析。

那么这个口子在哪

分量不在于「LLM 标注不准」,而在于它把「用大模型替人验证基准」这个正在蔓延的做法算出了代价:验证器和被测模型来自同一批语料,会在同一些句子上一致犯错,而这些句子最能区分模型。

18.9 个百分点翻译过来是:你用模型筛过的基准会系统性高估模型,高估幅度与你想测的差距同一量级。更麻烦的是偏差方向单向——随机噪声会互相抵消,自利偏差不会,它总把题筛向模型已答对的那侧。所以筛得越「准」,基准越松。

论文自己的答案不是「别用 LLM」,而是「别让 LLM 直接决定删哪条」:把它当预筛器,标记的送人工,不当裁决者。

但更根本的问题在那条建议之外:当验证方和被测方共享同一套训练偏好时,谁来裁决裁决者?

论文全文:arXiv:2611.13788。