现在的模型评测看起来极其简单：把一套题丢给模型，跑一遍，算个平均分。问题恰恰出在「平均」这两个字上——一套题的平均分，其实是在某个难度分布上做加权平均，而这个分布从来没人检查过。

一篇被 NeurIPS 2026 接收的论文把这层窗户纸捅开了：Your Benchmark Is an Empirical Measure Over Difficulty（arXiv:2610.29927）。作者来自伊利诺伊大学厄巴纳-香槟分校、加州大学圣迭戈分校和纽约大学，他们把基准形式化为「难度轴上的经验测度」——n 道题各自在自己的难度 z_i ∈ [0,1] 上贡献 1/n 的质量，于是模型得分就是 ∫ s_θ(z) dν_B(z)。形式化之后，两种此前很少被命名的失效就浮出水面。

两种失效：分布错配和覆盖空洞

第一种叫测度错配（measure mismatch）：基准自身的难度分布，跟它「本来想测」的难度分布不一样，于是榜单上的结论可能和目标分布下的结论不一致。第二种叫覆盖缺口（coverage gaps）：难度轴上有些区间一道题都没有，训练在那一段取得的真实提升，在总分上可能几乎不显形。

论文给了两个诊断指标：DDM 取 1-Wasserstein 距离，衡量基准难度分布与目标分布之间要搬多少质量、搬多远；Max Gap 取相邻难度点之间的最大空隙，含两端到 0 和 1 的边界。

理论给了一个很硬的结论

定理 2.1 说，若两个模型的性能差是 L-Lipschitz 的，则 |D_B − D_μ| ≤ L·W₁(ν_B, μ)；换句话说，只要目标分布下的差距超过 L·W₁，榜单排名就不可能翻转。定理 2.3 更硬：Max Gap 是渐近意义下的最优检测边界——如果一段提升的宽度 w 不超过 G(B)，那么无论把基准重复测多少次（任意 k），检验的功效都等于 α，也就是提升完全测不出来；只有 w > G(B) 时功效才随采样数趋近 1。

25 个基准的体检结果

论文用 1PL IRT 模型（贝叶斯 MCMC 拟合）估计题目难度，覆盖 7 个领域共 25 个热门基准。非 agentic 基准用了 12 个从 1.7B 到 397B 参数的模型，agentic 基准则用 15 到 66 个前沿闭源模型的 HAL 结果。

统计结果有两条。论文报告：10/25 的基准 DDM ≥ 0.10，8/25 的 Max Gap ≥ 0.10，9/25 的 Top-5 间隔之和 ≥ 0.30。

分开看更有意思。大而全的基准难在「偏」：ScienceQA（4241 题）DDM 0.178、MATH-500（500 题）0.164、MBPP+（378 题）0.163、IFEval（541 题）0.159、MedQA（1273 题）0.157——它们题目多、覆盖密，但难度权重明显偏离均匀分布，榜单名次更多反映的是这套题自己的偏好。小而精的基准难在「洞」：AMC23 只有 40 题，Max Gap 0.217、Top-5 之和 0.539；AIME24/25/26 各 30 题，Max Gap 分别是 0.179、0.158、0.119，Top-5 之和都在 0.5 附近；agentic 一侧 SWE-bench-Mini（50 题）Max Gap 0.149、CORE-Bench Hard（45 题）0.113。论文特别指出，覆盖缺口不只是小基准的毛病——几百题的 HumanEval 和 BBH-5 objects 同样有明显空隙。

BenchFill：往洞里填题

针对覆盖缺口，论文提出 BenchFill：不从零写题，而是让 LLM 改写现有题目——原题充当「局部难度参照」，保持基准原有的格式和风格；生成的子题再做有效性检查、收集模型作答、在线 IRT 标定难度，然后写回记忆库，用离目标难度最近的题做下一轮的种子。结果是每个基准只插 3 道题，前三大难度间隔之和就降了 21.09%–38.88%。

作者放出了 AIME24/25/26 和 AMC23 的补全版本（题量 30→50、30→52、30→53、40→80），最大间隔从 0.179、0.158、0.119、0.217 压到 0.027、0.030、0.031、0.022。代码和补全后的数据集都已开源。

最能说明问题的是他们的 SFT 实验：在 AIME24/25/26 上，只加 1 道 BenchFill 题，就让正向提升在 3/3 的情况下被统计显著地检测到；而原始基准和基线增强方案都是 0/3，一例都没测出来。

这对刷榜意味着什么

论文把测度错配和覆盖缺口称为基准评测的两大基本失效，并给这个优先权说法加了「据我们所知」的限定。这个声明姑且记下，但方法本身的价值不依赖它。

真正的启发在最后：如果一个基准只在某一段难度上密集布题，那么「模型在难的那部分变强了」和「模型整体变强了」在总分上是两回事，而榜单只报后者。训练团队据此决定「这个 run 是不是白跑了」，可能正在丢一次有价值的实验。反过来说，以后看榜单不妨多问一句：这套题的难度分布长什么样？它到底在替谁加权？

所以下次看到某个模型「某基准突然暴涨」，先别急着归因给架构——也可能只是这套题恰好在那个难度段上更密。