评测开销正在变成一笔没人细算的账。模型发布的节奏按周计，而一个基准动辄几千上万道题：全量跑一遍 MMLU 或 OSWorld，时间和算力都吃不消。「基准压缩」因此成了刚需——从 N 道题里抽一小撮子集，用子集平均分去估全量分。但最基础的问题一直悬着：这个估计到底有多准？随手随机抽，靠谱吗？
随机抽样为什么「几乎够用」
arXiv 2611.00883 这篇论文先把理论补上了。Hugging Face 论文页把团队标注在卡内基梅隆大学名下，一作 George Ling 与 Shanshan Zhong 等六位作者推导出用子集估全量分的误差分布解析近似，结论一句话：大多数子集误差都很小，少数子集误差大得多，整条分布是长尾的。理论上，随着被评模型数 M 增大，MAE 分布的峰值会以 C0/√M 的通用速率（C0≈0.578）逼近分布下端点——也就是说，随机抽出来的子集大概率落在低误差区，「随机抽样几乎够用」不是修辞，是被证明了的现象。论文声称数值实验与理论预测高度一致。
长尾的根源：模型同质化
真正要命的不是平均误差，而是那条尾巴：偶尔抽到一撮整体偏难（或偏简单）的题，所有模型的分数会一起被压低（或抬高）。论文把这叫「共同偏移」，其尺度随模型间行为相关性 ρ 增大，而 ρ 的来源正是当代基础模型的同质化——相似的骨干网络、重叠的训练语料，再加上蒸馏把行为进一步对齐。最扎眼的结论是：固定 ρ>0 时，被评模型数趋于无穷，这部分方差的极限仍是 c(k)σ√ρ>0，平均不掉。换句话说，大家把模型训得越像，共享的错误越多，抽样评测的天花板就越硬。
BestRand：五个探针模型，挑掉「不走运」的子集
方法朴素：先从 N 道题里随机抽 min(4k,N) 道做候选池；用 5 个探针模型只在池上跑一遍拿分；再从池里随机生成 128 个大小为 k 的候选子集；最后挑出探针均分向量与池均分向量 L2 距离最小的那个子集，目标模型只评它。探针随机选、L2 匹配是默认配置。128 个候选全部复用同一批缓存的探针分数，选择本身就是一次批量张量运算——论文的计算资源声明写着：子集选择只要 CPU，并行执行不到 0.1 秒，全部压缩实验单卡 GPU 就能跑完。理论上也有保证：论文证明当探针匹配足够准时，共同偏移方差会收敛到严格低于随机抽样的水平。相比要攒大量历史评测记录的响应式方法，它的构建开销只有一次小规模探针评估。
数字与边界
实验覆盖 70 个基准：44 个文本、16 个多模态、10 个智能体，从 MMLU、GSM8K、HumanEval 到 MMMU、MathVista、MME，再到 OSWorld、tau-bench；保留率从 2% 到 50% 共六档；对比 Random、SparseEval、Anchor Points、TinyBenchmarks、ZipBench 等六个代表基线，Random 和 BestRand 各跑 10000 个种子，其余方法只用 3 个。对 Random、ZipBench、TinyBenchmarks 三个强基线，BestRand 把 MAE 平均再降 16.4%；以「超过 Random 第 70 百分位或均值」定义高误差，高误差概率平均降 50.2%；构建记录平均只有数据依赖类基线的 51.3%（2% 保留率时低到 8.0%）；在分数段、模型家族、时间三类偏移下，OOD 估计误差平均再降 21.8%，并进一步扩展到了 VLA 评测。局限论文自己写得很清楚：压缩评测不能保证零误差，最终发布前仍建议跑全量；探针推理成本不为零，只是小。
代码以 MIT 协议开源，GitHub 仓库连着约 86 MiB 的 BestRand-Data 一起放出：GPQA、BBH、TruthfulQA、HellaSwag、IFEval、MMLU-Pro、MMLU、MuSR、WinoGrande 等 12 个基准的完整 prompt 与模型-题目得分矩阵、5 个构建模型加 20 个留出测试模型的固定切分，NumPy 加 SciPy，纯 CPU 可复现。
所以呢
这篇文章顺手给「模型同质化」做了一次量化：当所有模型在同一批题上一起翻车，连统计平均都救不回来。下次看到某个「精简版」榜单，不妨先问一句：这撮题是谁挑的、拿几个模型校过？答案如果是「随便随机挑的」，现在你知道那条长尾还在等着谁。