公开题库这件事其实早就坏掉了。题目和答案在网上流传，厂商把测试集喂进训练数据，榜单分数涨了，能力未必涨——这事大家都知道，但没人愿意先动手改规则，因为改规则等于承认自己过去发过的榜单不太算数。

Artificial Analysis 这次动了。它在 10 月 27 日发布的 Intelligence Index v5，官方称是自今年 1 月 v4 以来改动最大的一次版本，核心动作只有一个：把 60% 的权重从公开测试集挪到私有测试集或留出答案的评测上。理由写得毫不遮掩——benchmark contamination，题目一旦流传，分数就会被训练数据抬上去。完整公告见 Artificial Analysis 官方原文。

两把新尺子，三把修过的，一批删掉的

新增两个基准：

  • FrontierCode 2.0：Cognition 的私有编码基准，132 个真实开源仓库里的任务。判分标准不是「代码写得对不对」，而是「维护者会不会真的合并这个 PR」，任何一项阻断性检查不通过直接记 0 分。
  • Terminal-Bench-Science：70 个终端环境里的智能体科研任务，全部测试通过才算过。

升级三个：HLE-Diamond（CAIS 与 Scale AI 的 Humanity's Last Exam 精修版，1000 题，推理与知识各半）、AA-Omniscience v1.1（剔除已饱和和已公开的题）、CritPt v2 困难子集（70 道研究级物理题里去掉 30 道被七个前沿模型五次全对的，剩 40 题私有）。

删掉三个：GDPval-AA v2.1、SciCode、AA-LCR v1.1。

权重切成四块，各占 25%：知识工作（AA-Briefcase 15%、AutomationBench-AA 5%、GDP.pdf 5%）、编码（FrontierCode 2.0 15%、Terminal-Bench 4.0 10%）、科学（Terminal-Bench-Science 15%、CritPt v2 困难集 10%）、通用（AA-Omniscience v1.1 15%、HLE-Diamond 10%）。

一条反直觉的曲线

Cognition 在自家博客里摊开了一组少见的数据：在 FrontierCode 上，模型推理强度拉满，分数可能反而更低。

在 FrontierCode 1.1 上，Claude Opus 5 的实现类检查通过率从低强度的 79.3% 涨到 max 的 83.0%，范围类检查却从 69.2% 掉到 51.1%；GPT-5.6 Sol 同样，范围类从 79.7% 掉到 68.3%。翻译成人话：让模型多想，它会改更多文件、动更多代码，而改动常常超出该改的范围。Cognition 的解释是「想多了」——模型顺手把不相关的实现也改了，范围自然崩。附带两个因素——高强度下更容易「不小心」把答案提交拉下来，以及自我说服去实现一个对需求的误读。

2.0 把范围类标准放宽了，平均失败率从 1.1 版的 9.0% 降到 3.8%。但整体严苛性不降反升：彻底性（thoroughness）类阻断条件从 168 条涨到 501 条，任务来自的仓库多 55%，阻断条件多 43%，参考解平均多改 67% 的文件、89% 的代码行。80% 的任务里参考解与上游 PR 不一致，1.1 版只有 60%。而在 2.0 里，彻底性成了每个强度档位下失败率最高的一类，低强度 26.0%、max 强度 15.3%。

分数变硬，也变得没法复核

私有化解决的是污染，代价是外部再也没法独立验证这些数字。AlphaSignal 在报道里点破了这一取舍：限制访问确实降低了题目泄漏进训练数据的风险，但也限制了独立复现。

同一个基准、两家跑法，分数能差出好几档：Cognition 自己的榜单给 DeepSeek V4.1 Flash 19.3%，Artificial Analysis 用自家 Stirrup harness 重跑是 28%，差了快 9 个点。

榜单也更贵了。头部十来个模型里，单任务成本从 GPT-6.1 Terra 的 0.96 美元到 Claude Fable 5.1 的 13.04 美元，差出 13 倍多。每个任务的输出 token 中位数从 v4.3 的 3.5 万涨到 5.9 万，涨了三分之二；智能体类评测占 55% 权重，却吃掉接近九成 token，Terminal-Bench-Science 一项就占掉单任务输出 token 的三分之一。

开放权重的裂缝也被这把新尺子量了出来：与榜首的差距从 v4.3 的 3 分拉大到 12 分；只算已经放权重的模型，差距是 26 分。DeepSeek V4.1 Flash 1017 和 GLM-5.3 都是 32 分，连闭源的 Claude Haiku 5.5（36 分）都跑不过。

换完尺子，还得再准备一把

v5 的分数跟 v3、v4 没法直接比——题改了，分数的尺度就漂了。所以同一天 Artificial Analysis 还发了 Progress Index v1，用心理测量学的项目反应理论（IRT）把 2022 年 11 月以来发布的模型放到同一条连续能力轴上，锚点定在 o3-mini（high effort）为 220、GPT-5.5（extra-high）为 320，没有百分比单位。方法论借鉴了 Epoch AI 的 Capabilities Index 和 Anthropic 的相关研究。

榜单不是事实，是一次测量行为。换尺子不改变模型的真实能力，只改变你能看见的那部分。所以看榜要连着看它怎么量的，看成本要连着看 token 涨了多少，看开放权重的差距更要问一句：这个差距是模型变了，还是尺子变狠了。