现在评测一个检索系统, 主流做法是让大模型当评委: 每篇文档发一次 API 调用, 拿一个 0 到 3 的相关性分数。问题很直白——分数是随文档数往上走的钱, 判分逻辑还藏在闭源模型里, 出了错你连它看了什么都不知道。最近有篇论文提了个反直觉的替代方案: 让大模型写一段程序, 程序去当评委(https://arxiv.org/abs/2611.24849)。

从每篇一次调用, 变成每个主题写一次程序

这套方法叫 ExecJudges, 作者来自埃莫里大学, 滑铁卢大学和斯坦福大学。流程分两段: 第一段拿 Claude Opus 5.5 当程序作者, 把 TREC 的官方评分细则翻译成 Python 代码, 每个主题生成 3 个独立程序, 取平均后向下取整当最终标签; 第二段, 这些程序不再调模型, 只靠词面匹配, 现成的 NLP 解析库和候选池统计量, 给每篇文档打分。

关键在第二段。程序只做确定性的字符串操作, 跑一个主题不到一秒, 也不需要 GPU。论文统计, 生成出来的程序中位数 66 到 75 行, 两个函数, 塞着 6 到 8 个正则表达式和一到三次工具调用。在 Robust04 的主题上, 92% 的程序干的事只有一件: 找出那句同时满足主题条件的句子。

跟 Sonnet 评委打平的地方, 和打不平的地方

评测在 7 个 TREC 集合上做, 对照组是训练过的 NIST 人工评估员, 指标用序数 Krippendorff's alpha。没有人工标签时, ExecJudges 在 DL 2019 到 2021 上跟 Claude Sonnet 5.5 的 listwise 评委差异都落在置信区间内; 扩到 DL 2019 到 2022, 差距不超过 0.054。论文的说法是两者跟 NIST 的一致程度相当。但换到 DL 2023, Robust04 和 TREC-COVID, 程序版本就明显落在评委版本后面。

喂进 16 条人工标签(ExecJudges-L)之后局面反转: 在全部 7 个集合上, 它跟 NIST 的一致度都超过了同样吃这 16 条标签的逐主题分类器, 在 DL 2020 和 DL 2021 上还分别比拿到同样标签的 Sonnet 评委高 0.117 和 0.037。142 个开发与试点主题里, 它在 84 个上领先分类器, 符号检验 p<0.001。

钱在哪一端省下来

写程序是一次性成本: 每主题 0.17 到 0.49 美元, 不打标签是 0.17 到 0.24, 带 16 条标签是 0.20 到 0.49。之后每篇文档的判分不再花钱。论文给的回本点是每个主题 200 到 350 篇文档: 低于这个规模, 程序版反而比逐篇调用评委贵; 超过之后, 池子越深越省, 因为评委的钱随文档数涨, 程序的钱不涨。

人工标注那边更贵。NIST 的公开页面写得很直白: 一个典型的 TREC 赛道通常要六名外包标注人员做 2 到 4 周, 这批人还得先培训再监督。评委路线是另一个成本结构, 论文的原话是一个昂贵且常常依赖 GPU 的模型得逐篇评估; 逐主题分类器没有 API 费用, 但每个主题要在 GPU 上训 13 秒。程序路线两头都不占。

该泼的冷水

三件事得泼。

第一, 这仍然是让模型参与写答案的一种变体。NIST 的 Ian Soboroff 早在 2024 年 9 月就贴出过立场文章, 标题直接是「别用大模型做相关性判断」: 让 LLM 写评判标准等于把这台 LLM 设成性能天花板, 而被测系统里往往就有这台模型(https://arxiv.org/abs/2409.15133)。另一条路是干脆不用大模型: Gienapp 等人训主题专属分类器, 与真实系统排序的 Spearman 相关超过 0.94, 每主题 128 条人工判断就够(https://arxiv.org/abs/2510.04633)。ExecJudges 没推翻第一个批评, 只是把调用次数从每篇一次压到每主题一次, 天花板还在。

第二, 程序可读, 意味着可被针对。论文自己承认, 一个读懂了 ExecJudges 程序的开发者完全可以照着它的规则去调排序器, 而这个风险他们没测; 生成代码的可用性也没做用户测试。这跟可解释性带来信任的直觉正好相反——你把规则摊开的那一刻, 博弈就换了个场地。

第三, 这套方法绑在前沿闭源模型上。主配置里评委和除一个之外的全部程序作者都是 Anthropic Claude 系闭源模型; 换成开源的 GPT-OSS-120B 当作者, 一致性掉到 0.486, 0.393 和 0.344, 全部显著低于主配置, p<0.01。让 AI 写代码省钱这个收益, 目前离不开闭源前沿模型。

还有个容易被跳过的细节: 程序版本会打低分。DL 2019 和 2020 上, NIST 给了 3 分的段落里有 26% 和 28% 被程序判成 0 分, 同条件下的 Sonnet 评委只有 24% 和 17%。加上人工标签后降到 1.2%, 8.1% 和 1.3%, 而且错误高度集中, 每年 4 个主题就占了 90% 到 95%。程序化判分的错是扎堆的, 比随机噪声更难察觉。

值得留意的那个转向

抛开成本, ExecJudges 真正的贡献是把评测逻辑从模型权重搬到了几十行可读代码里, 现在是几段人眼能扫的正则和条件判断, 还能改。论文里有两个例子: Robust04 的加州观鲸主题, 文章提到加州地点的次数至少是其他地方的一半才判相关; TREC-COVID 的羟氯喹主题, 只有描述了研究设计的段落才拿 2 分。判分标准被摊在纸面上。

这是把黑箱打分换成白箱打分。但白箱也有白箱的代价——规则一旦公开, 就同时变成了可以被针对性优化的目标。论文没测这一面。

所以呢: 如果你是做评测的, 这篇论文值得抄的不是让 AI 写程序这个噱头, 而是把判分标准显式化这个思路; 如果你是在看榜单, 多问一句那些分数是黑箱模型给的, 白箱程序给的, 还是人工给的——这三种分数不该放在同一张表里比较。