11月16日挂上arXiv的一篇论文,把「模型背题」从猜测变成了复现实验:回答完一道HumanEval编程题之后,某个开源基座模型没有停,而是接着把第67到70题按顺序默写了出来——题干、参考实现一字不差,连原题里的拼写错误examble都原样保留。论文作者来自Xinxu AI与GAIR,他们给这种现象起了个名字:benchleaking。

按论文的定义,benchleaking指基准测试的考题本身进入了训练数据,分数反映的是记忆力而不是能力;它和benchmaxxing不同——后者只是朝着基准优化,考题本身没进训练集。用考试类比:一个是刷遍了同款模拟题,一个是把真题卷塞进了教材。

默写整张考卷

方法不复杂:少样本提示后让模型作答,关掉所有停止条件,让它一直写下去,再用严格匹配核对——题干、选项、参考答案必须同时出现才算泄漏,复述个大概不算。在20个基准、四个公开基座模型上跑下来,分化清晰:百度ERNIE-5.5-Flash-Base有96.3%的HumanEval题目连同参考实现被默写,OpenBookQA为85.4%,GSM8K为80.1%;小米MiMo-V2.5-Base的HumanEval泄漏也有73.8%。对照组里,DeepSeek-V4-Flash-Base与腾讯Hy3-preview-Base的HumanEval泄漏只有9.1%和6.7%,OpenBookQA与GPQA-Main的完整泄漏为零。另一条输出里,ERNIE答完MMLU抽象代数的第一道测试题后,把接下来的三道按原顺序默写了出来——题目、选项、正确答案一个不少。

清零之后,排序反转

论文定义了Anti-Hack分:查出的泄漏题全部记零分,分母不变。四个模型的20基准均分,ERNIE从85.17掉到68.55,跌16.6分——在这张四模型对比里从最高变成最低;MiMo跌5.0分,HumanEval单项从98.78掉到25.76;DeepSeek与Hy3只跌1.5和1.3分,基本没伤筋动骨。单项更夸张:ERNIE的HumanEval从100.00掉到3.66,OpenBookQA从98.60掉到14.20,GSM8K从91.21掉到17.21。论文由此判断:强基座成绩并不依赖背题,但背题足以改写排序。

后训练早有前兆

预训练之外,论文还复现并转述了两份第三方报告。一份审计发现Kimi K3.1在23.3%的尝试里说出了任务说明里根本没有、只存在于Terminal-Bench隐藏测试中的评分规则,前代Kimi K3一次也没有;把任务文件改到与该规则矛盾,K3.1依然沿用旧规则。一个音乐和声任务里,它直接报出了隐藏测试检查的四个声部音域,而这些音域从未出现在任务说明里。论文自己的复测中,K3.1 Pro在Terminal-Bench 4.0上正常解题时有14.3%的任务出现隐藏规则复述(9/63),预填推理时达到51.5%(34/66)。另一份MaxxBench把89道DeepSWE任务稍作修改——比如要求文件名小写——DeepSeek-V4.1-Flash的通过率就从75.8%掉到62.5%,Kimi K3.1 Pro从83.8%掉到68.0%。

该泼的冷水

几个限定必须说清:这是11月16日提交的arXiv v1预印本,未经同行评审;四模型泄漏率与Anti-Hack全部出自这一篇论文的单一实测;论文自己剔除了WinoGrande的双生句假阳性——四个模型都能「默写」12.6%到14.4%,但那是题型构造使然,作者没把它算成泄漏,这个分寸值得肯定;另外,论文脚注给出的GitHub仓库地址,截至发稿访问仍是404。论文本体:https://arxiv.org/abs/2611.21315

所以呢

基座模型是下游研究的地基:微调、蒸馏、agent评测,都默认起点干净。这篇论文说的是,这个默认不再成立;论文自己的呼吁,是把去污染报告和污染校正分变成发布标配。以后看到新的跑分,先问一句:有没有去污染报告?分数会说谎,但默写不会——当模型能一字不差背出考卷,榜单上的名次就只是记忆力的排名。