多数投票已经不新鲜了:同一道题让模型跑好几遍,取出现最多的那个答案,是推理评测里最省事的涨分手段。因为用得多,也有人开始给它配统计证书——用 anytime-valid 的 e-process 逐次累积证据,越过阈值就停手,靠 Ville 不等式拿到有限样本的 Type I 错误控制。这条线上的构造都假定同一道题的多次采样条件独立。一篇 arXiv 预印本(尚未同行评审,https://arxiv.org/abs/2611.26592)指出,真实推理流上这个前提不成立。

相关性把一个零假设劈成两个

论文的建模借自聚类数据的随机效应/组内相关结构:每个认证单位开头抽一次潜在状态 Z,给定 Z 时各次增量独立同分布,于是边际上成为可交换、等相关的增量,相关系数记作 ρ。麻烦在于 ρ 大于 0 时,原本单一的零假设裂成两个:realized null 说的是这一次抽到的信念,population null 说的是模型的平均行为,两者只在 ρ=0 时才重合。

论文强调自己并不推翻已有证书:单题、独立采样时两个假设本来就一样,结论照旧成立。问题出在相关性存在时,同一套构造控制住的是 realized null,而实际应用想要的是 population null。

实测:相关性确实存在

用 Claude Haiku 4.5(temperature 1)跑真实 rollout。GSM8K 上 300 道题各 30 次采样,组内相关系数 ρ̂=0.435,自助法 95% 区间 0.208 到 0.619;AIME 上 150 道题,ρ̂=0.480,区间 0.405 到 0.544。两条都远离 0。更有用的推论来自有效样本量:组内均值的设计效应让等效样本量趋近 1/ρ,也就是 GSM8K 约 2.3、AIME 约 2.1。同一道题再多抽几次,信息量很快就见底。

后果:证书会指错对象

按论文的表述,标准下注 e-process 对 realized null 依然 anytime-valid,但换成 population null 去读,某组混合构造的渐近越界概率至少是 π=P(μ(Z)>0),未必守得住名义的 ε。

真实数据上的差距正是在难的那一侧显形。AIME 上模型估计的群体 margin 是负的(θ̂=-0.15),提示多数题其实并不可靠;此时单题规则却在 24% 的题上触发越界,而名义水平是 0.05,同一批数据上的题级修正是 0.00。按难度分箱看更清楚:单题越界率在一致率 (0.5,0.7] 桶是 0.06,跨到 (0.7,0.9] 桶直接跳到 0.73,而漂移 θ 正好在这两个桶之间穿过零点。合成实验里预先埋了 ρ=0.09、π=0.37 的相关结构,单题规则在 population null 成立时仍以 0.32 的比率去认证,题级修正在 θ=0 处是 0.033。

出路是换单位,不是加次数

论文给的修复是把 e-process 挪到题级:每道题贡献一个近似独立的汇总量,population 有效性就恢复了。配套的分配分析结论有点反直觉——纯 rollout 预算下,方差最小的分法是每道题只抽一次。论文自己的说法是,单题的预算保证对 population null 是空的,再多采样也换不来关于群体的信息。

该泼的冷水

论文自己列了几条边界。题内共享前缀带来的相关性没有测(需要 tree-of-thought 或前缀共享生成);真实数据只用了 Claude Haiku 4.5 一个生产模型,论文说用开源模型(如 gpt-oss-20b 或 Qwen3-30B)复现是自然的稳健性检查,但可能改变量级甚至定性结论;任意序列相关下没有保证;Type I 错误控制不等于检验力,靠近 θ≈0 的边界可能要堆很多题才能认证。这还是一篇尚未同行评审的 arXiv 预印本。

所以呢

对做推理系统的工程含义很直接:如果流程是「同题多采 + 统计认证」,那证书可能盖的不是你以为的那个章。要拿到群体层面的保证,得把预算摊到题目维度上做题级聚合,而不是在同一道题上继续堆采样。

机制层另有独立团队在同一条线上做认证:https://arxiv.org/abs/2605.05873 的 CITE 针对预设目标答案做 anytime-valid 认证,https://arxiv.org/abs/2510.17472 的 Certified Self-Consistency 用 Martingale Majority Certificate 做序贯停止。自洽性本身出自 ICLR 2023 的那篇论文(会议页 https://iclr.cc/virtual/2023/poster/11718),它自己报告 GSM8K 上 +17.9% 的提升——这条线的收益是真的,只是统计保证得换个单位才能算数。