RL 训练这两年流行一类「过程奖励」:不看最终答案对不对,给推理链每一步单独打分,理由是模型能少走弯路。评估的默认动作是跟只看最终答案的 GRPO 在同样训练步数下比谁准——只数步数,不数账单。

一篇 11 月 10 日提交到 arXiv 的论文(arXiv:2611.13560,19 位作者,正文 10 页、全文 59 页,含 18 图 27 表)拆了这条默认路径。结论一句话:把算力算进去,排名直接翻转。

密集奖励的账单:91% 的 token 花在废稿上

蒙特卡洛过程奖励的做法是:在一条推理链的 5 个固定位置切一刀,切成 6 段,每刀从该前缀采样 4 条续写,看有多少条能续到正确答案,据此估计前缀的价值。问题是这些续写只用来打分,打完就丢,从不进入训练。

k=4 时,续写吃掉 91% 的全部生成 token。同样一份预算,GRPO 能跑 584 次更新,密集奖励只能跑 50 次。

GPU 时间更不成比例,因为续写由推理引擎大批量生成,单 token 比训练一步便宜。同样 token 预算下,H200 上密集奖励训 0.14 小时、GRPO 训 0.43 小时。论文的分解:GRPO 把 61% 时间花在更新上,密集奖励把 73% 花在生成续写上。

排名是怎么翻的

按训练步数比密集奖励是赢的:每步的梯度效率是纯 GRPO 的 1.56 倍 [1.28, 2.03],同步数领先 1.5 分 [1.0, 2.1]。

换成同等 token 预算,它落后 14.3 分 [12.7, 16.0](n=5,Holm 校正 p=5×10⁻⁵),12 组全新种子上落后 14.9 分 [14.0, 15.8]。同等 GPU 时间落后 7.8 分 [6.8, 8.8],12 组种子一致。完成长度放宽到 768 token,差距缩到 6.6 分但方向不变;在 Qwen3 的 0.6B、1.7B、4B 上分别落后 8.0、9.1、10.0 分,GSM8K 上落后 9.8 分。

论文还做了更硬的一步:给密集奖励和基线同样长的训练时间(1.29 A100 GPU 小时,8 组种子,严格验证器)。四个变体没有一个显著超过基线——k=4 蒙特卡洛落后 3.3 分 [2.4, 4.3],复用续写变体落后 5.2 分 [4.1, 6.3],VinePPO 式变体只落后 1.1 分 [0.4, 1.7],落在 ±2 分等效区间内(TOST p=.005);k=1 落后 1.1 分 [−0.5, +2.8],既不显著也未被证明等效。

便宜的验证方法会骗人

论文还解剖了另一个流传更广的替代验证法:梯度测试——在固定 batch 上看奖励的更新方向与「准确率梯度」的独立估计是否同向。蒙特卡洛奖励确实同向,平均余弦 0.84。但真训起来,低权重(α=0.25/0.5/1)加进去与纯 GRPO 在 ±3 分内等效,高权重(α=5)直接掉 12.4 分 [8.7, 16.1]。

更微妙的是,训练崩掉时对齐度纹丝不动(0.969 到 1.000),同期熵从 0.21 涨到 0.58,相对初始策略的 KL 约为低权重跑的 30 倍——不是奖励指错方向,是被过度优化。

所以梯度测试能排序,不能定量。每 token 效率测试复现了这个排序(k=1 是 0.45 倍、k=2 是 0.27 倍、k=4 是 0.15 倍纯 GRPO),但对五个被测奖励都高估 0.8 到 1.8 分——高估幅度和它想测出的收益一样大。

真正有用的那一半:挑对题,省五分之一预算

另一半反例是提示选择:不改奖励,只在生成前花一次前向 pass 挑题。每轮抽 24 个候选题,用策略隐状态上的 ridge critic 预测每题成功率,挑最接近 1/2 的 6 个,再随机加 2 个。

效果比密集奖励好:Qwen3-0.6B 上 +1.7 分 [1.2, 2.1](54 组种子;24 组全新种子的预注册复现 +1.2 分,Holm p=.003),Qwen2.5-1.5B 上 +0.8 分 [0.4, 1.1];换到评测集之外的 1,543 道 MATH 题仍成立(+0.8 和 +1.1),在两配置都没训过的 GSM8K 上 +1.1 和 +1.3 分(次要指标)。算上训练时间仍领先 1.0 分和 0.5 分。

作者还加了随机对照:同样 24 道题里随机挑。随机选比过滤器低 1.7 分 [0.5, 2.9](p=.008),说明收益来自「挑了哪道题」而非「更快刷过题库」。

收益量级也说得很保守:峰值 2.6 分 [2.2, 3.0] 出现在预算的十六分之三处,到预算末尾只剩 0.8 分;训到 2 倍预算时优势缩到 0.5 分 [−0.5, +1.6],落在 ±2 分等效区间(TOST p=.004)。换算下来,过滤器用 0.78 的 token 预算就追上了纯 GRPO 的终局精度。

更扎人的是:把基线的常数学习率翻倍,GRPO 自己涨 1.9 分 [0.5, 3.3](Holm p=.018),与过滤器的差只剩 0.03 分 [−1.3, +1.2](等效检验 p=.002)。一个「新方法」的收益,大半是基线没调好。

论文自己承认的边界

这类论文最该看局限章节,作者列得坦白:

  • 六个模型里四个来自 Qwen 家族,Llama-3.2 只测了提示选择、只测了一个题池;论文明说「没有在 Qwen 家族之外展示过收益」。
  • 「候选题成功率低于 1/2 就有效」这条规律是事后从五个设置里总结的,六个预注册测试对了五个;唯一预测会涨的 Llama-3.2-1B 没兑现(+0.4 分 [−0.1, +1.0])。
  • 预注册计划文件是内部文件,不在公开注册表里;部分主要对比只有 3 到 5 组种子。
  • 宽松的验证器会自己漂移。默认验证器把「最后一个数字」也算对时,部分训练跑着跑着就不再把答案装进 boxed 里,一次研究 408 次评测里最多 49 次漂移;改用只认 boxed 的严格验证器重训后漂移消失(2,196 次评测 0 次)且不损精度。

所以呢

这篇论文真正该带走的不是「密集奖励没用」——作者自己也承认,在同等训练时间口径下 k=1 变体既没显著输、也没被证明等效,结论并不干脆。真正该带走的是一条评测纪律:看到「新奖励让模型涨了 X 分」,先问三个问题——按训练步数算的还是按 token 算的?算 token 时,验证用的续写进账单了吗?基线学习率调过没有?

论文结论里的措辞很克制:宣称某个训练干预有效时,应该同时报出 token 预算、GPU 小时预算、验证器口径、在哪些模型上复现过,以及基线怎么调的。少报一项,结论可能差 14 分。

论文声明会附带训练与评测设置、统计方法、预注册计划和逐次运行记录(arXiv 全文 HTML、alphaXiv 摘要页)。