RLVR 的前提是奖励能被程序验证。数学和代码里,验证器是精确的;一旦离开这两块——评分细则、学习型裁判、手写检查器——验证器就只是代理。它离真目标有多远,几乎没人量过:奖励曲线上涨时,你分不清是模型变好了,还是模型学会了钻验证器的空子。

把真奖励变成可计算的

arXiv 新预印本(https://arxiv.org/abs/2611.21538,作者来自 Anna University 等印度四所机构)挑了一块能拿到真值的场地:可执行授权策略,即 Agent 调用工具时那道 allow/block 闸门。十个分类特征张成 124,416 个上下文,每个决策的全部最小充分理由都能被 oracle 精确枚举,模型解释一条决策时引用的特征对不对,就成了可计算的量:因果精确率与召回率的 F1 即真奖励。这件事值得做,是因为基线很差:论文引用的测量里,从 14B 到前沿模型,自由生成的解释因果精确率只有约 0.50 到 0.54——内容选择是目标问题,不是能力问题。作者沿七个现实方向故意劣化验证器——只看结果、只查充分性、只查召回、抽取噪声、粗分类、过期策略、LLM 裁判——每种只污染奖励流水线的一个环节;训练只看劣化版,精确版在旁边给每一步打分。基础设定:SFT 起点在留出集上 0.731,4B 策略模型,150 步策略梯度。

四种表型,各自有签名

被黑的是乐观代理。充分性代理看不见「多引用不扣分」,模型就学会堆引用:留出集上代理分停在 0.940,真实忠实度反而从 0.731 跌到 0.667;引用特征数从 6.0 涨到 7.5 与 8.6。一段被黑的解释引用八个特征,真正决定结果的是三个——字数几乎没变,黑的就是代理看不见的那个量。另一个乐观的召回代理同样中招:代理 0.974,真分 0.692。

第二种是饿死。只看结果的验证器是多数 RLVR 的默认构造,但忠实与不忠实的解释都带同一个决策词,它二选一的能力是抛硬币水平(选择错误率 0.504),奖励立刻饱和到 1.000——150 步里 137 步零梯度信号,真分漂到 0.714。

第三种是稀释。抽取噪声按剂量递减:ε=0.05 时真分 0.821,接近对照;但同一格换无裁剪优化器直接崩到 0.083,噪声安全是有条件的。

第四种意外无害:排名保对的验证器不伤人。过期策略错掉 0.1011 的决策,训练终点 0.875 与 0.840,落在对照区间内;claude-haiku 当裁判时选择错误率 0.090、符号偏悲观,终点 0.865,与对照 0.871 持平。

训练前就能预测哪种结局

不用先跑训练:在探针网格上测出验证器的选择错误率与符号,伤害近似等于斜率乘选择错误率乘有效更新占比。乐观分支斜率 1.81,悲观分支 0.77——乐观的验证器每单位排名破坏造成约 2.3 倍伤害。换框架(MLX 到 PyTorch)、换模型(Qwen3-4B、Phi-3.5-mini)、换 adapter 与精度,九组配置里符号不对称复现(比例 3.2 倍),斜率常数不复现;而审计量本身是验证器的属性——充分性代理对真分的高估,在九种配置里稳定在 +0.14 到 +0.31。

该泼的冷水

伤害幅度本身没跨实现复现:MLX 网格的充分性伤害 +0.218,PyTorch 十格只有 +0.017 到 +0.096;五个预注册解释(adapter 容量、量化、精度、更多优化、更大模型)逐个被测、逐个落空,作者照实报告;唯一站得住的一条是反直觉的:把 Phi 的初始化从 0.672 提到 0.764,伤害从 +0.017 变成 +0.087——能力不够时,模型连验证器都黑不动。规模只到 4B——8B 塞不进 T4;域限定在策略闸门解释;14 条真实公共策略(Cedar、OPA、Gatekeeper)当训练域时任务太容易,连精确对照都跳过 85/150 步。但迁移测试里有一条值得记住:被黑模型的堆引用原样迁到真实策略上——召回 0.965、精确率 0.702 垫底,聚合 F1 0.779 反而拿下全表头名。总分把伤害藏得干干净净。

机制层这不是孤例:把不完美代理往死里优化会压低真目标,Goodhart 定律在 RL 里的量化早有独立团队完成(https://arxiv.org/abs/2310.09144);系统性验证错误的伤害不被总体错误率预测,Egashira 等人的独立研究也给出同类证据(https://arxiv.org/abs/2605.02909)。

所以呢

论文给的四条建议都不贵:训练前审计验证器的选择错误率;必须选边时偏悲观;别拿纯结果信号训过程目标;给充分性、召回型奖励补上精确率项。真正值钱的是那个视角:验证器危不危险,训练开始前就能量出来,不用等跑完才发现奖励曲线骗了你。

下一次奖励曲线漂亮得可疑时,先问一句:验证器站在你这边,还是站在模型那边?