RLVR(可验证奖励强化学习)这套训练配方里,藏着一个很少被点破的假设:验证器说得清对错。数学、代码任务好训,是因为答案可以机器判分;可一旦离开这些舒适区,完整的验证器往往造不出来,手头只剩公开测试、格式约束,或者让另一个模型来挑错。一篇被 NeurIPS 2026 接收为 Spotlight 的论文(arXiv:2611.17287,南洋理工大学与 Skywork AI 团队)把这种处境形式化为「单边可验证性」(OSV),解法也反直觉:只用负样本训练,不奖励任何「通过」。

拒绝可信,通过存疑

论文先量化了这种不对称。Qwen3-4B 在 TACO 上采样,通过公开测试的解答拿完整测试套件一对答案,64.5% 其实是错的(Qwen3-8B 为 66.8%)。原因很朴素:训练时平均每题只有 1.7 个公开测试,评测用的完整套件平均 204 个。CodeContests 上过检解答里的假阳性占 20.7%(1.9 个测试对 12 个),ZebraLogic 的约束检查是 73.0%,LLM 自查也有 46.3%。反过来,验证器说「错」几乎总是真错:公开测试和约束检查的负例精确率按构造是 100%,LLM 自查达 95.8%。

论文的原话很扎心:假阳性一旦被当作奖励,就会变成策略优化动力学的吸引子——钻空子的解法只要混过部分检查就拿到正梯度,模型于是学会提高过检率,而不是提高正确率。

NOPO:把「通过」当未标注

方法因此叫 Negative-Only Policy Optimization。验证器只出它可信的那部分证据:高置信负例。样本级用 NPO 式抑制损失,相对参考策略压低负例概率,压够了梯度自动衰减;组级加一道支持度门控:同一 prompt 的 16 条采样里若一条通过的都没有,这个组直接跳过,不做漫无方向的「远离」更新。通过检查的样本不充当正确示范,只贡献计数。整套训练不重:verl 加 vLLM,8 张 A100 跑约 12 小时,150 步。

平均第一,大 k 才见真章

论文实测,Qwen3-4B 五个基准平均 pass@16 从基座 46.85 涨到 52.86,GRPO 是 48.93;Qwen3-8B 上是 52.13 对 48.27。十个「基准×基座」格子里 NOPO 拿下九个。更硬的证据在大 k 与迁移:CodeContests 上 k=512 时 NOPO 66.95、基座 51.05,GRPO 只有 48.54——论文特意点名 GRPO 的 pass@1 全场最高(37.23),但 k=512 时在两个基准上都跌回基座之下,属于「锐化」而非扩边界。迁移上,CodeContests 训出的模型在未见基准平均 29.49,基座 23.66,GRPO 只有 23.30,连基座都不如。按 512 采样口径,NOPO 保住基座会做的 122 题中的 120 题,另新解出 40 题。

还有一条 reward hacking 的直接证据:GRPO 训完后,过检解答的假阳性率从 20.7% 升到 25.2%,负类召回从 91.3% 掉到 79.8%;NOPO 把假阳性率压到 16.6%。

机制层不是孤证

「负样本才是主要有效信号」并非这一篇的独家发现。论文中的对比方法 w-Reinforce(arXiv:2506.01347,Zhu 等人,NeurIPS 2025)独立报告:只用负样本训练,在 Qwen2.5-Math-7B、Qwen3-4B、Llama-3.1-8B-Instruct 上,k 到 256 常常追平或超过 PPO 与 GRPO;只强化正样本则提升 pass@1、拖累大 k,因为多样性被压掉。两个团队的分歧在处理方式:w-Reinforce 仍给通过样本 0.1 的小权重,NOPO 干脆全部当未标注。

论文自述的边界也要交代:负样本只说「别去哪」,不说「该去哪」;OlympiadBench 上 Qwen3-8B 这一个格子,NOPO 输给 GRPO 0.45 点,作者归因于该场景负类召回只有 8.8%,可信负例太少。

所以呢

在自己攒验证器做 RL 的人,这篇的直接启示有两条:一,别把「没挑出错」写成「做对了」,那等于给钻空子的解法发奖金;二,评估别只盯 pass@1,大 k 和跨基准迁移才分得清模型是真变强,还是仅仅变得会过检。便宜的检查做可靠的拒绝,不确定的接受晾在一边——单边验证器不是残缺的验证器,而是一类还没被用满的信号源。