在推理模型圈,"等等"(wait)早被当成 RL 教会模型的第一课:模型算到一半先冒出"等等,这个对吗",再回头检查一遍。港科大、华为诺亚实验室等团队把开源模型的 120 个训练端点翻了个遍,结论跟这个流行叙事不太一样——那个词几乎不是强化学习造出来的。论文原文
涨了 42.9 分,却几乎不说"等等"
最干净的对照组是 18 次零 RL 训练:底座本来不会说"等等",底座来自 9 个 Qwen2.5、Mistral、Qwen3 系列(0.5B 到 32B)。这些训练把 MATH-500 准确率中位数拉高 42.9 分,但"等等"的频率在 17/18 次运行里始终低于每千 token 0.05 次,95% 置信上界都没越过 0.06。换成 AIME24、AIME25、AMC23、GSM8K、MMLU-Pro 也一样:从 Qwen2.5-7B 出发的零 RL,五个基准上没有一次说出"等等"超过 3 次。
真正的出处是训练数据
那么"等等"从哪来?数据。判定标准是每千 token 低于 0.05 次就算没有。OLMo-3 预训练阶段几乎为零(≤0.04 次/千 token),到中期训练涨到 4.03 次,其中 88.6% 在句首——正好对应为 RL-Zero 引入思考轨迹那一步。14 个在推理轨迹上微调的模型里,13 个从不会说"等等"的底座学到了它。数据里本就带这个词的底座也一样:MiMo-7B-Base 每千 token 4.95 次,SmolLM3-3B-Base 4.18 次。
RL 做的是放大和磨损
底座已经会说的话,两个公开的 RL-Zero 配方会把它放大:OLMo-3 RL-Zero 从 4.9 次/千 token 涨到第 1900 步的峰值 17.0,最终检查点 12.4(6 个解码种子下 12.68 ± 1.55);MiMo-7B 从 4.95 涨到 6.62。同一底座换 KL-free GRPO 就不涨。形式还在磨损:规范写法"Wait,"占比从 88.9% 掉到 37.5%,叠写("Wait, wait")从每千次 117.6 涨到 213.0,标记开头的句子从 11.8 个词缩到 6.1 个。论文对照语言学的"语法化":标记进入晚期阶段,形体被磨掉,功能被绑死在固定位置。
它还是不是"怀疑"的信号
RL 放大时,有没有顺手改变词的含义?论文用注入算术错误来测:接一段正确步骤,和一段中间被塞了错的步骤,看标记能否区分。RL-Zero 之后区分度 d′ 从 0.57 升到 1.09(95% CI 0.97–1.24),但判定标准从 0.11 掉到 −0.24——它更敏感,也更爱报警:"等等"单独看,d′ 从 0.77 升到 1.29,能跟住 73.7% 的出错步骤(底座 47.1%),也跟住 25.4% 没错的步骤(底座 19.9%)。而 SFT 之后再 RL,几乎改不动这个报警器。
更该警惕的:评判器把趋势判反了
论文顺手做了 60 句盲审人工标注审计,两个 LLM 评判器里有一个把人工共识的方向判反。主要评判器与共识一致性 κ=0.64,看着不低,但在同一批加权样本上,它给出的"修订率"从 26.0% 降到 12.9%,人工共识的修订率却从 1.3% 升到 15.9%——完全相反。另一个评判器 κ=0.71,方向跟得上人工(1.5% → 12.9%)。
所以呢
这是一把尺子被误用的故事。大家习惯在训练日志里数"等等""hmm"的次数,当它反思能力变强的证据,再配一个 LLM 评判器打行为标签。但证据链是:这个标记得不得出现,取决于训练数据里本来有没有;RL 更多是在既有材料上放大和磨损,不是从零发明;它"代表怀疑"的含义,也随配方和检查点漂移。
所以下次看到某个模型"突然开始频繁反思",第一反应或许不该是"RL 教会了它",而是"它的数据里本来就这么写"。至于这判断能撑多远,论文自己也提醒:证据是观察性的,18 次零 RL 只覆盖 0.5B–32B、英文数学与结果奖励,前沿规模 RL、过程奖励和其他语言都还没验证。