Direct-OPD 把「RL 经验」跨模型规模可复用：字节×清华让弱模型的策略差当强模型的隐式奖励

字节、清华与上海智能实验室联合在 arXiv 2607.05394 上提出 Direct On-Policy Distillation(Direct-OPD),解决 RLVR「后训练即新 scaling 瓶颈」的难题。核心思路不是蒸馏弱教师最终的策略,而是蒸馏它 RL 前后两份 checkpoint 的对数比(log-ratio),把它作为强学生在自己 on-policy 状态上的隐式奖励,从而把弱模型上跑出来的 RL 监督信号零成本迁移到强模型上。结果:Qwen3-1.7B 在 AIME 2024 上从 48.3% 提升到 58.3%,只用了 8 张 A100、4 小时,且 step-matched 持续赢过直接 RL。更进一步,「策略差」可以顺序叠加到同一学生上—— 即多个弱模型的 RL 经验能像 LoRA 一样增量累加,把后训练路径从「重训每个大模型」转到「堆叠小模型经验」。这套范式与近期 Qwen、Cognition Kimi 等团队的 RL 后训练潮形成强互补,值得在 GPT/Claude 后训练栈里跟踪复用。