蒸馏和强化学习到底谁更省算力,是后训练时代吵了一年的公案。各家报告要么给 GPU 时长,要么给梯度步数,真正按训练 FLOPs 对齐口径的对比一直缺席。Salesforce AI Research 的最新论文补上了这个空白:把在线策略蒸馏(OPD)和 GRPO 放进同一套 FLOPs 记账体系,从任务难度、模型规模、训练域到优化配置逐项对照,结论相当反直觉。
外部教师:直觉全线失守
OPD 的卖点直白:学生在自己的 rollout 上训练,冻结教师给每个 token 打分。稠密的逐 token 监督,听起来比 GRPO 那种只看最终对错的结果奖励强得多——尤其难题,学生几乎做不对时 GRPO 缺少正样本,教师却依然能一步步教。
实测把这套直觉打穿了。团队用 mean@32 解题率把 DAPO-Math-17K 按学生/教师难度切成八个子集重训,理论上对 OPD 最有利的那一格(学生几乎全错、教师正确率 60% 以上),域内评测里 GRPO 依然全程胜出。九个消融轴——学生初始化、学习率、batch size、KL 估计器、思考模式、学生尺寸、训练域、RL 框架——没有一个能翻转排序。代码域差距更悬殊:GRPO 在 0.6 EFLOP 拿下 LiveCodeBench v6 的 46.4%,32B 外部教师的 OPD 峰值只有 28.7%,却烧掉 68.7 EFLOP。教师越强,OPD 曲线只是整体右移变贵,学生上限并没有抬高。还有一笔隐性成本:外部教师训出的学生回复长度持续膨胀,每步 FLOPs 越付越多。
换对教师:50 倍差距从哪来
转机出在教师的"出身"。测过的所有教师里,唯一能让学生完整恢复教师性能的设置,是拿学生自己 GRPO 训出的 checkpoint 当教师。数学任务上,OPD 用少 50 倍的蒸馏阶段 FLOPs 摸到同一精度(默认 8-rollout 设置下是 66 倍),比拿外部 Qwen3-8B 当教师便宜 135.6 倍。这个结果跨学生尺寸、跨代码域、在第二个模型家族 OLMo-3-7B 上都复现,后者甚至出现学生反超教师 11 个绝对分的奇观。
但论文最诚实的一笔也在这里:单域场景下,GRPO checkpoint 本身就是你要的模型,再蒸馏回 base 学生属于纯增量开销——50 倍只省在蒸馏阶段。换教师不是免费午餐,是换了记账方式。
真正的用武之地:先专后合
多域才是蒸馏翻身的地方。数学、代码各训一个 GRPO 专家,没有任何单一 checkpoint 能同时服务两个域;用多教师 OPD 把专家合并进一个学生,蒸馏阶段只花专家训练 FLOPs 的 5.2%(两域)和 8.0%(四域)。两阶段合计,两域 pipeline 以少 42.0% 的总 FLOPs 追平 joint GRPO(四域省 31.6%),而且 joint GRPO 在测试预算内根本追不上合并学生的性能。对照组里,单个外部 8B 教师在多域混合训练上直接翻车:学生出现无限重复、英文 prompt 输出中文字符这类退化行为。
分量在于:DeepSeek-V4、Kimi K3 等前沿模型报告已经把 multi-teacher OPD 写进后训练流程,但一直只当工程选择用,没人算过总账。这篇论文等于给前沿实践补了张收据——蒸馏的定位不是"比 RL 更快的升级手段",而是"把多个专家便宜地焊进一个模型"的合并器。
所以呢
下次看到"蒸馏比 RL 高效"的说法,先追问两句:教师是谁的 checkpoint?省的是哪一段 FLOPs?多半答案是:每个域先用 RL 训成专家,再用便宜一个量级的蒸馏做合并。算力分配从"二选一"变成"两边都要、各干各的活"。