过去两年，"on-policy" 几乎成了大模型后训练的标准答案：让模型在自己生成的数据上学习，据说能减少灾难性遗忘、带来更稀疏的更新与更好的泛化。剑桥 van der Schaar 实验室的 Julianna Piskorz 与 Antonin Berthon（共同一作）9 月 28 日提交至 arXiv 的论文，对这套叙事做了受控检验。结论不客气：蒸馏场景下，rollout 策略未必是主角。

三个旋钮拆开的对照实验

以往比较监督微调与强化学习的研究往往同时变动多个因素，rollout 策略的真实贡献很难单独剥出来。论文把蒸馏配置拆成三个独立旋钮——rollout 策略、token 级 KL 方向、学习率——在 Llama 3 与 Qwen2.5 两家族上逐一变动，并刻意打破「forward KL 配 off-policy、reverse KL 配 on-policy」的行业惯例。

主实验把 Llama-3.1-8B 教师蒸馏进 Llama-3.2-1B 学生，附录用 Qwen2.5-7B 教师与 Qwen2.5-1.5B 学生复验；任务覆盖科学、医疗（MedReason）、算术（Countdown）三个推理域；教师基准一并公开：Llama 教师在 MedReason 上准确率 85.5%，Qwen 教师在 Countdown-3 上达到 95.5%。

真正的决定因素换了人

核心结论一句话：token 级 KL 方向更清楚地决定任务表现与输出覆盖，学习率决定灾难性遗忘与更新稀疏性，rollout 策略不必然居中心。拆开看：

  • forward KL 对 rollout 策略异常鲁棒——无论数据由谁生成，表现都稳定且强。论文用梯度分析给出解释（定理 C.1）：forward KL 梯度范数平方的期望存在与 rollout 策略无关的上界。
  • reverse KL 敏感得多，明显偏好学生自己生成的 rollout。
  • 作者明确写道：没有证据表明 on-policy rollout 本身能保留既有能力或诱导更稀疏的更新。

on-policy 什么时候还有用

论文没有一棍子打死。Countdown 的更难变体上，on-policy 数据在两种 KL 方向下都带来一致的泛化提升——只是该优势在后续 RLVR 训练后不再可靠保持。另一个发现：reverse KL 搭配 on-policy 能减少「教师风格」的非任务迁移，论文专门设计了被诱导用西班牙语推理的教师实验验证。

所以呢

工程含义：蒸馏预算有限时，优先投在选对 KL 目标与调好学习率，而非默认铺开昂贵的 on-policy 管线——它意味着教师模型全程在线推理。论文原文正是「鼓励实践者把 on-policy 蒸馏的额外成本与更便宜的替代方案放在同一架天平上称量」。它把问题从「要不要 on-policy」改写成「在什么目标、设定、超参区间里，on-policy 才值回票价」。

论文：On-Policy or Off-Policy Learning?。发布两天，已在 Hugging Face Daily Papers 收获 80 个赞。