NAVER AI Lab 于 2026 年 7 月 16 日在 arXiv 发布《On-Policy Delta Distillation》(arXiv:2607.15161),为推理大模型的后训练蒸馏提供了一条更直接、更经济的路径,作者为 Byeongho Heo、Jaehui Hwang、Sangdoo Yun 与 Dongyoon Han。 传统 on-policy distillation 的目标,通常直接让学生模仿教师的输出分布。然而这一目标不可避免地混入了教师自身的语言先验——学生既要学推理,又要承担教师对世界的所有已学先验,代价偏高,效率受限。NAVER 团队的核心洞察是:推理能力的本质,源自「教师相对其同源 base 模型的增量变化」。论文把这一增量定义为 delta signal,即「教师模型与其同源 base 模型在每个 token 上的分布差」,精准剥离预训练残留,只留下「指令微调或推理 RL 过程中新引入的成分」。 基于 delta signal 重新设计的 OPD² 蒸馏目标,在数学、科学、代码推理基准上一致优于传统 on-policy distillation,学生模型仅需极短的后训练周期即可逼近教师表现。论文报告的实验覆盖 19 页正文、4 张图、12 张表,具有相对完整的实证支撑。代码将于 github.com/naver-ai/opd2 开源,后续可接入到主流 RL 后训练流程中。 这条路径更深层的意义在于,把「蒸馏什么」从「模仿整体输出分布」重新校准为「迁移教师在 RL/指令微调中真正学到的新能力」。它延续了过去半年学界对 reasoning post-training 目标函数的精细化讨论——从 token 级 imitation 到 preference-based RL,再到 delta-based distillation,目标粒度越做越细。对追求小模型继承大模型推理能力、又要控制训练成本的研究与工程团队,这是近几个月里少有的、机制层面而非工程层面真正推进的进展。