现在给推理模型做提升,有一条很主流的路子:让模型自己当自己的老师。

具体做法叫 on-policy self-distillation(OPSD)。学生模型采样出一条推理轨迹,教师是学生的一份冻结副本,只是教师手里多了一张小抄——那道题的标准解法。学生没见过这张小抄,教师在学生生成的每个 token 位置上给出打分,学生照着这个逐 token 的信号更新。

这套逻辑听上去很顺:教师看到了答案,学生理应学到更多。

但 Meta 与 UCLA 的一篇论文把它拆开验了一遍,结论不太好看:教师偷看答案,并没有把答案教给学生。

论文标题就是这句反直觉的判断——Privileged Information Does Not Guarantee Privileged Guidance,arXiv 编号 2611.16064,作者 Haoyi Qiu(Meta Superintelligence Labs 与加州大学洛杉矶分校,实习期间在 Meta 完成)和 Akshat Agarwal(Meta Superintelligence Labs),2026 年 11 月 11 日挂出 v1,论文自己的备注是「工作进行中」。全文见 https://arxiv.org/abs/2611.16064

先看这套配方长什么样

论文在 Qwen3 的 1.7B、4B、8B 三个尺度上做实验,评测用 AIME 2024、2025、2026 与 HMMT 2025 年 11 月、2026 年 2 月五套竞赛数学题。训练数据取 OpenThoughts 的数学推理子集,固定 3,200 条样本、跑 100 步更新、全局 batch 32,学生每题采样一条最长 1,024 token 的回复;教师与学生对同一条轨迹的前缀打分,损失用 forward-KL,每个词表项封顶 0.05,只更新学生的 LoRA 参数,框架用 veRL,跑在 NVIDIA H100 上,每个条件配三个随机种子。

论文把这条链路拆成四段来审:Source(教师会不会用这份答案)、Encoding(教师给出的逐 token 目标有没有用)、Transmission(学生学没学到)、Expression(学生离开答案还能不能自己用出来)。

第一段就漏了:教师拿着答案,仍然认不出学生的错

先看 Source。论文从 Hendrycks MATH Level 5 里筛出学生 12 次采样全错的硬题,2,242 道清洗后的题里,1.7B、4B、8B 分别筛出 111 道(5.0%)、44 道(2.0%)、35 道(1.6%),题目与解答的有效性由 GPT-5.6-Sol 和 Claude Opus 4.8 判定。

教师拿着答案去标学生的错误前缀,正确标出的比例只有 13.0% 到 25.5%,而且在 4B 和 8B 上,这个数字比不给答案的教师还低。两边判断都对的配对准确率在 6.5% 到 13.0% 之间。整体前缀准确率只有 1.7B 上那 +5.75pp 的提升区间排除了零,而且即便如此,准确率仍低于「全部接受」这个 50% 的基线。

也就是:教师揣着标准解法,都认不太出学生错在哪一步。

涨分来自哪里:思考模式,不是答案

再往下是最扎眼的一段。论文把教师看答案(privileged)和教师只看题(problem-only)两条路摆在一起比:在 Thinking-OFF 评测下,Step 100 时,只看题的教师训练出来的学生,Avg@12 在三个尺度上都更高——1.7B 高 1.36pp,4B 高 15.21pp,8B 高 8.60pp(1.7B 的区间含零)。

反复训练 16 个 epoch 后规律更明显:在 4B 和 8B 上,只看题的教师把 Thinking-OFF 的 Avg@12 抬高了 15.98 到 22.70 个百分点,而给答案的教师只抬了 5.68 到 10.66 个百分点;六组规模与题集对照里有四组是前者胜出。单轮训练时给答案的教师在 Step 20 还领先 1.02 到 1.91pp,到 Step 100 就被反超。

论文把这个现象叫作 reasoning arbitrage——推理套利:涨的不是答案,是教师自己的思考模式本身。

论文也没把话说死

这篇的克制之处在于,它没有断言给答案没用。但反向的证据也在:Table 1 显示,给答案的教师在硬题上的 Avg@4 确实大幅领先——1.7B 是 40.54% 对 2.93%,4B 是 64.20% 对 1.14%,8B 是 58.57% 对 0.00%。论文引用的另一条路线 Purified OPSD 也确实有效:Step 100 时它在三个尺度上都比基座高 0.74 到 1.86pp,而标准 OPSD 反而比基座低 1.92 到 3.57pp;到了 Qwen3-4B 的代码任务上,Purified 比标准版在 LiveCodeBench v6 高 4.45pp、在 CodeContests 高 6.57pp。

只是论文把话说准了:准确率涨了,不代表特权信息传过去了。教师能不能用好答案、给出的 token 目标有没有指向正确、学生学没学到、学生在没答案时用不用得出来——这四段必须分开测。

另外几拨做数学特权蒸馏的团队,方向也一致。OP²SD 那篇(https://arxiv.org/abs/2608.09228)把参考解换成别的题的题面和解法,三个模型三个数学基准上照样超过基座、且与 OPSD 保持竞争力;Shrestha 与 Tessier(https://arxiv.org/abs/2608.18271)发现正确的参考解在不同生成模式、不同模型规模、不同数据集上并不一致地带来收益,换一道题的解法在好几个数学推理基准上反而能超过正确答案本身;Zhang 等人(https://arxiv.org/abs/2609.20612)用 5,319 道题的 AMPLE-Math 套件做匹配对照,发现参考无关的蒸馏已经能解释 Qwen3-1.7B 在开启思考评测下的很大一部分提升,完整推理链额外带来的好处只有在 SmolLM3-3B 的 step 50 上达到两个百分点。

四篇论文作者互不相同,问的却是同一个:给教师开小抄,学生到底学到了什么。

所以呢

这篇论文对做模型的人有个很实际的提醒:你以为在优化「给模型更多信息」,实际可能在优化「让模型自己把自己的长处教给自己」。

这对做评测的人也有直接提醒。以前看到一个方法涨了 5 分,很容易归因到它新增的那份数据、那个提示、那份答案。但这篇论文的做法值得抄:设计一个只差「教师有没有小抄」的对照,其余一切保持不变,再把涨分高的那一段单独拎出来测。

这也是为什么它的标题用了一个那么硬的词——Guarantee。论文的结论是:不保证。有信息是一回事,信息真的被传下去是另一回事,这两件事之间隔着一个必须单独测的沟。

对做应用的人也是:如果你今天在用「更强的教师 + 更狠的信号」这套东西训模型,先把教师那份小抄撤掉,跑一遍看还剩多少。剩下的那部分,才是你真正在训练的东西。