大模型蒸馏的「教师靠谱」假设正在崩\n\n过去两年,「on-policy」几乎是大模型后训练绕不开的咒语。但「知识蒸馏」(KD)这条线路上,有个被默认接受却越来越尴尬的隐含假设——教师模型是可靠的 oracle。在大模型语境里这经常不成立:教师预测可能高熵、会幻觉,直接拿 KL 散度抄过去,反而会破坏原本校准得不错的学生先验。\n\nIIT Delhi 的 Ayan Sengupta、Vaibhav Seth 与 Tanmoy Chakraborty(通讯作者)9 月 29 日把论文「Distilling What Matters: Confidence-Aware Selective Distillation for Large Language Models」挂上 arXiv(论文编号 2609.36734,被 NeurIPS 2026 接收)。他们把这套方法命名为 CaRE-KD,核心思路一句话:不再默认信任教师,改用置信度做门控。\n\n## CaRE-KD 的两步双粒度设计\n\nCaRE-KD 是「双粒度」,token 级和 batch 级各一道保险。\n\nToken 级:CaRE-Divergence 动态切 KL 方向。传统 KD 用的 forward KL 或 reverse KL 都是静态选一个;CaRE-KD 根据 teacher-student 置信度自动切换——教师更确定时鼓励学生去 cover 教师分布的尾巴(更像 forward KL);学生更确定时用 reverse KL 让学生收一收,别去采教师的高概率尾部。论文给出梯度级分析,证明这套条件式机制是「条件校准」,静态 KL 做不到。\n\nBatch 级:Revival 把不靠谱的教师挡掉。整个 batch 教师的认知不确定性比学生还高时,Revival 直接拒绝这次更新,不让教师的「不自信」传染给学生。Revival 是 loss-agnostic 插件,可以给已有蒸馏目标「加 buff」。\n\n## 数字怎么记的\n\n实验铺得扎实:8 对 teacher-student、11 个 benchmark,覆盖指令跟随、对话对齐、代码生成、数学推理。指令跟随 ROUGE-L +3.2(对比 Skewed-KL 与 α-β 散度),代码 MBPP pass@1 +2.1,数学 GSM8k +1.7、CollegeMath +1.8,事实性 LLM-as-judge 每任务最高 +2.5。\n\n## 为什么值得看一眼\n\nAnthropic 9 月报告把阿里、Moonshot、DeepSeek 三家 151 亿次蒸馏请求摆上台面——KD 已从「训练技巧」变成「核心战略资源」。CaRE-KD 的关键差异不在「提了几个点」,而在它直接拆穿了 KD 的「教师一定靠谱」假设,给了一套置信度门控和梯度级理论。Revival 是 loss-agnostic 的——可以装到今天跑在生产环境里的各种 KD pipeline 上,不需要重写训练循环。\n\n## 我的判断\n\n蒸馏的本质是在「教师有多可靠」和「学生有多能学」之间做权衡。CaRE-KD 的答案是:别假装教师完美,用置信度动态调整信任等级。这个思路放到更大的训练图景里也站得住——RLHF、RLAIF、DPO 这类「用另一个模型当裁判」的范式,本质上都在做类似的「信任 / 校准」选择题。IIT Delhi 这次的工作把这件事在 KD 上做到了工程化。