Hugging Face 工程师 Sergio Paniego 把过去一年各家前沿实验室的蒸馏用法梳理成三条主线。 **第一类:经典「大老师带小学生」**。Gemma 3/4、DeepSeek-R1-Distill 走这条路,把大 teacher 在 next-token 分布或生成文本上的能力压到小尺寸 student。 **第二类:用蒸馏把多个 RL 专家合并成一个学生**——这是今年各家真正收敛的方向。DeepSeek-V4 在数学、代码、Agent 各训一个领域 expert,再 on-policy distillation 合并回单一模型;MiMo-V2-Flash 命名 MOPD;NVIDIA Nemotron 3 Ultra 推到十多个 teacher;GLM-5 用它找回 RL 后期遗忘的能力。Qwen3 给出关键数字:这条路 GPU 小时只有纯 RL 的 1/10,效果反而更好。 **第三类:self-distillation**。Cursor Composer 2.5 用「带 hint 的自己」对齐「不带 hint 的自己」;Thinking Machines 用「上一版自己」蒸馏回「这一版自己」,直接解持续学习难题。 三条线本质是同一个 teacher-student 在不同尺度的回归——蒸馏正从「压缩工具」演变为「训练范式」。