普通 SFT 有个大家心照不宣的副作用:模型学会听话的同时,把旧本事弄丢了。这篇论文的实测很直白——Qwen3 全系基座在微调后,8 项基准里有 6 到 7 项反而不如微调前;指令跟随确实大涨(4B 档 IFEval 从 45.5 涨到 76.3),但那是拿数学、代码、知识问答的集体回撤退回来的。

机制:把预训练的自己冻起来当老师

来自 MIT、Arizona State 与 UT Austin 的团队提出 Ambient SFT,思路一句话讲完:在标准 SFT 损失之外加一项「温度匹配」——把冻结的预训练模型当老师,要求微调中的模型去匹配老师在高温下的条件分布。温度就是信任旋钮:T 趋于无穷,匹配项消失,退回普通 SFT;T=1,就是经典知识蒸馏。实验统一用 T=2.5,每步以概率 0.75 走普通 SFT 损失、其余走温度匹配,老师和学生是同一个模型,同同步数训练只慢约 1.1 倍。Hinton 蒸馏里自带的 1/T 平方加权,作者实测并不在所有设置下最优。论文给自己的定位也坦白:这方法适合数据受限而非算力受限的场景。

理论侧给了三条保证:目标分布可以只从高温条件分布里恢复;温度越高,任意两个模型的条件分布越收缩;在对数线性模型假设下,Ambient SFT 严格优于普通 SFT 和蒸馏。方法名来自第一作者之前的 Ambient Diffusion 系列——那边从损坏数据训扩散模型,这边把小微调集看作「损坏」,让基座自己提供去噪后的监督。机制验证用的是 GPT-2 124M(OpenWebText,约 9B token):模型从自己不同温度采样的合成数据里学习,即便训练数据损坏强度很高,对干净数据的验证困惑度照样能压到很低。

数字:三个场景都验过

指令微调用 1% 的 Dolci-Instruct-SFT(约 2.1 万条)。Qwen3-1.7B 八项平均相对提升 20.3%,MATH 从 24.3 涨到 40.4;4B、8B、14B 档分别为 +8.0%、+10.2%、+8.7%。换家族也成立:OLMo-3-7B +15.4%,Llama-3.1-8B +8.3%。按论文口径,八项平均上,8B 的 Ambient SFT 相当于 14B 的普通 SFT;MATH 单项上,1.7B 的 Ambient SFT 已超过 8B 的普通 SFT。

和别的正则化同台(同 1.7B 设置):L2-SP +15.3%,KD(T=1)+17.0%,Ambient SFT +20.3%,NEFTune 和标签平滑基本为零。推理场景更能看出差距:OLMo-3-7B 在 1% 的 Dolci-Think-SFT 上,6 项里 5 项胜过普通 SFT(GSM8K 落后 1.2 分),平均相对 +3.5%;KD 和 L2-SP 分别是 -7.3% 与 -37.1%,论文据此称 Ambient SFT 是正则化对照里在推理档仍有提升的方法,且对 prompt 变体更鲁棒。域适配里 News 领域验证损失从 2.01 降到 1.68。数据规模的曲线也值得记:1% 档平均 +15.4%,10% 档 +3.4%,全量数据仍有 +8.6%。评测走的是 Ai2 的 olmes 套件加 vLLM 0.13.0 后端。

该泼的冷水

一是状态:arXiv v1,作者在 abs 页自己标注 Work in progress,尚未同行评审。二是 IFEval:八项里输给普通 SFT 的只有它(1.7B 档 58.8 对 52.3),而指令跟随恰是 SFT 数据的本职;论文的补救是按 21 个数据源分别设温度,IFEval 拉回 58.2、平均升到 +21.1%,但也坐实了单一温度有短板。三是边界:增益随规模变薄(1.7B 的 +20.3% 到 14B 的 +8.7%),也随数据变薄(10% 档只剩 +3.4%)。四是谱系:论文自己把它放进知识蒸馏与 LwF 持续学习的延长线——经典蒸馏里老师更强,这里的老师(冻结基座)在目标任务上严格更弱,只提供粗粒度监督;温度在 LwF 里是固定值,在这里则是显式的信任旋钮;和 2024 年的自蒸馏路线也不同,那边是用模型自己产的数据做 SFT,这边直接匹配老师的高温分布。另外,论文没有随文发布代码,别按已开源传。

所以呢:微调数据少的时候,先别裸奔 SFT——把预训练的自己当高温老师,一个损失项就能便宜地买回旧能力。但它的适用窗口论文写得很明白:数据越少、模型越小,越值。你的微调数据多到什么程度,决定这篇对你是一剂药还是一个脚注。

论文:https://arxiv.org/abs/2611.23229