训练扩散模型，标准做法是让去噪器回归干净样本。这套做法里藏着一个几乎没人明说的假设——训练足够久。而现在没人训练得起足够久。
阿里集团和密歇根大学团队的解法反直觉：不是找更强的老师，而是找一个更弱的模型，让它指出强模型会在哪里训练不足，然后把回归目标往反方向挪一层。论文叫 SWIFT，arXiv 2610.25844，10 月 19 日提交（https://arxiv.org/abs/2610.25844）。
缺口不是随机的，弱模型能看见它
扩散模型的理想目标是后验均值，采样器假定训练出的去噪器就是它，但预算有限，实际拿到的去噪器一定够不着。
关键观察是，这种"够不着"不是随机噪声。同样类型的模型、同样训法，会在同样的方向上学得慢，因此缺口方向一致。一个更小的、或提前停止训练的弱模型，沿同一条方向掉得更远，它的预测等于把"训练会在哪里翻车"写了出来。既然知道往哪偏，就朝反方向瞄准。
方法只改一个东西：去噪器被要求预测什么。损失函数、加权、架构、采样器全部不动，回归目标换成 x0 加 α 乘以 x0 减去弱模型预测，α 是外推强度，取 0 就退回普通训练。这个目标把训练推到干净样本的另一侧，正好落在欠拟合方向的反面。
数字：18 个配置全部下降
论文在 ImageNet-256 上用一套固定配方，α 取 0.4 且不调参。DiffusionBench 的 18 个配置里（覆盖四种潜变量表示与像素空间），无引导 FID 全部下降 16% 到 49%，中位数 31%；用最佳引导设置时，带引导 FID 也全部下降。
匹配对照（同架构、同调度、同采样器，只差回归目标，括号内为带引导）：
- RAE/DINOv2-B：2.09→1.75（1.98→1.59）
- VAE/SD-VAE：5.49→3.77（2.32→1.81）
- 端到端/Qwen-VAE：4.94→3.23（1.50→1.40）
- 像素/PixNerd：20.37→10.31（4.17→3.38）
- RAEv2/DINOv3-L：1.56→1.15（1.04→0.99）
成本账：训练多花 9%，却省一半算力
弱引导模型默认约为主模型四分之一参数、训练时长减半，运行时不回传梯度，每步多约 9% 的 FLOPs；摊到单次 80 epoch 训练上，总量约为基线的 1.22 倍。训练结束后引导模型直接扔掉，采样仍是单网络加原采样器，没有额外推理开销。
更长的训练上账更反直觉。DINOv2-B 上，SWIFT 在第 120 个 epoch 就越过基线跑满 320 epoch 的最好成绩 1.53，自己拿到 1.50，训练 FLOPs 只有 0.45 倍；DINOv3-L 上第 50 个 epoch 的 1.34 就越过基线第 160 epoch 的 1.56，FLOPs 0.44 倍。
几个边界条件值得留意
目标是有意带偏的：无限训练下 SWIFT 反而不如标准训练，收益完全来自有限预算。定理保证的是到后验均值的距离，不是 FID 本身。消融方面，α 在 0.4 到 0.8 之间比较好，曲线 U 形，太大会过冲；引导模型要弱但称职，一半宽度最好，CIFAR-10 上 FID 从 2.58 降到 1.60，再小就伤。
所以呢
这篇论文的启发可能不在"又一个涨点的方法"，而在于它把回归目标当成可设计的变量。主流图像模型调优都在架构、数据、采样器上花力气，目标函数一直照抄标准做法。而它说明，在预算受限时，你手头已经有的那个弱模型，本身就是一份关于"缺什么"的信息。