预训练里有一类操作:只在某段窗口里生效,到某个点就撤掉,之后再也不出现。常见做法是临时加一段权重衰减。直觉上窗口一撤就该翻篇,实测却不是这样。

论文《Delayed Effects of Temporary Weight Decay in Muon Pretraining》(arXiv:2611.17876,2026 年 11 月 13 日提交到 arXiv,作者来自 Meta、Mila-Quebec AI Institute、Université de Montréal 与 Samsung SAIL Montreal)给出反直觉的曲线。

撤掉那一刻,反而更差

主配置是用 Muon 优化的 decoder-only Transformer,规模从 162M 到 3.4B,数据集是 FineWeb100B(FineWeb 的 100B token 采样)。做法很简单:在一段窗口内打开解耦权重衰减,窗口外关掉。

最有代表性的一组在 1.4B 上:衰减系数 0.15,作用在训练前 44%,schedule 是在 162M 上挑出来直接搬过去的,没重新调参。窗口在第 12,320 步结束时,这条曲线比不用衰减的对照组差 0.26 nats;两者用相同更新规则继续跑,它一路慢慢追,到第 20,440 步(占总训练约 73%)才反超,最终比对照组好 0.0275 nats,也比采样到的最佳常数衰减基线好 0.0264 nats。而在 1.4B 上直接重新采样最优 schedule,只比搬过去那版好 0.0020 nats。

也就是说:撤除时的表现,和最终的结果符号相反。

三件事被混在了一起

论文接着拆开这个现象:临时 schedule 有三个可分离维度,却常被当成同一件事。

开始时间会翻转符号。在三个规模上,同样是 10% 窗口、同样系数,起始于初始化的版本同时打败「不用衰减」和「最佳常数衰减」两个参照;挪到训练 60% 处才开始的同样窗口,两个参照都打不过。这些窗口都落在恒定学习率阶段、施加同样的乘性收缩,所以是时机效应而非收缩量效应。

持续时长比系数更值得调。162M 上跑 16,000 步(算力最优预算的 5 倍),在时长与系数的 4×3 网格里,固定系数改时长,最终改善量在 0.026–0.035 nats 之间动;固定时长改系数,只在 0.007–0.010 nats 之间动。即便把总对数收缩量 D 对齐到 2.1 左右,窗口从 700 步拉长到 3,564 步,改善幅度还是翻了一倍以上——决定结果的是时间分布,不是缩小的总量。

评估时点会改写排名。405M 上,按「同一个最终 checkpoint」比较和按「撤除后多训同样步数」比较,早开始窗口的排序是相反的:前者偏好 20% 起始,后者偏好起始于初始化。

范数亏缺与相对步长

机制解释落在权重范数上。早期衰减把权重压小,这影响撤除后仍在:1.4B 那组里,撤除时权重范数只剩不用衰减时的 12–16%,到最终 checkpoint 也只有 60–66%。范数小,相对步长(垂直于权重方向的更新量,除以权重范数)就大,而这个差距收敛得很慢。论文给的近似范数动力学递推是:从第 400 步到第 2,800 步,递推式里的范数项涨了约四倍,两次运行之间的差距变化远小于此,相对步长比值只从大约 1.6–1.8 回落到约 1.1。

固定范数重放做了直接检验:把权重范数钉在初始值,只重放实测的相对步长轨迹,早期衰减那条轨迹的最终损失比不用衰减的轨迹低 0.022–0.023 nats,而原始两次 Muon 运行之间的差距是 0.0171 nats。轨迹交换实验更干脆:撤除之后的步子贡献了 0.0221 nats 重放差距中的 0.0181;只在干预期间用早期轨迹、之后换回普通 Muon,只换来 0.0003 nats。反向扰动也对得上:早期抬学习率会抬高范数、压低后续相对步长,三个提学习率版本最终损失都更差。

不是权重衰减的专利

为排除「这只是乘性权重衰减的特例」,论文换了个形式完全不同的干预:离对角 Gram 惩罚。162M 上,10% 窗口分别从 0%、20%、60% 开始,最终损失变化是 −0.0147、−0.0080、+0.0209 nats,同样的时间依赖;五次配对运行里,早期 Gram 惩罚比不加正则好 0.0142 nats。分解后,径向分量几乎复现了整个惩罚的效果,切向分量几乎没有影响——起作用的是范数而非方向。

跨到 3.4B,以及它没覆盖的部分

3.4B 上结果同向。从 1.4B 迁移的 12,320 步版本最终损失 2.4638,对照组 2.4832,五个任务的平均零样本准确率 66.90 对 65.30;两个常数衰减参照既没降低损失(2.4843 和 2.4895),平均准确率只有 65.68 和 65.69。代价是等待:这组在撤除时比对照差 0.2973 nats,要到第 25,400 步才稳定低于对照。

论文自己划清了边界。多数未做复现的配置只有一个种子;系数不是通用的,机制测量集中在 162M;在 405M 和 1.4B 上,下游评测并未显示临时衰减相对常数衰减的优势;换成 AdamW,162M 上有效而 405M 上无效,现象并非与优化器无关。加 10% 线性 warmup 也消不掉延迟交叉——16,000 步的 162M 实验里,第 8,000 步时还差 0.0237 nats,到第 14,400 步已经好了 0.0373 nats。

所以呢

方法论后果很直接:评估一个临时优化干预,得在你真正打算用的训练预算上评估,而不是在撤除那一刻。按撤除点的损失去挑 schedule,可能挑出一个最终更差的方案。

机制上的交叉印证也有人在做。另一支团队在 arXiv:2608.24814 里独立把学习率与参数范数之比当作损失动力学的主导坐标,把「延迟加速」描述为范数控制反复出现的效应——与本文的相对步长解释是同一套语言。Muon 的设计文档(https://kellerjordan.github.io/posts/muon/)解释了为什么范数小会让相对更新变大:更新矩阵经 Newton-Schulz 迭代近似正交化,幅度受控,权重越小,同样大小的更新相对权重越大。

三个方向凑到一起,指向一个不太舒服的结论:训练中途看到的曲线,可能不是最终结果的预告,只是它自己那一段的故事。