cosine 退火几乎是预训练学习率调度的默认答案,大家调参时盯着的都是名义学习率曲线。一篇新论文把提醒直接写进了标题:Your LR Schedule May Not Be Principled——你的学习率调度,可能没道理。问题不在曲线选得不够精细,而在调度的对象本身就选错了。标题里的 Principled 一词,针对的正是“人人都在用、却说不清为什么”的现状:调度曲线长期靠惯例和消融实验挑出来,而不是从一个明确的调度对象出发做设计。

权重归一化的收益,另有其主

背景是权重归一化(weight-normalized,WN)训练正在成为传统权重衰减(weight decay,WD)的替代方案,近期研究报出了可观的预训练 loss 收益。这篇论文(arXiv:2610.40362,作者 Qifan Yu、Xinyu Ma、Xingyan Bin、Di He;Hugging Face 论文页将团队标注为 ByteDance Seed)先把刀砍在归因上:这些收益主要由 WN 诱导出的有效学习率(ELR)轨迹驱动,而不是归一化本身。证据是,一旦把两条 ELR 轨迹匹配起来,WN 和 WD 的训练 loss 动力学会大体坍缩成同一条曲线。

换句话说,WN 与 WD 之争里真正起作用的变量,是被归一化“顺手”改写的有效学习率;调度设计应该直接看准 ELR,而不是名义 LR。归因一换,两个阵营的对立叙事就都站不稳了:WD 用户不必羡慕 WN 的数字,WN 用户也不该把收益记在归一化头上。

AIR:理论推导的 1/√t,加上一层仿射

沿这个原则,论文提出 AIR(Affine Inverse-square-Root decay):在理论上推导出的 1/√t 衰减之上,叠一个仿射调整,使得在有限训练步数内,峰值学习率和终端学习率都能落在预设值上。论文还进一步识别出收益的关键来源是晚期 ELR 调度——因为共享的晚期调度会稀释早期 LR 选择的影响,收官阶段的曲线形状才是大头。这也顺带解释了一种常见体感:早期 warmup 的具体形状常常没想象中关键,只要晚期把 ELR 收得足够好,前面选择的差异会被摊薄。调参的优先级因此要倒过来——先定收官曲线,再回头谈起点。

1280 亿 token 的 MoE 预训练实测

实验规模不小:128 B-token(即 1280 亿 token)的 Mixture-of-Experts 预训练。按论文口径,AIR 在训练 loss、下游表现和超参鲁棒性三个维度上超过 cosine 及其他候选调度;在累计学习率对齐的条件下,终端训练 loss 比 cosine 低约 0.01。更有说服力的是反向验证:把同一条 ELR 轨迹套回 WD 训练,能复现对应的训练动力学——收益不是 WN 专属,ELR 才是那个“有原则”的调度对象。

当然,边界也清楚:这是单一团队的 1280 亿 token 实验,HF 论文页发布一天只有个位数的赞,第三方复现还没有出现,现在就说“cosine 可以退场”为时尚早;但“调调度先看 ELR”这个视角,值得每个调参的人放进工具箱。

所以呢

这篇论文真正搬动的不是某条具体调度曲线,而是“调参对象”本身:名义 LR 是你写进配置文件的数字,ELR 才是权重真正感受到的步长。下次复现别人配方失败,先别急着怀疑随机种子——把两边的有效学习率轨迹画出来对一对,可能是更该先做的事。