Muon 是这两年预训练最热的优化器。论文的相关工作提到，Kimi、GLM-4.5 这些前沿模型已经用 Muon 或其变体做过预训练。但围绕优化器优劣的讨论几乎都停在一件事上：预训练损失。谁的 loss 更低，谁就是更好的优化器。

卡内基梅隆大学的一篇新论文把这条前提本身当成了研究对象。论文报告的结果有点反直觉：当预训练数据量足够大时，预训练损失更低的那一方，微调之后反而更差。实验规模近 600 次预训练加 2.9 万次微调，反转点在 2.4B token 处，模型越大反转来得越早。

先把"赢"这件事定义清楚

论文不比单次微调的分数，而是把每个基座能到达的结果收成一张前沿图：横轴是微调后的预训练损失（忘掉了多少），纵轴是微调损失（学会了多少）。学得越多忘得越多，所以只取左下角那条帕累托前沿。两个前沿用一个带符号的量比较，正数代表 AdamW 压过 Muon，负数代表反过来。

数据预算用 token 与参数之比 TPR 衡量，即每个参数摊到多少预训练 token。关键指标是交叉 TPR——AdamW 前沿开始压过 Muon 所需的最小 TPR。

实验用的是 OLMo 风格解码器模型，30M 到 600M 五档参数量，语料是 DCLM，tokenizer 用 OLMo 2。微调侧覆盖 GSM8K、StackMathQA、Alpaca 和 MusicPile 四个数据集，每个基座微调 20M token。

反转点在哪

在 StackMathQA 上、数据量最小的那档（2.4B token），Muon 在前沿图上直接压过 AdamW，差距为负。越过这个量级方向反过来：AdamW 拿到更低的微调损失，同时忘得更少，差距转正。

论文把反转拆成两个同时发生的变化。一是 Muon 的预训练损失优势随模型变大而收窄；二是同样固定 TPR 和微调损失，Muon 相对 AdamW 忘得越来越多。两边叠加，AdamW 就能在更小的数据预算上完成反超。

规模效应体现在交叉 TPR 上：StackMathQA 上，30M 模型要 320 TPR 才翻转，600M 模型只需要 10 TPR。模型越大，AdamW 翻盘越早。

换微调优化器救不回来

自然的怀疑是：差异也许来自微调配方而不是基座本身。论文做了对照。在 GSM8K 上，AdamW 预训练的基座无论用哪个优化器微调，AdamW 微调的前沿在每个预算下都压过 Muon 微调；而 Muon 预训练的基座，两种微调的前沿挨得很近，没有稳定赢家。更关键的是，1.2B token 时 Muon 预训练的两条前沿还在 AdamW 预训练之下，19.2B token 起 AdamW 预训练加 AdamW 微调的前沿同时压过另外两条。

结论是差异出在起点，不在配方。

用 replay 或 EWC 这类正则化做微调，两个前沿都能少忘一些，交叉点还能往外推——在 Alpaca 和 StackMathQA 上从 80 TPR 推到 320 TPR——但大预算下 AdamW 的前沿依然更好，只有 EWC 加 StackMathQA 在 2,560 TPR 这档例外，差距又变回负的。

机制：把遗忘换算成一个可测的量

论文的解释路径是：微调本质上是给输出分布加扰动，所以要看基座对输出扰动的鲁棒性。

对应的指标叫 margin-to-spread ratio（MSR）——正确 logit 与错误 logit 平均值之间的差距，再除以错误 logit 的离散程度（以它们的标准差度量）。MSR 越大，正确答案被撑得越开，对扰动越不敏感。在真实语言模型上，论文在留出的 DCLM 文本里逐 token 算 MSR，取正确预测位置的中位数，覆盖 30M 到 100M 三档：预算小的时候 Muon 更大，预算足够大时 AdamW 更大，方向和微调结果的翻转一致。

理论部分用线性联想记忆做模型，把每个事实表示成键值对，用一个权重矩阵关联起来。论文证明，从零初始化出发做一次更新后，梯度下降与 Muon 的 MSR 之比随数据预算上升，主项是 3π/8 乘以（1 减去 9 除以 10γ）。3π/8 约等于 1.178，在 γ 约 5.95 处越过 1，论文在 γ 大于等于 16 的区间给出严格证明。模拟实验显示多步训练后趋势依旧。

有个必须点明的口径问题：理论比的是梯度下降和 Muon，不是 AdamW；线性联想记忆只是玩具模型，论文自己说明这不构成对 AdamW 的直接证明。

边界与相反证据

论文与另一条线索的结论并不一致。Ruan 等人的工作《Muon Learns More Robust and Transferable Features than Adam》报告 Muon 预训练的模型在 Alpaca、Dolly 和 WizardLM 上全量微调后迁移性更好。CMU 这篇的作者认为两者在小数据区间一致，但随着预训练数据增长结果会变；他们也承认两篇研究的模型和下游评测不同，不算对照复现。

论文自己划的边界还有几条：微调分布贴近预训练分布，本质就是继续预训练，结论未必适用；MSR 只是候选的优化目标，论文明确表示没有把它确立为经过验证的训练目标，也没有证明它就是反转的原因；实验规模到 600M 参数为止，交叉 TPR 的具体数值依赖任务，可靠的是趋势方向。

所以呢

这篇论文值得带走的不是"Muon 不行"或者"AdamW 要反超"，而是一个方法论提醒：预训练损失衡量的是模型有多会预测训练分布，不是它有多容易被改造。而且随着数据预算变大，这个代理指标还在变差。

论文结论一节把话说明白了——超参数、数据、架构这些预训练决策现在大多按预训练损失来选，但更低的预训练损失并不保证模型微调后更好。论文给出的方向是把可适应性当作和损失并列的优化目标，MSR 是一个候选指标；至于它能不能真的拿来做训练目标，论文没有给配方。

（全文与图表见 arXiv 论文页）