每次新模型发布, 配方单上总列着几项「带来的改进」: 更好的注意力、更省的优化器、更聪明的路由. 但每项改进都是对着自家 baseline 单独测的, 换个环境叠在一起, 还剩多少? 摩根大通 LLM Suite 团队的 Biswa Sengupta 把这个问题做成了严格实验, 论文 11 月 18 日挂上 arXiv (https://arxiv.org/abs/2611.24540), 页首声明这是信息性文档、非投研产品.
同一个模型, 五个开关
baseline 是个 8 层、51.5M 参数的标准 decoder, 在 FineWeb 上按 3 亿 token 预算训练. 上面挂五个可开关的改动: E 把第 2-8 层换成 32 专家 top-3 路由, 总参数 161.3M、激活 51.6M; M 把隐层权重矩阵交给 Muon 更新, 其余参数仍用 AdamW; H 把第 1-3、5-7 层换成 Gated DeltaNet 线性记忆, 只留第 4、8 两层全局注意力 (这两层连位置编码都不用); S 给每个子层的输入和输出都加归一化; G 给注意力输出加 sigmoid 门控, 同时收窄前馈层来对齐激活参数量.
实验设计本身是亮点: 经典分数因子设计, 16 个组合、每个组合换随机种子重复一次, 共 32 次核心训练、约 96 亿 token. 学习率按优化器家族各自扫过: AdamW 峰值 0.002, Muon 峰值 0.016, 后者每次更新跑 5 次 Newton-Schulz 迭代. 同种子的组合喂完全相同的批次 (用首批哈希校验), 最终损失在 1049 万个 held-out token 上计算.
结果: 四项真有用, 一项约等于零
按两种子平均的损失对比 (nats, 负值代表有利): 专家路由 E -0.0983, Muon -0.0506, Gated DeltaNet 混合 -0.0365, 额外归一化 -0.0194, 都越过 ±0.0043 的参考带; 注意力门控 G 是 +0.0018, 落在带内, 平均意义上没有收益. 单开关对比在两个种子之间的差异不超过 0.004 nats. 五项全开的组合在两个种子下都是选定集合里损失最低 (3.6792 与 3.6750). 两个种子间 15 组对比的相关系数 0.996, 复测相当稳.
两个反转点
第一个是 G 的故事. 单独把 G 加到全关 baseline 上, seed-0 损失降了 0.019 nats, 看着像有效; 放进组合里复测, 平均值变成 +0.0018. 论文也老实交代: 这不能证明门控本身没用, 因为 G 为对齐参数量收窄了前馈层, 也可能是别的改动削弱了它的收益. 而提出这个门控的原始论文在 15B MoE 和 1.7B 稠密模型、3.5 万亿 token 的设置里测得它稳定带来增益 (https://arxiv.org/abs/2505.06708) — 同一个部件, 量级和预算不同, 结论可以完全反过来.
第二个是统计口径. 初始用 Lenth 伪标准误估计噪声约 0.020 nats, 只有 E、M、H 显著; 换成重复实验估出的 0.0036 (小了约 6 倍) 后, S 和若干交互项也浮出水面. 一开始被当成噪声的信号, 是真实存在的. 交互项也不可忽略: 最大的成对交互 MH/GSE 达 +0.0122 nats, 加上参考带约 0.017, 贴着论文自设的 0.02 nats 实用界.
该泼的冷水
- 量级: 51.5M 激活参数、单一语料、1024 token 上下文、3 亿 token 预算, 训练时长、能耗与推理速度也没有对齐, 结论不能外推到前沿大模型.
- E 的收益混着约 3 倍的总容量 (161.3M 对 51.5M), 不是纯路由技巧的贡献.
- 分辨率 V 设计有混叠: G 的对比里混着四开关联合效应, 要彻底拆开需要全部 32 个组合, 这里只跑了 16 个.
- 验证集同时用于调参和最终比较, 属于开发集结果, 不是新测试集.
- 开发中还抓到两个数值 bug: 一个 RMSNorm GPU kernel 会泄漏未来 token (更小宽度的测试漏掉了它), 一个 sigmoid 路由在极端 logits 下梯度下溢. 修复前的低损失是假的.
所以呢
优化器这条线上, 独立证据方向一致: Moonshot 的 Moonlight 把 Muon 扩到 16B 规模, 缩放实验给出约 2 倍计算效率 (https://arxiv.org/abs/2502.16982); 另一支团队系统评测十种优化器后也警告, 排名严重依赖调参和评测设置 (https://arxiv.org/abs/2509.02046). 作者的落点也写在摘要里: 先把有希望的组件放在一起测, 再重复比较, 然后才决定留下哪些. 这篇论文的方法论价值大于任何单个数字: 别按论文清单逐项打勾, 把候选组件放进同一个实现、同一份预算里对比, 至少跑两个种子 — 单开关、单种子的「有效」, 可能只是噪声、混叠, 或者一个还没被发现的 bug.