MoE 架构里有一个很少被摆上台面的默认假设：每个专家属于它所在的那一层。路由器在每层内部挑专家，层与层之间的专家池彼此独立。清华与上海 AI Lab 的这篇论文把这个假设拆开看——不同层的专家在拓扑上独立，存储内容却高度相似。
先造一把能横向比的尺子
论文先造尺子再谈优化。作者用 linear-CKA 衡量专家两两相似度：给每个专家喂同一批探针 token，取响应矩阵去均值后算协方差，在协方差特征空间里做余弦相似度，得到专家间的 Gram 矩阵 K。K 半正定，它的特征值谱把相似能量摊到各个主方向上，论文用这个谱的基尼系数 ρ 作最终指标：ρ=0 表示能量均匀、专家完全互补，ρ→1 表示能量挤在少数方向、冗余严重。一个漂亮的性质是，若谱是均匀的 rank-k，基尼系数恰好等于 1−k/E，也就是说 ρ 直接等于"塌缩掉的专家方向占比"；又因为是比值，跨专家数、跨深度、跨训练预算都能横向比。
尺子量出的直接结论：Meta Expert 占比越高，损失和冗余都越低。反直觉的是，给 Local Expert 更高激活比例确实压冗余，代价是损失变差。论文的解释是，Local Expert 只在一层里被激活，更难训充分，训不足才导致冗余。
省下多少
扩展实验是四级深度阶梯，L∈{12,16,20,24} 的 Qwen3.5 风格纯文本 MoE，从零训练在 H200 上。每层 128 个路由专家加 1 个门控共享专家，top-8 路由，注意力按 3 层 GDN 线性注意力加 1 层全注意力的 period-4 交替，隐藏维度从 768 加到 1536，用 Muon 优化器和 WSD 调度。token 预算从 5.31B 到 34.92B，训练算力跨 7.135×10^18 到 2.413×10^20 FLOPs。
在专家总数与激活总数锁死、FLOPs 基本对齐的条件下，共享池版本用原版 70–80% 的专家就能匹配同等交叉熵，参数口径是 75–90%。合并各项消融的最优配置后，相对 Vanilla 省下约 20–30% 的专家、15–25% 的参数，且模型越深越大省得越多。
拓扑不是随手定的
论文把共享池的形状也扫了一遍。让某些层只用 Local Expert、把 Meta Expert 按 2/4/8 个子池分组循环访问，一般都会加重损失；反过来，轻度干预反而略好。最终在每个算力档位都最优的组合是：首尾各两层留给 Local Expert，加上 Meta Expert 分成 2 个交错子池。论文由此推断，最浅和最深的层功能分化最明显，彼此几乎不冗余——这也解释了为什么边界层必须保留专属专家。纯 Meta 配置在损失上略好，但训练不稳，最终采用的基线是 75% 比例的 MR75。
下游评测并不整齐
这是最该看的一段。论文训了 6B-A1.6B、200B token 的模型，在 MMLU、C-Eval、CMMLU、BBH、TriviaQA、OpenBookQA 上比了五个变体。MR75+Loop2 在 MMLU 上 0.4175、OpenBookQA 上 0.3640、C-Eval 上 0.4487，都高于 Vanilla 的 0.4087、0.3500、0.4354。但 BBH 上 Vanilla 的 0.2972 反倒高于 MR75 的 0.2912，要到 MR75+F2L2 才回到 0.3061；TriviaQA 上 0.2042 出现在 MR75+F2L2+Loop2，Vanilla 是 0.1924。论文自己也说得克制：受限于训练预算，不同变体在不同数据集上各有优势，需要更大规模验证，但引入共享专家的版本整体一致优于 Vanilla。
共享把残差路径变成双向
理论部分可能是全文最有分量的一块。Vanilla 分层 MoE 里，第 l 层的专家内容只能被更深的层读到，且因为读写算子不同，到达时已是冻结的混合成分；反向的梯度高速路虽然能把深层信号送回浅层参数，但那是参数级而非激活级的，深层信号会被中间层的训练信号稀释。共享之后，所有层的梯度写进同一份参数 θ，训练结束时 θ 存的是所有层写入的叠加，浅层于是能读到深层写进去的内容——残差通路从单向变双向。
作者在附录里主动收紧了这条论断：共享池的路径长度是 O(1)，与层距无关，这确实优于层式 MoE 那两条都要穿过 |m−l| 个 Jacobian 的旧路径；但单次前向的因果方向并没有改变，浅层读到的是训练期写入的内容，不是同一遍前向里更深层的激活。分析刻画的是访问能力与路径长度，不保证信号一定不消失。
已经在 35B 模型上跑起来
论文一作在 HF 论文页评论区说明，这套方法已放大到 Intern-S2-Mobius。该项目的 GitHub README自述：35B 基础模型，Mobius-v0 架构，用全局共享的 Memory 承载知识、多个 Reasoner 反复查询并精炼隐状态，主打 Backward Residual Connection 与 Dynamic Latent Reasoning，从 Qwen3.5-35B 继续预训练再经 SFT 与 RL，技术报告称端到端推理提速近 4 倍，HF 模型卡标注 36B 参数。这里要说清归属：这些数字都来自项目自己的 README 和模型卡，是官方口径，不是第三方复现。
所以呢
真正值得关注的不是"省参数"这个数字本身——20–30% 的专家节省在任何一次 MoE 效率讨论里都排不上号。值得看的是它顺手推翻了 MoE 一个很少被质疑的默认前提：专家不必是层私有的。如果专家池可以跨层共享，冗余就从"深度带来的必要成本"变成"可以被回收的容量"。
不过这份结论目前站在有限的地基上。实验主体是从零训练的小规模阶梯，下游评测在 6B-A1.6B 上都算不上整齐，BBH 上甚至出现退化。真正的检验在于共享池到了生产级规模还成不成立——那里专家之间的冗余结构可能完全不同，通信与显存开销也是另一个量级。作者把"推广到更大模型和更广架构"列为下一步，而 Intern-S2-Mobius 这个 35B 规模，正好是那个待验证的起点。
论文原文：arXiv:2610.27598