MoE(混合专家)模型有个流传很广的直觉:每个专家各管一摊,代码专家管代码、医学专家管医学。但另一派研究一直唱反调:路由决策更多由 token 身份和隐状态几何决定,看不出领域专长。这个争论持续了好几年,arXiv 上一篇 55 页的新论文给出了调停答案:两派都没错,只是都看错了层——真正的领域分工不在专家那层,在神经元那层。
神经元才是分工单位
作者提出 RAMP(Routing-Aware Magnitude Profiling)度量:按神经元所在专家的路由系数加权,衡量每个神经元对计算的真实贡献。用覆盖对话、数学、医学、中文、代码的九组混合语料做校准,在 Qwen3-30B-A3B、Qwen3.5-35B-A3B、Qwen3.6-35B-A3B、GLM-4.7-Flash、Qwen1.5-MoE-A2.7B-Chat、OLMoE-1B-7B-0125-Instruct 六个模型上跑下来,结论非常整齐:选取前 6.25% 神经元时,同一领域的神经元集合跨样本重叠 58-74%;跨领域的重叠只有 15-24%。领域信号在神经元层清晰存在。
分布方式更能说明问题:62.64-82.50% 的领域专属神经元集中在少数格外偏爱它们的专家里,这种富集与专家路由偏好正相关(中位 Spearman 相关系数 0.42-0.71)。这就解释了为什么一派能测出领域偏好、另一派测不出功能边界——领域神经元散布在多个专家中,专家级统计把信号平均掉了。
训练动态:表面稳定,底层翻腾
论文还追踪了训练全程的神经元重要性演化(OLMoE 完整训练轨迹,加上 OpenMoE 与 Instella 的分阶段组合)。预训练相邻 checkpoint 之间,专家级重要性排名已经趋于稳定,神经元重要性排名相关性却只有 0.842-0.939——底层一直在重排;进入后训练阶段,相关性升至 0.997-0.998,基本冻结。只盯专家层,会严重低估训练中实际发生的重组。
剪枝的实用账本
分析工具直接变成了压缩工具 RAMPr:不再按专家整体删除,而是跨专家挑神经元保留,分累积重要性版(RAMPr-L)与领域均衡版(RAMPr-D)。账本如下:保留 75% 神经元,六个模型平均保住原始性能的 91-98%;保留 50%,常驻显存降低 36-43%,批处理预填充吞吐反而提升 17-39%。在 GLM-4.7-Flash 上,RAMPr-D 的 11 任务宏平均成绩比专家剪枝基线 REAP 高 2.91 个百分点。论文附录注明,全部任务分数用 lm-eval 0.4.13 在 vLLM 0.29.0 上以 BF16 精度统一评测,原始模型与每个剪枝变体采用完全相同的设置。
所以呢
这篇论文对两类人直接有用。做部署的:显存是硬通货,砍一半神经元只掉个位数百分比的成绩,私有化部署和资源受限场景直接受益。做可解释性研究的:它把专家分工之争从口水仗变成可测量问题——粒度选错了,结论自然打架。顺带一提,这种训练全轨迹分析只在 OLMoE、OpenMoE、Instella 这类完全开源的 MoE 家族上做得出来,开放权重给社区的研究红利,这篇论文本身就是证据。下一个问题也许是:既然神经元才是功能单位,MoE 按专家划分容量的设计,是不是一开始就切错了粒度?