MoE 开源模型省显存的通行做法,是把路由器很少用到的专家整块剪掉,剪掉一半专家能省下 44.3%-47.5% 的参数。但剪谁不剪谁,取决于一份小小的校准集——而绝大多数团队的校准集默认英语。新提交到 arXiv 的 41 页论文(编号 2611.07654)用 48 组受控实验给出回答:英语校准剪掉的,主要是小语种的能力,而且英语成绩单几乎看不出任何动静。
48 组受控网格:四款主流开源 MoE
实验对象是四款 26-35B 总参、3-4B 激活的开源 MoE:Qwen3-30B-A3B、Qwen3.6-35B-A3B、Gemma-4-26B-A4B、GLM-4.7-Flash,恰好是小集群部署常见的一档。剪枝方法是 REAP——按路由器权重和专家输出大小给每个专家打分,分数最低的整层剔除;每层剪掉 25% 或 50% 的路由专家。校准集三选一:纯英语、纯立陶宛语、五五混合;语料域二选一:维基百科或欧洲议会平行语料。4 模型 × 2 语料域 × 3 校准语言 × 2 剪枝比例,共 48 个剪枝模型,再加 4 个未剪枝基线,全部在阅读理解(Belebele)、双向翻译(FLORES-200)和维基百科语言建模上做英语/立陶宛语双语评测。
立陶宛语是块好的试金石:它只占 Common Crawl 的 0.17%,英语占 42.6%;同一句话,立陶宛语要多花 1.7-2.1 倍 token;七个名词格,九个带变音符的字母,犯错空间极小。
核心结果:伤害完全不对称
25% 剪枝、英语校准下,英语阅读理解中位数只掉 1.7 分,立陶宛语掉 21.4 分。极端个案:Qwen3-30B 配欧洲议会英语校准,英语保持 93.3%(仅比基线低 1.0),立陶宛语从 89.9% 直坠 22.3%——四选一瞎猜也有 25%。三套基准的立-英退化差距全部同向:阅读理解 +23.5 分,译入立陶宛语 +12.8 chrF++,语言建模退化 +50.0 个百分点。
校准集换成立陶宛语,剧本立刻反转:立陶宛语阅读理解平均找回 25.5 分,译入立陶宛语找回 28.2 chrF++,翻译成绩全面回到未剪枝模型 1.1 chrF++ 以内;英语非但没受损,阅读理解反而平均高 2.5 分。在这组网格里,校准语言一项就解释了立-英差距方差的 39%-70%,超过模型、剪枝比例、语料域任何一个因素——它才是主导变量。
模型之间也有温差:专家数 256 的 Qwen3.6 在 50% 剪枝下平均只掉 11.5 分,其余三款要掉 16.7-66.4 分;同一个 Qwen3-30B,欧洲议会英语校准把立陶宛语打到 22.3%,维基百科英语校准下还能剩 67.4%——校准语料域的影响同样肉眼可见。
为什么:路由集中在两头
论文给出的机制解释是路由结构。网络中段,两种语言共用大部分专家;到了首尾两层,立陶宛语开始走自己的路,而末层它把 55%-72% 的专家选择压在仅仅 8 个专家上,英语对应的数字是 19%-39%。英语校准平均剪掉这 8 个专家里的 0.86-2.88 个,立陶宛语校准至多 0.71 个。被英语校准剔除的专家,此前承载着 20.2% 的立陶宛语路由,却只承载 13.6% 的英语路由——对英语无关痛痒,对立陶宛语是半条命脉。
剪到一半:失效模式清单
剪枝比例翻到 50%,损失放大 2.4-6.9 倍,连立陶宛语校准也兜不住:其余三款模型仍要掉 6-15 分,Gemma 4 则无论哪种校准,立陶宛语全面崩到随机水平,英语 6 组里也有 4 组如此。失效形态非常具体:GLM-4.7-Flash 在 25% 剪枝时就有 27%-36% 的译入立陶宛语输出刹不住车、撞上 256 token 上限,欧洲议会英语校准的 50% 配置达到 94%;50% 英语校准下,59.4% 的输出英语词多过立陶宛语词,立陶宛语校准只有 10.9%,未剪枝模型为零;模型开始造词,32.6% 的立陶宛语形词在任何参考译文里都不存在,立陶宛语校准时仅 6.2%;还有 948 条输出只吐出半个 UTF-8 字节、变音符直接乱码,其中 88% 来自 GLM-4.7-Flash。
所以呢
这篇论文里分量十足的一句不在结论,在评测含义那节:25% 英语校准的 8 组配置里,5 组英语成绩保持在基线 2 分以内,同时立陶宛语暗跌 19.3-67.6 分。只看英语榜单,这种损伤永远不可见。作者留了三条实操建议:用目标语言或混合语料做校准;保守剪枝;上线前用目标语言测生成,盯住跑飞、串语言、重复循环、字母塌缩这些退化信号。对中文场景,结论不能直接外推——论文没测中文,中文的语料占比与路由结构和立陶宛语都不同——但方法学教训是普适的:压缩报告里不写校准语言,这份报告就只对校准语言负责。
论文原文:arXiv 2611.07654