MoE 模型每一层动辄上百个专家,单个专家到底负责什么?过去最常见的回答是"数频率":拿一批打好领域标签的语料,看每个专家被路由器选中多少次。字节 Seed 团队 11 月 5 日挂上 arXiv 的论文《SAE Interprets MoE》换了一把尺子——不数"谁被选中",而是算"谁真的贡献了激活"。结论颇有画面感:在 Qwen3-30B-A3B 身上,Java 代码和前端 web 代码由不同专家负责,几何与算术、多项式也各有分工,专家的"职责说明书"比想象中细得多。

老方法的三个盲点

论文先把"数频率"式分析批了三条:第一,分类体系是事先固定的——你先决定语料按哪些领域打标签,再看专家往哪儿落,专家自己没有发言权;第二,粒度粗,最多得出"这个专家偏代码"这个量级的结论;第三,也是最要命的,它记录的是路由器的选择,不是专家的贡献。路由器给了某个专家一份权重,不等于这个专家就对输出产生了等量的影响。

线性代数送的免费午餐

新方法的核心是一步很干净的数学。MoE 层的输出是被激活专家输出的路由加权求和;稀疏自编码器(SAE)的编码器又是仿射变换。两者叠加,意味着每个 SAE 潜变量的预激活值可以精确分解到各个专家头上——不是近似拟合,是代数上严格成立的恒等分解。在整个语料上聚合这些贡献分数、再做阈值化,就得到一张"专家—潜变量"的二部支配图:每个潜变量由少数专家主导;把某个专家主导的潜变量收拢去做自动解释,就得到这个专家的职责描述。换句话说,SAE 在这里不只当解读工具,还兼职了一台精确的"贡献分摊记账机"。

在 Qwen3-30B-A3B 上看到了什么

团队在第 4、30、46 三层上训练 SAE 并做分解,三个结果值得记住:

  • 贡献远比门控集中:大多数潜变量只有一到两个主导专家;
  • 专家间的重叠也高度集中:支配集之间的重叠聚在少数几个专家配对上,而不是均匀混杂;
  • 分工落在粗领域之下:同样是代码,Java 与前端 web 代码是两个不同的专家;同样是数学,几何与算术、多项式也分了家。而粗粒度领域之间占用的专家数量"极不均衡"——有的域一堆专家,有的域寥寥无几。

自动解释这一步用的是 GPT-5.5(仓库标注版本 gpt-5.5-2026-04-24)。第 30 层全部 128 个专家被打上标签、归进 11 个域,解释文本、标签与主题判定全部随代码放出;项目页还提供这 128 个专家的交互式浏览器,可以逐个点开看词云和职责。

复现门槛与开源诚意

想复现,先掂量硬件:Qwen3-30B-A3B 的 bf16 权重约 61 GB,每层 fp32 SAE 编码器再加约 8 GB,一次追踪三层需要两张 80 GB GPU;软件上要求 transformers<5。统计部分建立在约 15 亿 token 的验证集上,取自 Olmo 3 训练语料(5/8 Dolma 3 预训练数据、1/4 Dolci-Think、1/8 Dolci-Instruct),且与 SAE 训练数据互不相交。SAE 本体是 TopK 结构——2^20(约 105 万)个潜变量、k=100——三个层的权重已发布在 Hugging Face(仓库 ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE,同步给出国内镜像),代码以 Apache 2.0 开源,每个实验目录都附带复现用的 run.sh。对想在自己模型上复刻这套"专家分工图"的团队来说,门槛从"想清楚方法"降到了"攒两张 80 GB 卡"。

所以呢

这项工作的价值不止"又解读了一个模型"。它把 MoE 可解释性从"看选择统计"推进到"看精确贡献",顺手给下游工程递了工具。本站前两天刚报道过一项 MoE 剪枝研究:按英语校准去剪专家,立陶宛语直掉 21.4 分,英语只掉 1.7——伤害为什么这么不均匀?因为没有人真的知道每个专家管什么。先有一张可靠的专家分工图,剪枝、路由调试、负载均衡这些工程决策才有据可依。黑箱从来不是打不开,更多时候是我们拿错了钥匙。

参考:arXiv 论文页 · GitHub 仓库(代码、数据与 SAE)