arXiv 2607.08601 提出的 MAESTRO 把 MoE 专家剪枝从「局部打分」推到「全局 Markov 链平稳分布」。每个 token 只激活少量参数,但所有专家权重都得常驻显存——MoE 大模型部署这层「内存税」被诟病已久。MAESTRO (Markov-chain Approximated Expert Sparsification via Transition-based ROuting) 没有去卷新架构,而是盯住最朴素的工程问题:哪些专家值得留？ 作者把自回归的专家激活轨迹建模成遍历马尔可夫链,让稳态分布编码跨层依赖,作为全局重要性启发函数。常见 layer-wise 打分方法只盯着 token 在当前层喜欢谁,MAESTRO 关心的是专家之间长期的「对话模式」:谁被反复连叫,谁只是偶发路过,稳态概率一字排开。 50% 严格压缩下,跨 Safety、Bias、Ethics 等五个领域平均性能保留比 SOTA baseline 高出最多 10.61 个百分点,跨任务方差也显著降低。换句话说,剪掉的不只是分数低的专家,而是「破坏路由一致性」的那批——传统启发容易把「偶尔被叫到的备用专家」误判为冗余,留下真正干扰下游特征的「路由噪声节点」。 最有意思的不是 50% 压缩本身,而是它在鲁棒性维度上的稳定性。MoE 裁剪最怕「能力一起裁没了,偏见悄悄留下来」——传统 layer-wise 打分做不到的事,MAESTRO 用平稳分布给出的全局剪枝启发给出了一个实证答案。对所有还在纠结「如何把 200B+ MoE 实际部署」的团队,这是一份把"剪枝"从经验手艺升级到带数学基底方法的清晰示范。