MoE 模型推理的瓶颈早就不在算力，而在显存带宽：每个 token 都要从显存里把路由到的专家权重搬一遍，小批量交互式解码时，这部分开销直接压过计算本身。近期提交到 arXiv 的论文《Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data》(arXiv:2610.37386) 冲着这个瓶颈来，但它真正挑战的不是"怎么挑通道"，而是稀疏推理里一个被默认接受的前提——阈值必须拿离线数据校准。

论文由 Geunhyoung Kim 与 Sung Ju Hwang 署名，在 Hugging Face Daily Papers 榜单上挂在 KAIST AI 名下；正文 37 页、12 张图，代码以 Apache 2.0 协议开源。

校准阈值锁不住读取量

论文先拿最常见的做法开刀：channel selector 给每个通道打分，再用离线校准出来的阈值决定"读哪些通道"。问题在于阈值卡的是分数，实际读多少权重却取决于有多少通道的分数碰巧越线，而这个数量随输入变化。论文的测量是：Prox 按 18% 的读取预算校准，在他们的基准上实际平均只读 12.9%，最低到 9.9%；论文把其中约 1.7 个百分点归因于 Prox 已发表的预算分配规则本身。

读取量按硬件实际收费的口径统计——GPU 按 32 字节一个 sector 收费，碰到就算整段。论文用 profiler 交叉验证过：Qwen3-Thinking 在 batch one 时的冷缓存 DRAM 读取是 18.3%，和他们自己统计的 17.8% 对得上。

top-k 换掉阈值

论文的对照实验设计得很干净：同一个 selector、同一套打分，只换保留规则，一个用校准阈值，一个用 top-k（每个 token 只留分数最高的 k 个通道），在阈值原本校准的那档预算上比。43 组配对比较里，top-k 版本 30 组打平（差异在两个配对标准误内）、10 组领先、3 组落后，生成任务上的 23 组全部是持平或领先。

更值得注意的是失败模式。Gemma 4 上，校准阈值在重度稀疏下会掉进重复循环，长推理时停不下来；同一批 selector 换成 top-k 就避开了。论文的解释是稀疏模型的重复一旦开始就很难自己停下来，精度不是平滑下滑，而是断崖式下跌。

不用任何数据的 reader

论文进一步做了一个只用模型自身权重的 reader：每个专家的 gate 与 up 投影保留一份旋转的三值 sketch（约占 BF16 checkpoint 的 7%），常驻 GPU，先用它给候选通道粗筛；top-k 用原生 BF16 权重精确算出；被跳过的通道则用 down 投影的低秩映射补回来，全程不需要校准数据。

对比下来，各种校准版的零件反而是负收益：论文报告称，一个带校准的 recovery map 在 18 组比较里 0 组赢过他们的纯权重版；CATS 在 53% 和 67% 读取预算下，18 组里打平 16 组。

数字与边界

按论文自测：他们这个 reader 在三个后训练 MoE 模型上，用 17.8% 的路由专家读取量平均保留 98.1% 的全模型精度，最差的模型-基准组合也有 95.0%；同一张表里，Prox 打分配 top-k 在 18.5% 读取下平均 96.1%、最差 90.4%，而 Prox 按原论文方式校准后是平均 68.5%、最差 12.1%。Gemma 4 的 IFEval 上，全模型 93.5 分，Prox 配 top-k 在 13.5% 读取下 57.1 分，他们的 reader 在 12.8% 读取下 88.0 分。

速度方面，论文报告 Triton 实现的 MoE block 比调优过的 vLLM 快 1.60 到 1.90 倍（batch one），更大 batch 下最高 2.69 倍；整模型解码最高快 1.88 倍，收益峰值落在 batch 8 或 16。

模型是 Qwen3-30B-A3B-Thinking-2507、gemma-4-26B-A4B-it、Qwen3.5-35B-A3B，OLMoE-1B-7B-0924 用于似然任务；基准是 GPQA-Diamond、IFEval、MMLU-Pro；环境为 vLLM 0.29.0 + Triton 3.7.1 + CUDA 12.9。

边界也得说清楚：所有数字都是论文自报，目前没有第三方复现，GitHub 仓库只有 3 次提交、3 个 star；更要命的是部署门槛——要跑这套稀疏运行时得给 vLLM 0.29.0 打两个 patch，仓库里就放了两个补丁文件，动的是 vLLM 自己的内部接口。

所以呢

这篇论文有意思的地方不在"提速几倍"，而在于它把一笔基础设施层的隐含债务摊到了台面上：稀疏 MoE 推理被默认要"先准备一批校准数据"，而这件事既贵又要持续维护——模型换一批、数据分布一变，阈值就可能对不上解码分布。用 top-k 替掉阈值不是新发明，但它把"必须校准"这个前提直接删掉了，对量化、稀疏注意力这些同样靠校准阈值的路线都适用。

不过别急着改生产环境：两个 vLLM 补丁、3 个 star、没有第三方复现，短期内这更像一份值得跟踪的方法论，而不是明天就能上线的组件。真正的信号是——MoE 推理的下一个竞争点，可能不在模型本身，而在"谁能把这些稀疏路径变成默认路径"。论文 / 代码