大模型部署成本的核心瓶颈从来不是参数量,而是单节点能撑多少并发请求——MoE 模型尤其如此,active parameters、KV cache 与 Mamba state 共同卡死了上限。 NVIDIA Nemotron 团队发布 Nemotron-Labs-3-Puzzle-75B-A9B(arXiv: 2607.04371),把 120.7B/12.8B active 的 Nemotron-3-Super 压到 75.3B/9.3B active,却不是均匀剪枝。核心方法叫 Iterative Puzzle:把 MoE 中间通道、激活专家数、Mamba SSM state 一并扔进混合整数规划求解器,按部署 SLA 反向选每层最优实现。三阶段压缩各配 24B/43.2B/52.8B token 的 KD 恢复,长上下文阶段再扩到 128K–512K 微调。 量化到 NVFP4 后,8xB200 服务吞吐 +2.03x(8K/64K 解码),单卡 H100 1M 上下文并发从 1 涨到 8——权重从 70GB 压到 44.5GB。代价是 Arena-Hard-V2 -4.2、SWE-Bench -2.6(指令遵循与 agent 类损失最大);长上下文 RULER 1M 仅掉 1.7,几乎无损。 这套以部署换性能的工作流,大概率会成为下一代开源 LLM 的标配——把 expert 中间维度、top-k、Mamba state、注意力层都放进同一个 NAS 求解器,正是当前社区仍欠缺的工程纪律。配合 NVFP4 与多 token 预测头,4090 和 H100 都能跑出旗舰吞吐,直接拉低开源大模型落地的算力门槛。