8 月 11 日，NVIDIA 把 Nemotron 3.5 Lightning（30B-A3B）放上 Hugging Face 和 Build.NVIDIA.com，OpenMDW v1.1 许可，商用开放。Nemotron 家族的定位一直很明确——开放权重、开放训练数据、开放配方，Lightning 这一档瞄准的则是"sub-agent 干活模型"：长跑自主智能体、子智能体部署和智能体工作流。Build.NVIDIA.com 页面给它的标语是"最快的 30B A3B MoE 模型"——这是 NVIDIA 自家的说法，但配合 3B 激活参数的设计意图，方向感是清楚的：这类模型不追求单步推理登顶，而是要便宜、稳定地扛住高频调用。
架构：三种组件混着搭
Lightning 3.5 用的是混合 MoE 架构：Mamba-2 层、MoE 层和部分 Attention 层交错排布，总参数 30B、每 token 激活 3B，上下文窗口最高 1M token。支持英语和编程语言，外加西班牙语、法语、德语、意大利语、日语。推荐采样参数直接写在模型卡里：Temperature 1.0、Top_P 0.95。
训练：五个阶段，从 NVFP4 预训练到 PTQ
模型卡的训练方法学分五段，每段都有可查证的细节：
阶段一，预训练：超过 20 万亿 token，用 NVFP4 配方训练——注意这是"用低精度格式预训练"，不是训练后量化。预训练数据截止 2025 年 9 月，后训练数据截止 2026 年 5 月。软件栈是 Megatron-LM。
阶段二，MTP 继续预训练：给模型加 Multi-Token Prediction 层，让模型同时预测多个未来 token，提供更丰富的训练信号。
阶段三，SFT：合成代码、数学、科学、工具调用、指令遵循、结构化输出数据，外加长程检索和多文档聚合任务。
阶段四，强化学习：用 GRPO（Group Relative Policy Optimization）跨数学、代码、科学、指令遵循、多步工具使用、多轮对话、结构输出环境做多环境 RL，采用解耦训练与推理的异步架构，并利用 MTP 加速 rollout 生成。
阶段五，PTQ：用 NVIDIA Model Optimizer 做训练后量化——"Four Over Six NVFP4"静态 MSE 校准变体，路由专家和共享专家走 W4A16，Mamba 投影层和 KV cache 走 FP8 逐张量动态缩放，校准用 1000 个 32k 长度样本。
值得一提的是后训练合成数据的透明度：模型卡列出了教师模型清单，包括 DeepSeek-V4-Pro、Nemotron 5.5、GPT-5.5、GLM-5、gpt-oss-120b 等——谁给谁蒸馏了一目了然。
跑分：BF16 与 NVFP4 几乎打平
官方评估表同时给了 BF16 和 NVFP4 两列，这比单列数字有价值得多：
| 基准 | BF16 | NVFP4 |
|---|---|---|
| MMLU Pro | 81.94 | 81.62 |
| GPQA Diamond（无工具） | 75.44 | 75.57 |
| SWE-bench Verified | 51.56 | 52.80 |
| Terminal-Bench 2.1 | 24.58 | 23.46 |
| BrowseComp | 36.97 | 36.81 |
| AA-LCR（长上下文） | 52.00 | 49.19 |
大多数基准上 NVFP4 与 BF16 差距在 1 个点以内，SWE-bench Verified 甚至反超（52.80 对 51.56）；长上下文的 AA-LCR 掉得多一些（52.00 到 49.19）。评估配方、容器、提示词和评分设置全部发布在 NeMo Gym 仓库，可复现。SWE-bench 和 Terminal-Bench 用的是 NeMo Evaluator。
部署侧
硬件兼容三档：Blackwell、Hopper（NVFP4/W4A16）、Ampere（W4A16）。推理引擎 Dynamo + vLLM，测试硬件 H100。另外 NGC 目录还有一个 BF16 全精度版本，官方说明它主要面向定制化和后训练，而非直接生产推理——生产路径默认走量化版。
所以呢
Nemotron 3.5 Lightning 最值得记住的不是跑分，而是两件事：一是 NVFP4 直接进预训练配方，量化和训练不再是两个割裂的工序；二是模型卡把 20T 预训练语料、合成数据教师模型、RL 环境、量化校准参数全部摊开——在"开放"这件事上，NVIDIA 已经把标准抬到了"开放到可复现"的层级。做智能体系统的开发者，可以把它当成一份可直接拿来做 sub-agent 底座的公开工程参考。
（信息源：https://build.nvidia.com/nvidia/nemotron-3.5-lightning-30b-a3b/modelcard ）