一张 24GB 显存的显卡,以前跑 30B 级模型都要精打细算,英伟达偏要把 740 亿参数的 MoE 模型塞进去,还给它定了条硬指标:解码速度不低于 80 tokens/s。这就是刚开源的 Nemotron 3.5 Bolt 74B-A9B 24GB,一个为 RTX/DGX Spark 本地智能体任务打造的混合 Mamba-Transformer 架构模型。它的目标很直白:让本地 Agent 和你其他应用共享一张卡,还得活得好。
不从头训,把 120B 压过来
Bolt 不是从零训练的小模型,而是从老大哥 Nemotron 3.5 Super VL(120B 总参、12B 激活)压出来的:总参数 120B 降到 74B,激活参数 12B 降到 9B,每个 token 命中的专家数从 22 砍到 9。压缩用的工具是英伟达自研的 Star Elastic——一个按预算条件化的路由搜索框架,自动决定每层留多少路由专家、MoE 中间层多宽,目标就是压进 24GB,还把下游量化 的空间提前算进去。官方实验给出了一个反直觉的结论:在给定显存预算下,把大模型压缩到位,比从头训练一个同尺寸小模型再量化到 4 比特效果更好。压缩之后还追加了一轮后训练,在模拟环境里跑端到端强化学习,把视觉功能和本地 Agent 能力尽量找回来。
2 比特量化的赌注
真正激进的是量化策略:占权重绝大多数的 FC1/FC2 专家层被压到 IQ2_XXS 格式,每元素只有 2.0625 比特;Mamba 线性层用 NVFP4;lm_head、词嵌入、注意力和 Latent MoE 权重保住 Q8_0。理由写在明面上——RTX/DGX Spark 上的推理瓶颈是权重带宽,权重位宽直接决定每秒能喂多少参数。量化掉的精度,靠量化感知蒸馏(QAD)补回来。这背后是 ParetoQ、Quest 等研究已经铺过的判断:同等显存下,1-2 比特的大网络比 4 比特的小网络更接近 Pareto 前沿。Bolt 相当于把这个学术结论做成了可以直接下载的检查点。
速度和榜单
配套的 LiLiCorr 投机解码 drafter 只有 1.13B 参数,一次轻量前向就给整份草稿联合打分;在 vLLM 里用 7 个草稿 token,greedy 解码的平均接受长度做到 4.68。在 RTX Spark 的 AIPerf SPEED-Bench 上,整套组合跑到 84 TPS。官方同步给出的对比里,同显存档的 Qwen3.6 35B-A3B 和 Gemma 4 26B-A4B 在通用 Agent、网页浏览、终端使用等基准上准确率落后;公开榜单口径下,Bolt 在 PinchBench 排第 1,WebArena 和 BrowseComp 排第 2(对比相近显存占位的模型)。提醒一句:这些都是英伟达自报数字,复测以社区为准。
明天还有个 4GB 的
据 IT之家报道,英伟达还准备了面向本地语音助手、交互角色和嵌入式界面的 Bolt E4B 4GB,计划 10 月 23 日推出。从 24GB 到 4GB,英伟达在把「本地 Agent 显存档位」铺成一条产品线,支持 llama.cpp、vLLM、Ollama、Unsloth、LM Studio 全家桶,Hugging Face 上量化版和 BF16 版检查点一起放出了。
所以呢
Bolt 最值得记的不是榜单名次,而是它把一个路线之争摆上了台面:本地智能体到底要「小而密」,还是「大而稀疏+超低位宽」?英伟达用 74B 塞 24GB 押了后者。如果 2 比特权重真能在日常 Agent 任务上站住,那么显存预算固定的前提下,卡脖子的就不再是「能塞进多少参数」,而是「带宽能喂多快」——权重位宽,正在变成端侧模型的新货币。
参考:英伟达官方技术页 research.nvidia.com/labs/nemotron/Nemotron-3.5-Bolt-24GB;IT之家报道 ithome.com/1/013/679.htm