大模型往小处走,英伟达给了新样本:10 月 23 日,Nemotron 3.5 Bolt E4B 4GB 开源发布。它在 Google Gemma-4-E4B-it 基础上后训练而来,总参 8B、有效 4B,目标不是数据中心,而是 Jetson Orin Nano 8GB、RTX 5070 12GB 这一档——语音助手、游戏 NPC、机器人接口都是点名场景。

4GB 里到底装了什么

按官方模型卡,Bolt E4B 主打 Q4_K_M 量化形态,目标负载下显存约 4GB,上下文 64K,支持 35 种语言(底座预训练覆盖 140+)。功能全围绕"交互智能体":多轮工具调用(含异步集成指引)、可开关对话模式(鼓励简短语音式回复)、可配置推理(难题开思考、简单直接答,思考长度可设上限压延迟)。

官方实测(Q4_K_M、批大小 1、llama.cpp):RTX 5070 12GB 上显存 3.5GB、首 token 548ms、133.4 token/s;Jetson Orin Nano 8GB 上 4.2GB、15.5 token/s。官方博客还展示 Reachy Mini demo:Cosmos 3 Edge 供视觉理解,Bolt E4B 管动画脚本和语音回复。

少说话,多干活

官方口径的两个数字:对比上代 Nemotron 3 Nano 4B,对话智能体基准平均分高约 40%,比同级对手高约 10%;推理模式下输出 token 比对手最多少 80%。边缘端少生成 token 不只省钱——解码量直接对应延迟和功耗,"少说话"本身就是卖点。

压话痨的细节:RLVR+RLHF 双轨(NeMo-RL / NeMo-Gym),每个样本同时以推理/非推理两种模式使用,批次内非推理:推理保持 2:1;训练中答案越拉越长,团队在 GenRM 环境加大组长相对长度惩罚控制冗余。

赢在自选战场,输在通用基准

逐行看官方跑分表,方向比总数诚实。赢面集中在对话与人设:MultiChallenge 53.1(Qwen3.5-4B 51.8)、RoleBench 67.0、IHEval 84.8 等项全是四模型最高。但通用 agent 基准不全赢:Tau2-Bench 55.1 明显落后 Qwen 的 75.1,RULER 87.0 排在 Qwen 95.1 之后,EQ-Bench 39.4 略低于原版 Gemma。官方也承认基准按客户负载挑,"选模型不是挑榜单最高分"。

量化与加速:配方一起放出来

量化路径也公开:BF16 checkpoint 经 llama.cpp 重要性矩阵(imatrix)校准到 Q4_K_M,校准数据约 100 万 token,取自与选中 checkpoint 同一步的 RL rollout。另有 DFlash 并行草稿模型,一次前向提出全部草稿 token,官方称比 Gemma-4-E4B 原生 MTP 吞吐高至多 21%。四组 checkpoint 全放出,Ollama、LM Studio 当天可用,许可证 OpenMDW-1.1。

所以呢

边缘小模型的竞争正从"谁分高"转向"每 GB 智能"。Bolt E4B 的思路:借 Google 底座、用自家后训练配方在 4GB 档做专精,再把配方开源——模型会过时,可复现的配方和量化细节才是留给社区的。输给 Qwen 的基准则提醒:厂商图表永远长在自家主场,你的 workload 才是裁判。

参考:research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB/;huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB