长时间运行的企业 Agent 正在接手越来越复杂的流程:一个请求可能要读一份多页文档、跨来源核对数据、遵守公司政策、再调用好几个工具。过去这类任务通常要“文本模型 + 视觉模型”接力,上下文在两套栈之间来回倒手。10 月 15 日,英伟达开放了 Nemotron 3.5 Super VL,把接力赛改成一个人跑:120B 参数的多模态混合专家(MoE)模型,推理、指令跟随、工具调用,加上文本、图像、文档、视频理解,全部装进同一个检查点(NVIDIA 技术博客)。
一个模型,两套栈的活全包
Super VL 的视觉训练覆盖图表、表格、OCR、多页文档和视频,官方给出的定位是:文档智能场景里,同一个模型既能读懂一张图表,又能关联文档另一处的表格,再把两边总结到一起。图表推理基准 CharXiv 上它拿到 80.8%,对比上一代 Nemotron 3 Nano Omni 的 63%;配合 Python 代码解释还能到 84%。在 OCRBench v2 排行榜上,它也是排名靠前的开放模型之一。对做 Agent 产品的团队,这意味着不必再单独部署和维护一个视觉模型。
120B 的容量,12B 的账单
架构上,Super VL 是 120B 总参数、每 token 仅激活 12B 的 MoE,从更大的 Nemotron 3 Ultra 蒸馏而来,蒸馏阶段用了 SkewReverse 损失,后训练阶段用多教师在线策略蒸馏(MOPD)让文本和视觉教师同时给生成结果打分。根据 Modal 的模型卡,它采用混合 Mamba-Transformer 架构和 C-RADIOv4 视觉编码器,支持最长 100 万 token 上下文,并内置多 token 预测。官方口径的效率数字更激进:单 GPU 上 Agent 任务吞吐最高达到同级别开放模型的 5 倍,在 Baseten 端点上跑 Artificial Analysis Intelligence Index 任务输出速度超过每秒 600 token;一万道编码任务的整体完成时间也比同级别开放模型快 4 倍。
推理优化四件套
真正决定 always-on Agent 成本的是推理侧。Super VL 配了四件东西:LiLiCorr 开源投机解码,整份草稿联合评估 token 兼容性,DGX Spark 上生成提速最高 2.3 倍;NVFP4 量化加量化感知蒸馏(QAD),量化后的模型在训练中对齐 BF16 原版输出,KV 缓存也能存成 NVFP4 且不增加推理开销;多 token 预测(MTP)让模型一次前向验证多个候选 token;以及跨 Agent 轮次的上下文复用,同时保留注意力缓存和 Mamba 循环状态。部署侧,用 NVIDIA Dynamo 的 KV 感知路由,16 块 B200 在每用户 50 token/秒的交互速率下可服务 8 倍用户,首 token 延迟降低 85%。
企业后训练的账本
开放权重的意义在后训练。Scale AI 把它后训练用于 Skydance 的自动供应商信贷处理,官方预计推理成本下降 40 倍、延迟下降 5 倍;金融平台 Ramp 用它把收据图片转成结构化 JSON,预期吞吐提升最高 50%、延迟降 10 倍;AI21 与 Alice 针对威胁情报和漏洞分析后训练,准确率提升 41%。官方展示的领域增益从文档智能 +15% 到医疗保险理赔 +44% 不等。基准上,Hermes Bench 63.44%、LangChain 评测 87.05%,都超过了更大的 Nemotron 3 Ultra。
开放的完整拼图,和它的生意逻辑
这次发布不只是丢一个检查点:配套开源的还有 Agent 工具使用、金融推理、长上下文等数据集(其中视觉语言数据集 40 个),以及与 IIT Madras 的 AI4Bharat 合作的 2.8T token 印度语言数据集,训练时先注入了 10B token 的 12 种语言子集。边缘侧还有两个伴生模型:Bolt 74B-A9B 面向 24GB 内存的本地设备,现已可用;4GB 的 Bolt E4B 主打语音助手,10 月 23 日跟上(The Decoder)。The Decoder 的观察值得记住:模型完全开放,但整条优化链路都为英伟达自家硬件调校——想榨干性能,最后还是会买它的卡。
所以呢?Agent 基建的竞争正在从“谁的模型跑分高”转向“谁能在单卡上把 always-on Agent 跑便宜”。英伟达用开放权重加全套数据、配方和部署工具,把门槛降到任何一个团队都能 fork 起步——代价是默认走进它的硬件栈。对开发者,这是一笔划算的买卖;对其他云厂商,这是教科书级的生态卡位。