10 月的语音转写赛道已经挤成红海:Mistral 月底放出 Voxtral 3,IBM 同周更新 Granite Speech 5,再加上 8 月的 Gemini 3.5 Transcribe 和 9 月的 Muse Voice Transcribe,大厂都在往这个口子里塞模型。10 月 28 日,英伟达入场,一次掏出三样东西:开放权重语音大模型 Nemotron 3.5 Transcribe、46.3 万小时的训练数据管线 Granary v2,以及一套微调工具链。

「没有唯一正确的转写稿」

这份技术报告开篇就点破了动机:一段录音不存在唯一正确的转写文本——逐字稿还是书面稿、数字写成「二十五欧元」还是「€25」、要不要保留「呃」「嗯」,取决于谁读、拿来干什么。传统 ASR 在训练时就把这套约定锁死,而它把约定变成了提示词:转写风格、领域词表、说话人标注格式,都靠自然语言指令现场指定,不用重训。

架构上是 SALM 拼法:Transformer 语音编码器,加一个冻结的 Nemotron 3 Diarization 说话人分支(Sortformer,约 1 亿参数、8 个说话人槽位),把「谁在什么时候说话」的活动信息直接注入声学表征,再接 Nemotron 3.5 Lightning 30B-A3B 这个混合 Mamba-Transformer MoE 底座,总参约 340 亿、激活约 43 亿。单模型覆盖 40 种语言转写、31 种语言与英语互译、最多 8 人说话人归属,录音最长 1 小时。

跑分很硬,中文会议除外

官方口径:英语 Open ASR Leaderboard 九个公开测试集平均词错率 4.71%,多语言榜 4.62%,自称开放权重最佳;IT之家报道其在英语榜开放权重模型中位列第一。第三方侧,据 IT之家整理:Artificial Analysis 非流式词错率指数 2.8%,与 Voxtral Small Transcribe 并列开源首位;David AI 的 21 语言说话人分离基准上录得 18.26% 的最低错误率。重叠多人说话人场景,官方称据其所知是首个跑赢专用级联系统的 SALM;给定实体词表时,ContextASR-Bench 命名实体错误降六倍。

但同一张表里藏着泼冷水的数字:英文整场会议 cpWER 12.91%,中文会议 AliMeeting 的字符错误率 cpCER 却还有 34.95%。中文多人会议,依然是最难啃的那块骨头。

2238 倍实时,还能塞进本地

推理侧,官方基准中 NVFP4 量化版本配 DFlash2 草稿模型,单张 RTX PRO 6000 Blackwell 每秒可转写 2238 秒音频,约 2238 倍实时;模型自带的多 token 预测层就是 vLLM 投机解码的草稿模型。四个精度版本 BF16/FP8/NVFP4/GGUF 全部开放,GGUF 配套 NeMo-Speech.cpp,IT之家报道面向 DGX Spark、Jetson AGX Thor 这类本地设备的版本将陆续跟进。微调也便宜:17 个任务在单张 GB300 上每个只要 0.5-2.3 GPU 小时,13 分钟斯瓦希里语音就能把词错率从 73.7% 拉到 40.8%。

转写质量,就是 Agent 成本

附录里最有说服力的是一组语音 Agent 实验:100 个航空客服场景,换上这个模型后任务完成率 58%,对用户语音的词错率 8.6%,对比 Parakeet-CTC-1.1B 的 12.9%;因为听错姓氏导致的工具调用失败从 73 次掉到 2 次,每次交互少 2.7 轮对话、约 3.7 万 token、78 秒。转写每降一个点的错,Agent 就少绕一圈弯路——这笔账比榜单名次直观得多。

边界官方自己也写得清楚:保留底座 LLM 的纯文本能力「明确不是目标」,它是转写专用模型,不是通用助手;PII 脱敏目前还只是合成数据上的小规模探针;34B 总参对真正的端侧也谈不上轻。但「模型 + 46 万小时数据管线 + 微调工具链」这套全家桶,堵的是后来者的路:转写赛道正在从单点模型竞争,变成平台竞争。下一家进场的,不带数据管线恐怕都不好意思开发布会了。