多说话人互相抢话、一句话里中英混杂、嘈杂的娱乐音频——这些是语音基座模型真正的硬骨头,也是公开语料里最稀缺的东西。索尼团队的 Walrus 技术报告选了一条和当下主流相反的路:架构一行不改,把全部设计力气花在数据上。

骨架照抄 Gemma 4,改动在词表和声码器

Walrus 是一个统一语音+音频基座模型,总参数约 8B(含 embedding,有效参数约 4B),直接从 Gemma 4 E4B 初始化,backbone 结构保持不变,语音输入沿用 E4B 的 USM 编码器并在微调时解冻。单一权重服务所有任务,任务靠自然语言 prompt 切换:ASR、语码混杂 ASR、多说话人 ASR、机器翻译、语音翻译、语音到语音翻译、TTS、情感识别、音频字幕和通用音频理解,20 多个任务变体、100 种语言。语音生成侧只给词表扩展了 8192 个离散语音 token,每秒 25 个 token、每个 13 bit,码率压到 325 bps,再由一层 VQ tokenizer 加 GAN 声码器还原波形——token 预测和波形合成解耦,backbone 保持轻量。

真正的贡献:三阶段数据课程加双权重

训练用了超过 600M 样本。第一阶段打多语言地基,识别任务权重优先,各数据集按原始规模采样;第二阶段在第一阶段 checkpoint 上加时间戳预测、说话人分离、合成语码混杂 ASR 和对话上下文任务,并引入数据集权重给旧数据降采样;第三阶段专项补短板:合成娱乐语音、低资源语言,以及覆盖中英法德意日西 7 种语言、2 到 4 人混叠的合成多说话人数据。第三阶段还重排了任务权重——ASR 从 5.0 降到 4.0,TTS 从 0.25 升到 2.0,语音到语音翻译从 0.5 升到 2.0。论文对最难案例的处理方式很直白:语码混杂 ASR 数据完全合成;多说话人是真实加模拟混合;娱乐语音用 YODAS-Granary 这类宽松许可语料加合成增强;连合成多轮对话都用 Gemma 4 26B 与 Qwen3.5 9B 三种模型配对生成,再由 Gemma 4 26B 当裁判按 0 到 1 打分。

战绩:4 倍大的 Qwen3-Omni 也没拉开

论文评测口径下,FLEURS 转写词准确率 94.7%,高于 Qwen3-Omni-30B 的 93.8% 和 Whisper Large-v3 的 92.0%;CS-FLEURS 语码混杂识别 CER 7.23,而 Gemma 4 是 32.30;LibriMix 双人混叠 cpWER 19.32,约为 Qwen3-Omni-30B(37.04)的一半,远低于专用模型 VibeVoice-ASR 的 59.34——同量级的开源 SpeechLLM 在这个设定下干脆产不出有效输出。音频理解上,MMAU-Pro 71.92% 超过 Gemini-Flash-3.7 的 70.40% 和 GPT-4o-Audio 的 52.50%;MMSU 64.1% 对 Audio-Flamingo-3 的 61.4%;CVSS-C 语音到语音翻译 43.63 ASR-BLEU 也压过 30B 的 Qwen3-Omni(41.27)。但不是全赢:FLEURS 双向语音翻译 32.28/22.94 仍低于 Qwen3-Omni 的 33.60/25.67,论文自己也承认这一条,只在说话人相似度和韵律保持上占优。

商用版的代价,写在许可协议里

Walrus 出了两个版本:商用版 CR 只喂商用许可数据,停在第二阶段 checkpoint;研究版 R 用全量数据跑完三阶段。从 CR 到 R,语码混杂 CER 再降约 19 个点,内部娱乐 ASR 平均 WER(6 种语言)再降约 9 个点,MMAU-Pro 高出 20 分以上。换句话说,许可协议直接标出了能力差距——这是全文最值得产业界注意的一组数字。

所以呢

在 backbone 越来越像公共设施的时代,这份报告把「数据工程是多任务语音模型质量的主要驱动力」做成了一个受控实验:架构钉死,收益全部可归因到数据。对做语音的团队,启示有两条——最难的长尾场景(混叠、语码混杂、娱乐音频)要靠合成管线去补,而不是等公开语料;商用与研究的分野,未来大概率不取决于模型结构,而取决于你被允许用哪些数据。原文:https://arxiv.org/abs/2611.13689