转写稿里"这句话是谁说的",过去要靠级联系统拼:ASR 先出文字,再跑分离模型对齐说话人,会议一长标签错位、重叠语音丢失。阿里 Token Foundry 的千问团队 10 月 20 日把 Qwen-Audio-3.1-ASR 技术报告挂上 arXiv,把两步并成一步:模型直接输出带说话人标签和时间戳的结构化转写,重叠语音也保留在输出结构里。
说话人分离长进了模型本身
报告把这一代的能力扩展概括为两项:说话人分离转写与通用音频理解。前者输出"谁、何时、说了什么",跨对话轮保持标签一致;后者由 Next 变体承担,覆盖语音、环境声、音乐三类字幕生成,以及时间定位、声音事件检测和音频问答。家族仍支持 30 种语言和 16 种中文方言,保留历史上下文条件化、P0/P1 两级热词定制、原生转写润色等指令控制能力。
部署分五个变体:异步文件转写、低延迟流式、上下文语音输入、非流式识别与 Next。能力矩阵有明确取舍——流式与 Message ASR 不支持说话人分离和音频理解,这些能力只在非流式变体提供。
两千万小时与六阶段训练栈
训练分六个阶段:编码器预训练、音频 LLM 预训练、冷却适应、SFT、强化学习、多教师蒸馏。编码器用 BEST-RQ 在无标注语音上自监督预训练,部分层从预训练 Qwen3 LLM 初始化;音频 LLM 解码器骨干为 MoE,在约 2000 万小时多语言数据上预训练;冷却阶段用约 100 万小时高质量数据再平衡语言与方言。
两个工程细节值得记:说话人 ID token 只占监督 token 的 2.90%、损失贡献仅 1.97%,团队因此做了损失重加权;时间戳相对 1 毫秒量化后,DER 与 cpWER 收敛显著加快。RL 用 FunVerl 框架,奖励含 1−WER、非对称热词奖励与时间一致性 tcpWER;蒸馏按任务路由到三个音频教师加 Qwen3.5 文本对话教师。
跑分:方言是主场,MMSU 没赢
先说归因:以下数字全部来自官方技术报告,Panel B 出自团队统一 API 评测管线。多语言侧,GigaSpeechBench 七种语言上该模型在对比系统里全部最低,宏平均 15.09%,上代为 22.50%;对比名单含 Doubao-ASR、腾讯云 ASR、Gemini 3.1 Pro、GPT-4o Transcribe 等。方言侧差距更大:公开基准宏平均 CER 4.55%,内部 16 方言测试集 10.38%,对比 Doubao 的 20.23% 与腾讯 Hy-ASR 的 17.13%。
说话人分离转写上,两个变体在四个测试集 × DER/WER/cpWER 全部 12 个组合里集体最低,Next 在 AISHELL-4 的 DER 为 2.70,级联 Fun-ASR 基线全败。流式首字延迟 100 毫秒,对比 Doubao 的 570 毫秒——注意是自托管服务上测的。音频理解侧,MMAU 81.60% 超 Gemini-3.1-Pro 的 80.90%,五个专项全胜;但 MMSU 上 Gemini 的 85.30% 仍更高。
单源报告,理性读
按社区收录站 theopenweights 条目,权重已在 Hugging Face 放出,Apache 2.0 许可,参数规模未公布。全部跑分属官方自报,独立复现还没出现,引用具体数字时保留归因。
所以呢:如果会议纪要、客服质检、访谈整理是你的业务,级联管道这次真的有了被单模型开源方案替代的迹象——但先确认你要的是非流式场景,流式 profile 目前拿不到说话人分离。
参考:arXiv:2610.28711。