Qwen-Audio-3.0-Realtime 发布:On-Policy Distillation 把实时语音的智商与延迟一起拉满

实时语音模型长期面临一道单选题:要把首响延迟压到毫秒级,往往得砍掉推理深度。多数产品只能选一边——做客服就放弃共情,做陪伴就别指望工具调用。今年 5 月,阿里 Qwen-Audio Preview 在 Artificial Analysis 语音推理榜以 97.6% 登顶,但「快」与「聪明」在大规模实时场景里如何兼得,官方一直没有端到端方案。 7 月 15 日发布的 Qwen-Audio-3.0-Realtime 补上了这一环。核心是 On-Policy Distillation(在线策略蒸馏):语音模型自回归生成时,由更大文本大模型实时打分并纠正输出,把「会思考的大脑」和「会说话的嘴」在同一次前向里解耦训练。配合口语偏好、通用推理、Agentic、音频理解四位教师,模型在智商、共情、Agent 调用、双工流畅度四条线同时升级,拆出推理更强的 Plus 与速度更快的 Flash 两版。 更值得玩味的是 Agent 维度。Qwen-Audio-3.0-Realtime 不再需要明确指令才触发工具,调用结果自动沉淀到对话记忆——这意味着语音端首次具备与文本 LLM 同等的 FunctionCall 体验,并原生支持 MCP 协议与外部 API、知识库对接。共情和双工部分,引入「多模态感知双工控制」子模型,用音频信号、语义、声纹共同决定是否打断、说话人切换。 WAIC 前后各家都在卷语音 Agent。比起 TTS+ASR+LLM 三段式拼装,端到端语音大模型才是真正可复用的语音 Agent 基座。阿里这一步把实时性、推理深度、Agent 能力用一套蒸馏框架捏在一起,并直接挂上 MCP 生态——节奏不慢。