语音基础模型正在把生成、编辑、分离、增强塞进同一个网络,一条自然语言指令走到底。听起来很美,但少步蒸馏一进场,账就不好算了:分布匹配蒸馏(DMD)在生成任务上跑得好好的,换到分离任务上,能把学生模型练到比原始混音还差。

Route-DMD 这篇论文(arXiv:2611.08011)把这个失效过程完整拆开了。动手的是上海交大、BIGAI、上海创新研究院、南洋理工和腾讯混元的联合团队,实验用的教师模型正是今年 9 月开源的那个统一语音基础模型 AuK(arXiv:2609.08936)。

摘掉生成任务,分离任务就崩了

先把成本摆出来。语音基础模型走流匹配,每个请求要 20–50 次迭代步,而分类器自由引导(CFG)会把每一步的计算量再翻一倍。少步蒸馏就是冲着这个来的——用一个几步出结果的"学生"换掉多步的"教师"。

论文指出,此前的语音蒸馏工作全都只在生成任务上验证过,而一个同时支持编辑和语音处理的基础模型该怎么蒸馏,"仍然无人探索"。Route-DMD 想把这条路走通,第一步却是先把它走坏:直接把 DMD 套上去,分离能力立刻崩盘。

消融实验给出了崩坏的样子:不加路由时,分离任务的 SI-SDRi(尺度无关信号失真比改善量)从 +6.6 dB 一路掉到 -1.7 dB,音素错误率 PER 从 7.1% 涨到 54.4%,UTMOS 和说话人相似度同步跳水。

崩的原因不在学生,在教师

论文给出的机制解释挺有意思。分布匹配的监督信号来自教师在"加噪状态"上的打分——但教师只在训练分布附近可靠。一旦学生早期输出是错的,这份错误输出加噪之后的状态就离教师的训练分布很远,教师在这个位置给出的"真实分数"本身就不可靠。用一个不可靠的信号去监督模型,训得越狠,崩得越狠。

有个对照实验把病灶钉死了:把喂给教师的加噪对象换成加噪的真值目标(而不是学生的错误输出),DMD 照常在这些样本上跑,SI-SDRi 稳在 +5.1 到 +5.4 dB,PER 控制在 7.0%–8.4%,崩溃没有发生。论文的结论是:问题出在教师收到的输入上。

修法:把"匹配分布"换成"回归真值"

既然病因清楚了,修法就顺理成章。论文的核心洞察是:分布匹配这个目标不是万能的。生成任务给的是一句话描述,答案是一个分布;但分离任务在指令给定后只有唯一正确答案——把谁从混音里挑出来,是有标准答案的。对这种任务,回归损失比分布匹配更合适。

于是 Route-DMD 按任务路由:说话人分离和人声分离这两类被摘出来,改用干净端点上的回归损失直接拟合真值潜变量,其余任务保留解耦分布匹配。两级训练:先做 500 次更新的一致性蒸馏初始化(教师 CFG 引导尺度 2),再进 Route-DMD 阶段。

另一处替换是 CFG 换成 APG(自适应投影引导)。高引导尺度下 CFG 会沿条件方向过度外推产生伪影,而这些伪影会被学生一并学走。APG 在干净预测空间里分解条件-无条件残差,保留正交分量、按系数 η 削弱平行分量。消融里对比很清楚:用 CFG 学生前期涨得快但很快饱和,用 APG 则能继续爬,最终 SIM 更高、WER 更低。

表格里的两处回退,比摘要诚实

摘要说 4 步学生"追平"32 步教师,4.5 倍端到端加速。加速是真的:单张 NVIDIA H20 上端到端实时率 RTF 从 0.4333 降到 0.0958,算出来 4.52 倍,和 4.5 倍对得上;主观听测的自然度 N-MOS 从 4.23±0.10 升到 4.34±0.10,指令遵循 I-MOS 从 4.50±0.09 升到 4.57±0.09,论文说两者都在报告的 95% 置信区间内与教师持平。

但表格里有回退,得自己看。中文指令 TTS 的 DSD-ZH 准确率,AuK 32 步是 83.4,Route-DMD 4 步是 78.8,掉了 4.6 分,甚至低于对照的 Qwen3-TTS-VD 的 81.1。语音编辑 MMAE-Speech 上,指令遵循率 IFR 从 48.23 降到 46.62,一致率 CR 从 88.11 降到 86.41,只有精确匹配率 EMR 从 12.44 升到 13.85。SeedTTS-Eval 平均 WER 也从 2.65 升到 2.85。分离任务上 Libri2Mix 的 WER 同样从 9.12 升到 10.07。

另一头的好处也很实在:三个语音处理基准的 OVRL 和 UTMOS 全面超过教师(CHiME-4 3.28→3.35、Libri2Mix 3.28→3.32、VCTK-SR 3.21→3.25),中文难子集 test-zh-hard 拿下最好的 SIM 0.784。

所以呢

这篇论文的价值可能不在 4.5 倍,而在它示范了一个容易被跳过的判断:多任务统一模型到了蒸馏阶段,不能一个损失打天下。

训练侧 AuK 其实已经按任务分化过后训练——开放式编辑走人类反馈偏好优化,语音生成走基于奖励的强化学习。轮到蒸馏,问题在于教师要充当"评分器",而不同任务对评分器的可靠性要求完全不同。分布匹配要求教师在学生可达的样本空间里给出可信分数,一旦某个任务天然有唯一解、错误输出又离训练分布很远,这个前提就破了。

更实用的一条是读表别读摘要。"4 步追平 32 步"在中文指令 TTS 上差了 4.6 分,在编辑的 IFR/CR 上也各有回落,收益集中在处理类任务和极难子集上。这对做语音 Agent 的团队很实际:如果你打算把统一语音模型蒸馏成少步版本,先想清楚自己要保住的是生成质量、指令跟随,还是处理能力——三者不是同时保住的。

论文与代码:arXiv:2611.08011 · 项目主页 · GitHub 仓库