语音克隆系统的标准做法,是给生成模型外挂一个独立的「说话人编码器」:输入几秒参考音频,输出一个固定向量,生成器照着这个向量把嗓音复刻出来。VoxNexus 团队 11 月 11 日提交到 arXiv 的 RSE-TTS 论文,把这个惯例拆了:既然 TTS 生成器在预训练里已经学会了对齐文本和语音,为什么不让它自己来当这个编码器?
生成器反过来做压缩
论文先做了一组干净的控制实验:固定架构和训练流程,只改编码器的初始化方式。随机初始化的独立编码器在 Seed-TTS 基准上说话人相似度(SIM)只有 0.400;把预训练 TTS 骨干的权重拷过去,SIM 直接跳到 0.530,在 CV3-eval 和 MiniMax 两个基准上分别从 0.342 涨到 0.469、从 0.391 涨到 0.592。生成能力可以迁移成理解能力,这不是玄学,是数字。
更有意思的是加文本。把参考音频连同它的文字转写一起喂进编码器,SIM 在所有基准上继续上涨——即便编码器要压缩的明明是「声音」,知道「说了什么」也能帮它记住「是谁在说」。
正式系统 RSE-TTS 据此设计:重建式说话人编码器(RSE)与生成共享同一个 Global Transformer 主干,参考文本、参考语音和 8 个可学习查询一起过一遍编码 pass,输出 8 个连续向量作为生成条件。共享的代价是省掉一整个第二 Transformer:编码加生成的可训练参数从 228.5M 降到 118.2M,少 48%。
文字不是可有可无的装饰
有人会怀疑:转写文本也许只是个普通提示?论文的机制实验很硬核。把参考录音的转写按 token 倒序喂进去——词还是那些词,顺序乱了——SIM 从 0.538 掉到 0.497。顺序本身携带信息。
接着用激活干预定位路径:在编码器第 3 层把倒序文本下的音频隐状态替换成正确文本下的版本,SIM 恢复到 0.545,基本补平了损失;而在第 9 层,起作用的是 8 个查询位置的隐状态,替换后 SIM 从 0.497 恢复到 0.542。文本的收益走的是一条明确路线:先写进中间层的声学表示,再汇入那 8 个压缩向量。
这 8 个向量也不只是记「音色」。把参考从 3 秒逐步加长到 24 秒,SIM 从 0.378 一路涨到 0.569,到 24 秒时 30 个受试说话人全部改善——压缩瓶颈没变,却能装进更多信息。快速朗读的参考让生成的语音平均短 7.0%,慢速参考长 13.4%,高音调参考把输出音高抬升 6.01 个半音:说话方式也被一并编码了。
118M 生成器的实战账本
上量级训练后的系统,生成器 118.2M 参数,加上波形解码器整条生成链约 129M。对比官方 MOSS-TTS-Nano 的克隆与续写两种模式,RSE-TTS 在 Seed-TTS、CV3-eval、MiniMax 三项英文基准上词错率(WER)和 SIM 双双占优——以参考克隆模式为例,Seed-TTS 上 WER 从 3.96% 降到 1.49%,SIM 从 0.480 升到 0.598。
再叠上声学续写(把参考语音保留为声学历史),它在三个基准上的 WER 全部低于被测的 CosyVoice 3 与 MOSS-TTS-Local,而这两条生成链分别大它 6.6 倍和 30.5 倍。SIM 仍略逊于这两个大系统,论文也没有回避:紧凑条件的相似度天花板仍低于续写式方案,作者怀疑是 teacher forcing 让模型过度依赖声学历史。另外 RSE 需要参考音频的转写文本,纯音频应用的转写鲁棒性要单独考虑;实验也只覆盖英文。
这篇论文给出的信号比模型本身更值钱:预训练生成模型内部的文本-语音对齐能力,是现成的、可复用的资产,而不是只能干生成这一件事。对端侧和低成本语音克隆来说,把编码器这个部件折叠进生成器,可能是比堆数据更便宜的一条路。当 8 个向量就能装下音色、语速和音高,下一个问题也许是:还有什么部件,其实从来不需要单独存在?
论文原文与音频示例见 arXiv 2611.15464 与 RSE-TTS 演示页。