零样本 TTS 已经能把一段几秒的参考音频变成"你的声音",但有个长期没拆干净的疙瘩:参考音频里除了音色,还绑着口音。想保留你的嗓音、换成另一种腔调,常见做法是 TTS 之后再接一个语音转换模型,两段管线、两次失真。最近由 AMAAI Lab 提交到 Hugging Face Daily Papers 的 DEFINE(arXiv:2609.32777)给出了一条单模型内的解法,一篇 5 页短文,问题定义却相当锋利。

先拆开:「谁在说」与「怎么说」

论文的核心观察是:speaker identity(谁在说)与 accent(怎么说)在传统零样本 TTS 里被同一段参考音频纠缠编码。DEFINE 把两者改成两条独立条件支路——音色走一段说话人示例,口音走另一段口音示例,两段音频可以来自完全不同的人。口音示例由一个示例编码器映射进条件空间,训练时用一组可学习的「口音原型」做监督;推理时不需要任何口音标签,也不需要在合成之后再做波形转换,解耦在生成内部一次完成。

一个引导权重,就是一根口音旋钮

实现上,DEFINE 建在 F5-TTS 之上,用参数高效的 LoRA 适配,不推翻底座。最实用的一点是:口音强度由单个推理期引导权重连续控制,拧大拧小都不需要重新训练。同一个模型可以输出从"轻微口音"到"浓重口音"的连续谱系——对配音、本地化、多语种内容生产来说,这是刚需级的交互方式,而不是论文里的摆设。

数字,以及论文自己的诚实边界

在训练见过的口音上,随着引导增强,口音探针准确率从 6.5% 提到 19.6%;单个 DEFINE 模型在已见与域外口音上追平了"TTS+语音转换"两模型级联的口音迁移效果,同时拿到更高的说话人相似度和相当的预测语音质量。更值得注意的是论文如实写了限制:对完全 held-out 的口音,这套泛化并不成立;19.6% 的探针绝对值也提醒我们,「口音可控」离「口音可靠」还有距离。把失败边界写进摘要的克制,比数字本身更值得行业学。

所以呢

对做语音产品的人,这件事的意义是把"换口音"从一条两模型管线压回单模型内部,延迟、算力和级联失真都省了一截;对更广的生成模型社区,这是一次「细粒度属性解耦 + 推理期连续控制」的模板演示——同一思路理论上可以平移到情感强度、说话风格等所有被参考音频一并"复印"进去的属性。下一步值得盯的是口音原型能否开放自定义注册:让用户自己喂一段示例就新增一种口音,那才是这根旋钮的完全体。论文全文见 arXiv:2609.32777(https://arxiv.org/abs/2609.32777)。