缅甸语、老挝语这类语言想做好语音合成,卡点往往不是模型架构,而是数据:高质量配对语料稀缺,人工转写成本又高。9 月 22 日提交到 arXiv 的论文《From Reliable Text to Real Voices: Trust-Aware Progressive Adaptation for Low-Resource TTS》(arXiv:2609.25951)拿出一套「信任感知渐进适配」方案:在合成数据与真实录音之间安排好监督顺序,再按可靠性给带噪伪标签分配权重。
两条现成的路,各有各的坑
论文先把低资源 TTS 适配的两条路线摆上台面。其一,用现成固定音色 TTS 系统从文本合成语音:发音相对准确,但说话人多样性有限,韵律可能偏平;其二,用 ASR 给真实录音打伪标签:韵律自然、嗓音多样,但转写错误会把噪声直接灌进监督信号。团队在对照实验中发现一个关键现象:监督顺序本身会影响内容准确率与说话人相似度——合成数据先行能提升内容准确率但牺牲相似度,真实数据能找回相似度,带噪伪标签却可能反噬准确率;把顺序倒过来,权衡随之改变。
先合成、后真声,再按「双 ASR 一致性」加权
方法分两步。S 阶段:用固定教师 TTS 合成语音,以单位权重训练,先建立文本与语音的对应关系;R 阶段:换真实录音,但每条伪标签先用两套不同的固定 ASR(主转写用 Gemini 2.5 Flash,对照用 Omnilingual ASR)分别转写,以两者归一化字符不一致度作为伪标签可靠性的代理,按 w = max(0.10, (1−d)³) 的立方权重折算进损失——两套 ASR 明显互相打架的样本,权重被压到最低。打分完全离线完成,推理阶段不需要额外跑 ASR。
数字说话
缅甸语上,FireRedTTS3 底座的基础字符错误率(CER)高达 142.52%,只做合成适配(S 阶段)降到 17.43%,完整 S→R 立方加权后为 16.90%,说话人相似度 SIM-O 从 S 阶段的 0.4513 恢复到 0.6997;听感自然度 MOS 从底座的 2.17 升到 4.12。老挝语同样有效:CER 从 100.45% 降到 13.97%,MOS 从 2.55 升到 3.97。OmniVoice 底座在缅甸语上 CER 从 10.35% 进一步压到 6.85%。反过来的 R→S 顺序虽然 CER 更低(14.71%),相似度却掉到 0.3636——顺序的代价肉眼可见。作为参照,同一评测里 Fish Audio S2-Pro 的缅甸语 CER 为 83.89%,F5-Myanmar-TTS v2 为 35.24%,IMS-Toucan 高达 95.40%。
更有说服力的是两组验证。其一,在 2921 条缅甸语 FLEURS 语句上,双 ASR 不一致度与伪标签真实错误率的 Spearman 相关系数为 0.560:不一致度低于 0.1 的样本,标签 CER 仅 5.94%;高于 0.6 的样本,标签 CER 达 32.30%——「互查」确实能当可靠性用。其二,把立方权重在样本间全局打乱或按时长分层打乱,性能都会下降,说明起作用的是权重到样本的分配本身,而不只是损失的整体缩放。
所以呢
这篇论文真正值得记住的判断写在结论里:弱监督数据应当按它所强化或保留的能力来组织,而不是当成可以随意混入的同质补充。对做低资源语言语音产品的人来说,这意味着不必再等一场昂贵的人工转写工程——用现成 TTS 当发音老师、真实录音当音色与韵律老师、双 ASR 互查当质检员,一条少转写、可复用的路径已经跑通。论文摘要附上演示页链接,想听效果可自行前往。