日语里一个「秋」字,单念是 aki,放进「晩秋」读 shū,在古文「危急存亡の秋」里又读 toki。更极端的例子:《某科学的超电磁炮》标题里的「超電磁砲」,标准读音本是 chōdenjihō,作品却要求它念成英文借词「レールガン」(Railgun)。让语音合成模型把这类多音字念对,是日语 TTS 最顽固的坑之一。
端到端 TTS 普及之后,这个坑反而更深了。传统级联系统先用文本前端把文字转成音素,发音可控,但汉字字形里携带的语义和韵律线索被一并丢掉;新一代零样本模型直接吃原始文本,自然度上去了,多音字错误却压不住。百度深圳团队 11 月 4 日挂在 arXiv 的论文 Ruby-OPD 给出了一组下限数据:在常用汉字读音基准 JKYB 上,通用多语种模型 Qwen3-TTS 1.7B 的读音准确率只有 72.10%,FireRedTTS3 73.29%,FishAudio S2 Pro 89.90%,目标词假名错误率最高飙到 23.68%。
把注音通道焊进训练
方案的前半解决可控性。团队借鉴日本书报在汉字上方标注假名的 Ruby 排版,定义了隐式(括号附录音)与显式(带边界标记)两种注音表示。但直接拿注音数据微调,模型根本学不会看注音——基座在原始文本上预训练,本来就会「猜」大多数读音,没有动力理会注音,推理时甚至把字形和注音一起读出来。对策是字形扰动:训练时随机把汉字遮掉、替换成无关字符、或换成读音完全不同的近义汉字(比如把片假名ワールド换成念 sekai 的「世界」),逼模型只能依赖注音。消融实验里还有个反直觉结果:把整句全转成假名,效果反而比只转目标词更差——汉字本身就是分词与语义的锚,整句剥掉等于自废武功。
不烧配对语音的在线蒸馏
方案的后半解决裸文本准确率。冻结的「老师」看全注音文本,「学生」看裸文本;中间状态由学生从纯高斯噪声在线 rollout 得到,不含任何来自真实语音的信息,学生被训练在同一状态下逼近老师的速度场。数据侧从 UniDic 词典种子词出发,用 Gemini 3.1 Pro 合成出约 68 万个单音句和 10 万个多音句——蒸馏核心只需要(文本,注音)对,配对语音仅在训练中穿插两成用来稳住音质。效果很硬:只用注音数据做 SFT,裸文本准确率反而从基座的 94.11% 掉到 92.32%;加上在线蒸馏后拉到 97.13%,目标假名错误率从 4.68% 砍半到 2.02%,句子级错误率 0.70%,在论文表 2 的八个模型里排最前。测试基准 JKYB 覆盖 13,536 个句子、2,136 个常用汉字、4,512 种官方认可读音,专门针对这类读音歧义。
代价与看点
诚实的部分也要说:声音克隆相似度 CAM++ 为 0.703,略低于基座的 0.728;音质指标 UTMOSv2/DNSMOS 与教师模型持平。可控性和准确率的收益,是拿一点克隆相似度换来的。基座是开源的 Irodori-TTS-v4.1-Small,微调用的 774 小时对齐语音来自开源数据集 Emilia 的日语子集,整套方法工程上可复现。
对中文场景,这套思路几乎可以平移:中文多音字(「重庆」的「重」、「银行」的「行」)与日语汉字读音歧义同源,「保留汉字表层 + 注音通道 + 扰动训练」的组合拳可以直接抄作业。更值钱的是那个普适信号——发音知识可以从纯文本蒸馏进模型,不必为每个语种再烧一批录音棚数据。当语音合成转向长尾语种竞争,谁先把「文本即教材」用透,谁就先跨过数据瓶颈。论文地址:https://arxiv.org/abs/2611.06403