土耳其语有八千多万人使用,但在语音合成里一直算中等资源语言。PatientDesk AI 刚公开的技术报告把一个 7,620,931 参数的 TTS 模型推到台前:48 kHz 输出,在 Apple M5 笔记本 CPU 上只开两个线程就跑出实时 41 倍(RTF 0.024),权重 30.5 MB。训练数据没有一句真人录音,全部来自 VoxCPM2 这个大约大 300 倍的教师模型合成的语音,质检后留下约 1,790 小时。

决定胜负的是数据,不是规模

模型卡把参数拆成两块:3.69M 的声学模型从文本画出梅尔谱,3.93M 的声码器把它还原成 48 kHz 音频。总参数上它比对照组 EMA Lightning(8,556,172 参数)还少 10.93%,后者同样只用 VoxCPM2 的合成语音训练,同一教师不同音色。

Freya-TR-Eval 是 495 句的公开基准。模型卡自带的 harness 记的是:Mini 1.0.1 的 WER 1.02%,EMA Lightning 1.00%,教师 VoxCPM2 0.92%。换到公开基准页那套 harness(换种子、单张 NVIDIA L4),Mini 是 1.09% 对 EMA 的 1.04%,CER 0.220% 对 0.225%。论文把 CER 0.220% 写成"11 个开放权重系统里最低",但在跑过的 15 个里只排第二,前面压着自家闭源的 Alania-2 声音 Öncel(0.217%)。它自己补的那句更狠:这些差距在 80,922 个字符里只有 2 到 7 个错误,"没有一个能与零区分开"。

姊妹报告 Alania-2 更直接:488M 版本与 2.3B 模型的字符错误率相差不到半分,7.6M 单音版本"追平了我们测过的最可懂系统"。

声码器要用生成出来的梅尔谱训练

最初的 2.16M 声码器只在真实梅尔谱上训练,结果越训越差:40 条语料上的复现合成 UTMOS 从第 20,000 步的 2.54 掉到第 148,000 步的 2.17,教师是 3.29。梅尔谱损失一路下降,UTMOS 一路往下掉,两者脱钩。诊断是对的:推理时声码器拿到的是声学模型生成的梅尔谱,和训练时见过的不一样。

改成在声学模型自己的输出上微调后,词错误率从相邻预发布检查点的平均 3.89% 降到 1.75%;同期不动的声码器停在 3.63% 到 4.14%。最终出货的 3.93M 声码器为此付出约 0.24 UTMOS。

教师的缺陷,被学生原样继承

土耳其语有个特殊字母 ö。教师模型 VoxCPM2 在片段开头遇到 ö 时会把开头弄坏,且不同词坏的程度不一样:长集里 12,554 条以 ö(大小写均计)开头的保留片段,只有 26% 第一个词是对的(95% 置信区间 25.4 到 26.9),其他大写字母开头的有 94% 是对的,单看大写 Ö 只有 23.66%。

学生把毛病学走了:质检最终保留了 9,271 条"首个 ö 词被 Whisper 判错"的行,过滤式微调没有任何改善。论文的临时解法很说明问题——在以 ö 或 ı 开头的片段前塞一句"ee,",合成完再把这段音频剪掉。这是遮,不是修。模型卡的说法是"这个技巧在每个片段开头把它藏住了,但并没有消除它",真正的修法得回数据源头。

论文自己承认的三处不牢

第一,最终分数是被挑过的。论文写得很直白:"最终设置下的数字因为挑选而偏乐观。"倍音规则来自基准的报错,温度、步数、语速、后缀和均衡器都在同一批 495 句上筛;公开 harness 只换种子,句子还是那批。

第二,没有人做过真人盲听。论文写着"No human listening test exists",错误分析那节又补了"没有人听过这些 take"。质量数字都来自自动指标,论文承认 WER 可能相对人类可懂度美化模型,而幅度"我们没有测量过"。

第三,它的错误比对手更"稳定"。公开 harness 上,模型 70.3% 的词错误集中在三次全败的句子上,EMA Lightning 是 54.9%。有 16 条句子 Mini 三次全错、EMA Lightning 却不是,其中 12 条"看起来是真的发音错误"。UTMOS 方向也不一致:全频段 EMA Lightning 领先(3.30 对 3.18),8 kHz 频段 Mini 反而领先(3.05 对 2.88),论文说"没有测量出符号为什么改变"。

六千步没有梯度的训练

报告里还留了一段像事故复盘的记录。bf16 自动混合精度会缓存转换过的权重,而作者在同一个 autocast 区域里、在 no_grad 下算了快捷采样目标,于是训练拿到的是分离过的副本,生成器一个梯度都没拿到。签名很安静:流匹配损失平在 2.03 附近,滑动平均权重上的验证损失完全不动。主训练前 6,000 步、兄弟运行 15,000 步,生成器全都没在学;到第 13,000 步,输出权重范数仍是零。

教训只有一句:第一步之后,断言每个可训练模块都有梯度。他们第一次启动就崩在"参数未使用"的报错上,用 find_unused_parameters=True 压下警告后过了很久才找到原因。

公开了什么,又关上了什么

Apache-2.0 覆盖权重、推理代码、文本正则器、ONNX 图、页面代码,以及整套基准装置——适配器、results.json,还有逐条转写、得分和计时数据。论文说 results.json 里 20 行结果"每一行都能从逐条文件零差异重算",不必重新渲染音频。

没公开的是训练代码、数据生成脚本、训练数据、ONNX 导出工具和 Android 源码。你能跑它、能重新打分,但不能复现它。出货血脉花了 114.5 个 GPU 小时(声学 36.4,声码器 78.0),全部训练运行是 159.0。

所以呢

这份报告最值钱的不是 7.62M 这个数字,而是它愿意把"教师的声音在开头会坏""这个数字是挑出来的""没人做过盲听"写进正文。自动指标能告诉你模型在某个基准上错得少多少,却不会告诉你教师的声音里藏着什么缺陷。

数据血缘是这个时代最容易被忽略的资产:模型可以小到在笔记本上跑、快到在浏览器里跑,但若训练数据不公开、教师的缺陷没被追到源头,"小"就只是把不可复现性也一起缩小了。