语音对话模型有一笔绕不开的账:模型每说一秒话,就要逐个自回归吐出一串语音 token。主流口语对话模型(SDM)的生成与合成共用同一套语音 token 表,而这套表通常按 25 Hz 起步——Step-Audio 2 mini 用的 S3Tokenizer V2 就是 25 Hz、6,656 个语音单元,一秒语音对应 25 步自回归生成。对话越长,推理越贵,延迟越难压。

换低码率 tokenizer 是常见思路,但那是伤筋动骨:码率一降,压缩质量与声音细节的权衡就来了,而且原 tokenizer 与解码器整条管线都要替换,旧模型基本白训。中国科学院自动化所团队 10 月 15 日挂上 arXiv 的 CoSTA(论文)走了第三条路:不动原 tokenizer 和解码器,只给生成侧扩一套压缩词表——模型以后「说短话」,解码器照旧「听长话」。

三步后置改造,只动约 6% 参数

做法分三步。第一步词表扩展:把语音 token 序列当文本做 BPE,从对话语音 token 里学出 80K 个压缩单元扩进模型词表;新单元的 embedding 与输出层权重用其成员 token 的均值初始化,原始词表参数一个不动,词表扩展只增加约 6% 的模型参数。第二步发音适配:用 Emilia 中英各 300 小时语音,经 Seed-VC 统一音色后,教模型在压缩 token 空间里做语音合成。第三步对话适配:按 OpenS2S 的构造方式每语言约 5 万条语音对话(助手侧由 CosyVoice 2 用一致音色合成),只更新 LLM 参数,语音编码器、适配器、语音解码器全部冻结。推理时,模型吐出的压缩 token 被确定性展开回原始语音 token 序列,再喂给原封不动的解码器合成波形——压缩无损,合成接口不变。

效率账:生成提速 1.7 倍,延迟砍三成

论文在 vLLM 流式推理设定下测:CoSTA-ZH 把生成 token 压到 66.81%,相对速度 1.736 倍;英文侧 70.17%、1.659 倍。对照组 Vanilla-FT 用同样的适配数据、原 token 微调,压缩率仍是 100%,速度几乎不变——增益确实来自压缩 token 本身,不是多训了一遍。系统层面,中文全响应延迟降 32.8–39.0%,吞吐升 51.6–59.2%;英文分别降 22.4–26.0%、升 25.8–38.6%;峰值显存最多只多 0.68 GiB。质量侧,在 URO-Bench 的中英文数据集上,中文 G-Eval 从底座 69.24、Vanilla-FT 69.88 升到 72.27,ASR 错误率从 7.49% / 4.96% 降到 1.51%,UTMOS 音质评分持平;每语言每指标 180 组配对人评里,流畅度 win-or-tie 达 86.1–96.1%,语义质量 83.3–87.7%。

消融里的真信号

最有信息量的是组件消融:去掉对话适配,G-Eval 从 72.27 直接崩到 24.35——只学会「压缩地发音」并不等于学会「用压缩 token 对话」,两阶段缺一不可。词表规模的权衡同样实在:在词表实验里,从 80K 加到 160K,压缩率从 67.50% 降到 63.62%,速度只再涨 1.1%,G-Eval 反而从 81.36 掉到 78.87,所以 80K 是论文选定的平衡点。限定生成预算的压力测试更直观:同样预算下中文能撑 7.21 轮有效对话(Vanilla-FT 3.71 轮,底座 2.14 轮),英文 5.79 轮(1.84 轮)。换到 OpenS2S 这个不同架构(Think–Talk 结构、12.5 Hz 的 GLM-4-Voice tokenizer)上,语音 token 步数仍降 21.17% / 18.64%,质量还略升——说明这套后置改造可以与低码率 tokenizer 叠加使用。团队还测出压缩率随词表规模的对数近似线性下降(10K–320K 新增单元、八种配置)。

泼冷水的部分

所有跑分均出自论文与官方 GitHub 仓库自报,目前没有第三方复现;压力测试那组轮次数字,作者自己写明衡量的是「生成格式的可持续性」而非对话连贯性;效率结论也绑定 vLLM 流式推理设定。另外这篇 10 月 15 日就挂上了 arXiv,直到 10 月 30 日被提交进 Hugging Face 论文榜才进入社区视野——好工作被发现,有时也得等一个窗口。

语音模型这一轮在卷参数、卷全双工,CoSTA 提醒还有一个更朴素的方向:让模型每秒必须吐的 token 变少。对延迟来说,最贵的 token 是你根本不必生成的那个。