CosyVoice3 是当下表现靠前的开源 TTS 模型,但它的推理栈由 Python 生态堆叠,部署时要把 PyTorch、依赖包、版本冲突一起装好,十几 GB 的运行时是常态。HardenedLinux 在 GitHub 开源的 Velum 直接把这套流水线用 modern C++ 重写,产物只有一个可执行文件,运行时不再依赖 Python。
工程取舍:在线零 Python
神经网络(LLM / Flow / HiFT)全部跑在 GGML 之上,带 CUDA 加速;权重转换和 campplus / speech tokenizer / matcha mel 这类声学前处理被挪到离线 Python 一次性导出,C++ 端加载冻结好的二进制文件,部署更新只是拷文件。仓库自带 CMake 工程,默认 VELUM_ENABLE_CUDA=ON,CUDA 工具链缺失时退回到纯 CPU 构建;两个后端都链接进同一个二进制,运行时按设备自动选择,可用 VELUM_BACKEND=cpu 强制指定。
逐级数值对齐 PyTorch 参考
验证策略遵循 PyTorch 参考实现的逐级对齐:每一个 cross-check 都报告 scale-normalized relative error,≤1e-2 标 GREEN(通过),1e-2–1e-1 标 YELLOW(待查),>1e-1 标 RED(结构发散,直接 fail)。仓库用四组 verify_*.py 脚本分别核 DSP 前端(Whisper 128-bin log-mel + Kaldi 80-bin fbank)、Flow 解码器(PreLookaheadLayer + DiT×22 + CFM Euler)、HiFT 声码器、LLM 主干(Qwen2-0.5B + CosyVoice3LM heads + ras_sampling)。端到端 CLI 测试 tests/verify_e2e.py 在 seed 0 上把 LLM → Flow → HiFT 全链路对 PyTorch 做 cross-check,CPU 端 Flow mel 的 max abs 为 1.142e-3、相对误差 1.056e-4,HiFT pcm 相对误差 8.112e-3;CUDA 端分别是 2.220e-3 / 2.052e-4 与 3.495e-3 / 5.036e-3,两端均落在 GREEN 区间。
谁写的、边界在哪
这种规模的项目由 AI 直接写代码并不寻常。仓库 README 明示:项目由人类做架构规划,LLM 部分由 deepseek-v4-pro 完成,Coding Assistant 是 Claude Code。需要注意的边界:ONNX 前端(campplus + speech tokenizer)和 matcha 80-bin mel 仍由 Python 预处理生成文件,没有被重写成 C++,属于「暂交给 Python」的部分;LLM 权重 llm.gguf 大约 2.6 GB,CUDA 路径需要至少同等显存的卡,文档建议若 cudaMalloc 报 OOM 时强制走 CPU。
对希望把 TTS 嵌进产品或 Agent 流水线的团队,Velum 的价值是部署形态的简化:单一可执行、零 Python 运行时、端到端数值对齐参考实现、CUDA/CPU 同二进制可切换。开源协议是 GPL-3.0。