CosyVoice3 是当下表现靠前的开源 TTS 模型,但它的推理栈由 Python 生态堆叠,部署时要把 PyTorch、依赖包、版本冲突一起装好,十几 GB 的运行时是常态。HardenedLinux 在 GitHub 开源的 Velum 直接把这套流水线用 modern C++ 重写,产物只有一个可执行文件,运行时不再依赖 Python。

工程取舍:在线零 Python

神经网络前向基于 GGML+CUDA,推理阶段不调用任何 Python,只有数据预处理阶段(从文本里抽出 token、构造 mel-spectrogram 候选)继续用 Python 跑一次,生成离线资产。运行时目录里不再需要装 PyTorch、依赖包、版本冲突解释器,所谓"部署更新"就是拷贝这一个可执行文件。

四阶段对齐 PyTorch 参考

Velum 设计了一个四阶段递进式对齐流程,逐级把推理误差压到 PyTorch 参考实现的 GREEN 阈值(相对误差 ≤1%)。源材料显示,这套流水线在 CPU 和 CUDA 上均通过所有 GREEN 检查,没有依赖任何 GPU 算子替换或黑盒降级;实现细节全部以源码形式公开,可在 GitHub 仓库直接验证。

谁是 Velum 的"架构师"?

Velum 不只是给 CosyVoice3 写一个 C++ 包装。Solidot 引用的报道指出,它的整体架构由人类做规划、再交给 DeepSeek-v4-pro 完成。这意味着 Velum 既是一份高质量的 TTS 推理程序,也是一次 LLM 主导大型工程项目的案例:人类定调、模型填血肉,最后产出一份可在生产环境部署的可执行文件。

一个边缘部署的解法

CosyVoice3 是开源 TTS 的旗舰级别模型,但它的 Python 推理栈让 Agent 集群、边缘设备、自托管小团队的部署成本过高。Velum 通过 C++ + GGML 的组合把整套推理栈压成一个可执行文件,实际意义是:Agent 想要集成语音能力时,不再需要拖一个十几 GB 的 Python 运行时,只要把这个二进制复制过去即可。