开源语音智能体一直卡在个位数——ServiceNow 自己的评测表里,UltraVox v0.6 的服务准确率只有 8.94 分,Audex-30B-A3B 只有 5.66 分。10 月 29 日挂上 Hugging Face 的 Apriel Voice 27B Preview(论文),把开源阵营一把拉到 51.27 分。它的定位一句话讲完:直接听音频,吐出文字回复和结构化工具调用。
两段式打法:听得懂,但不负责说
现在的语音助手基本两条路:要么 ASR+LLM+TTS 三段拼接,要么端到端的语音到语音(S2S)。Apriel Voice 选了中间的两段式:一个 Whisper large-v3-turbo 语音编码器,通过学习出来的投影层,接在 Gemma 4 26B-A4B 后训练底座上。模型吃 16kHz 音频,输出文本和工具调用;语音合成交给外部——官方评测里所有两段、三段系统统一用 Cartesia Sonic 3.5 合成,闭源 S2S 用自家合成。模型卡写得直白:这个 checkpoint 本身不做全双工语音。
两段式的赌注很清楚:语音接口只管「听」,推理和工具调用全部复用现成的开源底座。这样语音能力可以跟着底座升级走,不用每次为语音重训整个模型;代价是「说」这件事永远依赖外部合成器,延迟和音色都不归自己管。
训练分两阶段:第一阶段建语音接口,第二阶段投影层与底座联合适应,用监督微调、文本回放(text replay)、按数据源切换的交叉熵与前向 KL 监督;对话数据靠自动构造的语音条件对话生成,蒸馏走在线路线——本地教师服务、师生计算重叠、融合全词表损失。
成绩单:体验分领先,成功率还差一截
thinking 模式下:Big Bench Audio 98.90、Speech-BFCL 81.13、τ-Voice 任务成功率 65.51%,平均延迟 1.91 秒;八项音频推理基准均值 85.84。转写侧,LibriSpeech 词错率 test-clean 2.23%、test-other 5.15%,GigaSpeech 10.20、μ-Bench(en-US)10.76、FLEURS(en-US)3.55、Earnings21 11.25,越低越好。
对标闭源 S2S:GPT Realtime 2.1 服务准确率 59.03、对话体验 61.6、τ-Voice 69.82、延迟 1.55 秒;Gemini-3.8 Live Extended Thinking 是 54.82、73.5、84.19、1.50 秒。在这张官方评测表里,Apriel 的对话体验 74.13 是全场最高——比 Gemini 高 0.63 分,比 GPT Realtime 高 12.53 分;但任务成功率 65.51 落后 Gemini 18.68 分,服务准确率也还差 GPT Realtime 7.76 分,延迟慢 0.41 秒。服务准确率量的是订没订对,对话体验量的是聊得顺不顺——两个指标的裂口说明:它强在对话节奏,执行还没跟上。一句话:聊得像回事了,活儿还没干利索。
加了语音,文字能力基本没丢
对比训练前后:MMLU-Pro 85.27→84.42 微降,GPQA Diamond 77.80→80.40 反升,AIME 2024/2025 持平在 92.00/81.67,MATH-500 92.76→92.88,智能体基准 τ²(三个域均值,拿 GPT-5.2 当用户模拟器)68.93→70.95。文本回放这次显然起了作用——语音接口没有吃掉推理底座。
部署门槛与许可
权重 27B、BF16,MIT 许可。官方提供 vLLM v0.32.0 Docker 镜像,参考配置四张 H100 80GB(tensor-parallel 4)、262144 上下文,投机解码拿 gemma-4-26B-A4B-it-assistant 当草稿模型;优化镜像在四张 H100 上实测输出吞吐约为基线配置的 2 倍。长音频按 30 秒分块,官方称 30 分钟内表现良好,一小时输入要把准入上限调到 3600 秒、批预算 32768。仓库近一个月下载 338 次,作者本人今天才把论文提交到社区榜,目前 16 个 upvote——这个模型还很新。
官方自己泼的冷水
模型卡的 Limitations 写得不含糊:多语言表现不均,英文成绩不代表其他语言;噪声与远场语音仍是难点;复杂工具工作流的忠实度和可靠完成仍是限制;长录音可能复读或失去连贯;跑分只描述被评测的配置,换个 workload 不保证成立。另外,全部数字来自 ServiceNow 单一发布方的自报评测,暂无第三方复现;「Preview」这个后缀名副其实。
开源阵营在这张评测表上站上了 50 分档,「编码器+开源推理底座+投影层」的两段式路线被验证成立。但 84.19 分的任务成功率和 1.5 秒延迟还是闭源 S2S 的护城河。听得懂之后,下一个战场是做得成——你的语音助手,聊得再好,订不到那趟航班就还是零分。