和语音助手对话,它总慢半拍——问题往往不在大模型,而在识别器:流式语音识别要等一个词说完才敢输出,通常晚 90 到 400 毫秒。对语音 Agent 来说,这段时间本可以用来发起搜索、预取数据、组织回复。arXiv 新论文 Earlybird 把这个默认设定掀了:一个 29M 参数、4-bit 权重只有 16.8 MB 的小模型,在说话人说完之前就把词打出来,有声书测试集中位词提前 90 毫秒正确输出,每个词还附带一个校准过的置信度。
把「等」改成「猜」
Earlybird 的做法很直接:把 Moonshine Tiny(34M,MIT 许可)的词表砍到英语语音实际用到的 19,007 个 token,模型缩到 29M 参数、精度几乎不丢(每个测试集 WER 差距不到 0.4),再做 4-bit 量化感知训练,权重文件 16.8 MB。
训练的核心技巧是喂「随机截断的音频」:以 80 毫秒为步长随机掐断,要求模型写出此刻所有「到期」的词——只听了一半的词也要完整拼写——再附上下两个词作为猜测。由于相邻截断点的目标序列只会向前扩展,模型从训练里就没学过「收回已经说出口的话」。两个细节值得注意:蒸馏损失只在教师模型拿对的 token 位置施加,否则猜词会学得犹豫不果断;给编码器补三帧静音「垫帧」,把中位提前量从 50 毫秒推到 90 毫秒。
六个测试集,全部提前
论文在六个带词级时间戳的测试集上对比了四个发布模型(全部用各自官方代码跑流式):
| 测试集 | Earlybird | Moonshine Tiny | Whistle | Whisper base |
|---|---|---|---|---|
| 有声书 clean | -90 ms / 2.3 | +270 / 3.9 | +400 / 3.1 | +90 / 2.3 |
| TED 演讲 | -68 ms / 5.4 | +298 / 6.8 | +505 / 7.3 | +125 / 4.8 |
| 财报电话 | -46 ms / 18.4 | +309 / 21.6 | +535 / 17.8 | +142 / 13.3 |
六个集全部提前输出(另有声书 other -60、公共演讲 -66、合成语音 -73);有声书上 69% 的词在说完前就正确命中,对比模型只有 3%-25%。在 Open ASR Leaderboard 八个英文集上,4-bit 版平均 WER 12.6,八个集全部优于 Moonshine Tiny 官方流式运行时(14.4),与同规模的 Whistle(12.2)大致打平;全精度版 11.4,比大一号的 Whisper tiny.en(12.0)还略准。算力账同样能看:单 CPU 线程上每 80 毫秒音频平均耗时 39 毫秒,约两倍实时。最实用的是置信度:对正在说的词,期望校准误差 3.7-5.5,置信度 ≥0.9 的词 91%-96% 是对的——下游 Agent 拿到的是「词+可信度」,可以自己定阈值决定信不信。
代价与边界
抢跑不是白拿的。提前输出意味着更频繁收回:有声书上每个词平均收回 1.29 次,远低于 Moonshine 官方运行时(2.07),但远高于死等的 Whistle(0.16);自发语和嘈杂环境升到每词 2-6 次。背景人声是最大短板:10 dB 嘈杂下 WER 32.0,Whisper base 只有 8.9。模型仅支持英语,域外命令语音(SLURP)上校准明显退化(ECE 8.8)。而「堆大模型」并不能自然解决延迟:为流式而生的 Nemotron 0.6B(464 MB)中位词反而 +230 毫秒;70 倍大小的 Parakeet 0.6B 每 240 毫秒重解码一遍能做到 -10 毫秒,但那是以 Earlybird 一半的错误率换来的。
所以呢
这篇论文真正动的不是精度,而是「等词说完」这个很少被当成设计变量的架构默认。从 +270~+309 毫秒到 -90 毫秒,相当于凭空送给下游 Agent 近 400 毫秒的思考时间——在语音交互里,这未必比把 WER 再降一个点便宜。配合校准置信度,识别器第一次把「信不信」的决定权交给了调用方。模型以 MIT 许可开源在 HuggingFace,16.8 MB、单核 CPU 两倍实时,端侧语音 Agent 的拼图又齐了一块。当识别器开始抢跑,下一个该优化的延迟,是不是轮到「说话人开口之前」了?(论文:arXiv 2611.14421)