语音赛道有个不成文的生理学约束:人说完话,机器得在 500 毫秒内接上话头,再慢,对话就开始尴尬。为了守住这条红线,业界默认的解法是放弃推理——Gemma 4 31B、GPT-4.1 这类不带思考的模型统治语音 Agent,不是因为它们聪明,而是因为会推理的模型开口太慢。Inception Labs 9 月 29 日面向企业客户正式商用的 Mercury Voice,想用扩散架构把这道选择题拆掉——它两周前刚随 Mercury 2.5 预览过。

320 毫秒是怎么来的

Mercury Voice 是专为语音 Agent 调优的扩散大模型(dLLM)。官方博客主打「首个答案 token 时间」(TTFAT):在真实客服语料上中位数 320 毫秒、p95 仅 750 毫秒,官方口径比不开推理的 GPT-6 Luna 快 5.9 倍;低推理档下,它是对比阵容里唯一中位数低于 500 毫秒对话预算的模型,p95 也快过除 Cerebras 上 GPT-OSS-120B 之外所有对手的中位数。尾部延迟被专门强调:p95 若是四秒,约二十轮对话就翻车一轮。底牌是扩散模型的老本行——并行解码替代逐 token 生成,Mercury 家族此前在文本侧跑出过每秒千 token、在搜索场景号称单查询能跑一百遍,这次是把同一机制搬进语音管线的推理槽位。

会推理,也能打电话

按官方自报,Mercury Voice 在 τ³-bench Telecom/Retail/Airline、IFBench 与 BFCL v4 组成的复合基准上超过 GPT-6 Luna、GLM-5.3-Flash、Gemini 3.5 Flash-Lite 和 Qwen3.5-397B。「推理模型塞进语音延迟预算」本身就是新信息:它提供低中高三档推理力度,128K 上下文、最高 50K 输出 token,接口兼容 OpenAI API,可直接插进 LiveKit、Pipecat、Vapi、Retell 等语音框架的 LLM 槽位。

一分钟 0.9 美分的账

定价每百万输入 token 0.40 美元、输出 1.50 美元,上线期五折(0.20/0.75 美元)。按官方给的典型语音负载折算约每分钟对话 0.009 美元,对标 GPT-4.1 的 0.045 美元/分钟,便宜约 5 倍。落地案例:Audivi AI 用它做全自动得来速点单;Altur 在金融机构的还款谈判通话里测出「最快」;OpenCall 生产环境中位模型延迟约 170 毫秒。引语都出自官方博客,但至少是真实付费客户。

冷水与看点

基准全部自报、第三方评测缺位,是这类发布的常规保留节目。更值得看的是轨迹:扩散 LLM 从文本到搜索、再到实时语音推理,每一步都咬住「既要低延迟、又要会思考」的场景。语音的延迟红线由人类生理钉死在 500 毫秒,而推理模型的思考还停在秒级——并行解码可能是目前唯一同时满足两边的工程答案。下次你打电话没听出对面是 AI,别只夸拟人,想想它是不是把「想」和「说」压进了同一瞬间。

参考:https://www.inceptionlabs.ai/blog/introducing-mercury-voice