一个 0.6B 的语音识别模型,底座冻结不动、只在上面挂几个小读出层,在「这句话是不是该我接」这类问题上给出了比 30B 音频大模型更高的分数——这是论文自己那份对照表里的数字(https://arxiv.org/abs/2611.18330)。有意思的地方不在这个分数,而在它背后那套完全不同的问法。

决策,不是生成

论文叫 Marimba,作者 Solano Amadori,署名 charcot.ai,2026 年 11 月 13 日提交 arXiv。核心机制只有一句:一个 8 秒音频窗口,冻结的 Qwen3-ASR 0.6B 编码器只前向一次,同一批特征复用来回答这个窗口上的多个问题。

输出被限定成三种类型:choice、yes/no、score,都带概率,不带生成的解释文本。

分工也很清楚。词面问题(有没有说出某个词)根本不做任务训练,直接看冻结解码器的输出:贪心解码加四条 beam 搜索共 5 条假设,归一化后按精确 token 匹配算比例,再用 Platt 缩放校准成概率。非词面问题走一个 question-conditioned head,用交叉注意力给每个候选项打分。轮次结束另开一路,在第 18 层特征上池化最后 2 秒。语言识别更省事,直接用 ASR 自带的语言 token 概率,覆盖 30 语种。说话人相关的三个判断挂在第 12 层。

赢在哪,输在哪

先说清楚一件事:论文那 1000 道固定公共问题的对照里,轮次结束这一行对 Marimba 是分布内的,因为它的读出层就是拿 Smart Turn 的训练数据训的;其他所有行对所有系统都是零样本。所以下面那个「赢了」要打折看。

对照表里有两行值得单独拎出来。FLEURS 二元词检测,它的 AUROC 是 0.901,Qwen3-Omni 是 0.791,Qwen2-Audio 是 0.682。轮次结束那一行是 0.935 对 0.786 对 0.476——Qwen2-Audio 在这项上按随机水平走,95% 置信区间是 0.40 到 0.55,200 条样本里它全选了肯定项。

但反过来也有两行是 Qwen3-Omni 领先:Speech Commands 二元 AUROC 0.991 对 0.926,Common Voice 语言识别准确率 1.000 对 0.904。官方仓库后来把对照表补到四个系统,加进来的 FireRedAudio 在轮次结束上只有 0.542。

跟专用模型比才是更硬的考验。在 Smart Turn v3.2 自己的 500 条测试集上,Marimba 的读出层 AUROC 是 0.930,Smart Turn 是 0.982,配对差 -0.052,95% 区间从 -0.075 到 -0.032。换成域外的 ICSI 数据,双方是 0.716 对 0.712,差值 +0.004,区间 -0.046 到 +0.054——论文明确写了这是一次统计打平,既不算优势也不算等价。

说话人那几项成绩不错。换人检测 0.966 和 0.980,ECAPA 基线是 0.924 和 0.962,pyannote 3.1 是 0.865 和 0.812;同一人 0.998 和 0.996,对 ECAPA 的 0.985 和 0.995;人数准确率 0.778 和 0.859,对 pyannote 的 0.738 和 0.836。但三人以上会少数——VoxConverse 上 667 个这类窗口里有 395 个被报成两人。语音活动在 AMI 上 0.986 到 0.995,VoxConverse 至少 0.999。

词面和隐私这两块要一起看。语言识别在 FLEURS 上 300 条开集闭集都是 100%,Common Voice 闭集 93.33%、开集 84.33%。个人信息检测用了 200 条合成巴西葡萄牙语语音,词级 F1 0.904,100 条负样本里误报 3 条;换成参考转写则 F1 是 1.000,说明漏检来自转写本身——电话号码召回 0.70,CPF 号只有 0.60。

论文自己把输的地方写清楚了

域外场景分类这一项全在随机水平。四选一准确率 0.24 到 0.29,随机是 0.25;二元 AUROC 0.48 到 0.54。这说明这套读出层不是万能的通用语义头。

延迟也不平均。轮次结束 13 毫秒,语音活动 16 毫秒,语言识别 161 毫秒,词检测要 2.35 秒——词面问题必须跑解码,编码器复用不等于流式就绪。跨域校准也别想捡便宜:在 ICSI 上做五折跨会议重校准能把 ECE 从 0.200 压到 0.011,但那是每折 200 条标注窗口换来的,论文自己说明这只说明域内,不等于跨域校准。

工程细节上,官方仓库(https://github.com/Charcot-AI/marimba-api)写明个人信息检测需要调用方自带文本检测器、仓库不提供,音频场景分类那栏直接标 unavailable,返回 None 而不是猜一个。

伦理那段值得单独看一眼。私有数据来自一家商业临床记录平台,按该平台条款由临床医生接受并授权去标识化后用于训练,适用巴西 LGPD;但这项研究没有经过伦理委员会审查,患者也没有给研究专门的研究知情同意。私有数据不公开,只报聚合结果。

这条路线值不值得跟

机制层不是一篇论文的孤例。另一个团队的 ASOM 论文(https://arxiv.org/abs/2610.22401)走的是同一条路:冻结的语音与文本编码器接到一个 620 万参数的读出层,一次前向答完 20 个问题要 13.1 毫秒,比音频大模型快 17 到 41 倍。而轮次检测赛道的老对手 Smart Turn v3.2 本身也就约 800 万参数,基于 Whisper Tiny,某些 CPU 上 10 毫秒就能跑完(https://github.com/pipecat-ai/smart-turn)。

底座也不是瓶颈。Qwen3-ASR-0.6B 以 Apache-2.0 开源,官方仓库写明覆盖 52 种语言和方言、并发 128 时达到 2000 倍吞吐(https://github.com/QwenLM/Qwen3-ASR)。冻结一个够用的底座再挂各种读出层,这事的成本已经低到不像个研究题目。

我的判断是,语音 Agent 真正难的不是听懂,而是决定「现在该不该说话」以及「这个决定有多确信」。把问题写成是非题并强制输出概率,至少让上层能设阈值、能拒答——在实时语音栈里,这比多几个点的平均准确率更值钱。代价同样实在:词面问题因为要解码,延迟从 13 毫秒跳到 2.35 秒。

所以问题留给你:当一个系统把「我不确定」变成一个可以编程的返回值时,你会更愿意把决策权交给它,还是更担心它用一个漂亮的概率把不确定性藏起来?