SLAM-ASR 是语音识别里一条出了名省事的路线: 语音编码器(Whisper turbo)冻结, 大语言模型也冻结, 只训一个小投影层——把每 5 个连续编码器状态拼起来, 过一个隐藏层 2048 的两层 MLP——把两边接起来, 转写效果就有竞争力; 原始论文甚至把方法自嘲为 embarrassingly simple。但一个疑问始终没人回答: 一个小映射, 凭什么够用? 爱沙尼亚塔林理工大学(Tallinn University of Technology)的 Fedorchenko 与 Alumäe 两位研究者给出电路层面的答案(https://arxiv.org/abs/2611.24721): 真正干活的, 是冻结 LLM 里的感应头。
感应头: LLM 自带的复读电路
感应头(induction head)是文本 LLM 里被反复研究的电路: 看到 A 后面跟过 B, 下次再遇到 A, 它就注意 B 并抬高 B 的输出概率, 一边做前缀匹配, 一边做复制。Anthropic 的 Olsson 等人 2022 年在 Transformer Circuits 系列里系统描述过它(https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html), 独立团队后来也在 NAACL 2025 的工作里把它确认为上下文学习做模式匹配的关键机制。这篇论文找头的方式很干净: 完全不看语音, 用 50 个随机词重复两遍的序列算每个头的前缀匹配得分, 取排名前 3% 的集合 Ck——Llama 3.2-3B 里 20 个头, Gemma 2-2B 里 6 个, Ministral 3-3B 里 25 个。
挡住 10 个头, 错误率翻倍
因果验证靠注意力屏蔽: 把这些头对语音位置的注意力权重压到负无穷, 让注意力重新分配到其余上下文。Llama 3.2-3B 上, 挡掉前 10 个感应头, 词错误率(WER)从 3.3-3.6 涨到 7.1-8.3, 直接翻倍; 从同样层里随机挑 10 个头挡掉, 错误率几乎不动。三个解码器上挡 C10 都会推高 WER。论文的解释是, 语音嵌入在这里扮演序列里第一次出现的角色, 每个词的语音嵌入近似它生成的 token, 于是站在刚生成的词上, 感应头照旧注意语音里排在后面的那个词, 把它抄出来。
成对头: 模型自己长出的差分注意力
更有意思的是成对结构。作者把每层里对 ASR 最重要的头记为 h1, 再找同层输出方向与它最相反的头 h2, 发现有的对在分组查询注意力(GQA)下共享同一组键值: 两边注意到的位置一样, 输出却反向, 叠加后共同的注意力噪声被抵消, 注意力被锐化到刚生成的那个词上。这正是 ICLR 2025 差分 Transformer 的设计思路, 区别是它不是架构设计出来的, 是模型自己长出来的。挡 h1 一个头比把一对都挡掉伤害大得多; 单挡 h2 在 Gemma 和 Ministral 上几乎没影响。
顺手捡到一个降噪开关
反过来加强这批头会怎样? 论文在推理时把 Ck 的输出放大 1.5 倍, 在 400 条 test-clean 加 400 条 test-other 语音上加气泡声和白噪声(信噪比 5 和 0 dB)测试。Llama 在最难的气泡声 0 dB 条件下, WER 从 89.0 降到 81.8, 插入率从 40.4 降到 32.1; 加噪均值 WER 从 41.9 到 39.9。对照里, 放大同层其余的头, 加噪均值 WER 冲到 50.8, 比不放大还差; 三次随机种子下 Ck 都稳定优于随机头。干净音频上的代价最多 0.2 个点。此前 ICASSP Workshops 2025 的独立评估已经发现 SLAM-ASR 在加性噪声下退化严重, 这个开关算一个便宜补丁。不过降噪只在 3 个 LLM 里的 2 个上成立, Gemma 上并无效。
该泼的冷水
所有数值都是论文自报; 训练只用 LibriSpeech 的 clean-100 子集, 噪声测试规模是 800 条语音; 「投影层该怎么训, 要不要连着头一起更新」在论文里仍是开放问题——按论文的描述, 现在的投影层只是把语音糊成一种带噪声的重复文本, 让 LLM 的旧电路勉强能读。
所以呢: 这篇论文的价值不在刷榜, 而是把「冻结复用」路线的账算清了——你不是在训一个语音识别器, 你是在给 LLM 已有的电路接线。机制解释直接变现成推理时的干预手段, 一个放大系数就白捡几个点的降噪。下次看到「只训百分之一参数对齐多模态」的工作, 不妨先问一句: 冻结的那头, 到底是哪些头在干活?