多模态大模型在长输入里找关键证据,靠的可能只是一小撮注意力头。中科院信工所与腾讯的团队 10 月 23 日放出的论文(arXiv:2610.32411),在 18 个模型 checkpoint 上系统摸底了这类「检索头」:音频、视觉这类新模态下它们依旧稀疏、大量跨模态共用,砍掉后音频检索直接归零;论文还把它们变成训练目标,让文档检索涨了约 6 个点。
实验设计:同一个答案,念出来或亮出来
检索头(retrieval heads)的概念来自文本模型研究:一小撮注意力头负责把上下文里的相关信息搬到输出端。这篇论文沿用一套校准打分——计算问题 token 对证据 token 的注意力,再用「无信息问题」在同一上下文下做基线扣除,差值排名前 5% 的头称为检索头。为了测新模态,团队构造了配对输入 AV-NIAH:往 MLVU 数据集的长视频里塞一个六位数「秘密数字」,音频条件下用合成语音念出来,视觉条件下在屏幕中央横幅显示一秒;背景视频、答案、插入深度、问题全部固定,变的只有证据模态。18 个 checkpoint 覆盖四组:纯文本(Qwen2.5-3B/7B、Qwen3-4B/8B)、图文(Qwen2.5-VL、Qwen3-VL 各两档、MiniCPM-V-4.5)、统一模型 BAGEL-7B,以及全能模型八款(Qwen2.5-Omni 两档、MiniCPM-o 两款、SALMONN 2+ 两档、SALMONN Pro 两档)。
四个发现:稀疏、共用、保留、不可少
**稀疏。**八个全能模型、两种证据模态下,不到十分之一的头就贡献了全部正分的一半,高分集中在中间层与中后层。
**共用。**同一个数字念出来和显示出来,招揽的是同一批头:top-5% 检索头在音频/视觉两个条件下重合 69%-83%,全排名 Spearman 相关 0.88-0.92,而随机集合的重合不到 3 个头。头的招募更多取决于「找什么」,而不是证据以什么模态出现。
**保留。**模态扩张基本不动旧家底:SALMONN 系列与其图文底座的检索头相关系数 ≥0.97,Qwen2.5-Omni 也紧贴它出发的语言底座。
**不可少。**把 top-5% 检索头消融掉,四个受测模型的音频检索全部归零——Qwen2.5-Omni-7B 的音频精确匹配从 98.3% 掉到 0,同规模的随机消融只把它降到 96.9%。更值得注意的是跨模态共享的那一小撮(Qwen2.5-Omni-7B 里 14 个头、SALMONN Pro 4B 里 10 个,不到全部头的 2%):砍掉它们,16 个模型-任务组合里 15 个的损伤超过砍图像检索头,且损伤集中在视觉数学与空间感知——MathVista 掉 22.3 个百分点,CV-Bench 掉 16.3,SALMONN Pro 4B 的视觉数学 MathVision 掉 18.8。
从分析到优化:检索头当训练目标
看懂机制之后,论文把检索头变成优化对象:固定选出的 16 个检索头,只对它们的注意力分数做排序训练——每个样本一页正例加一页同文档难负例,LoRA 挂在注意力投影上。在多模态文档检索基准 MMDocIR 上,Qwen3-VL-8B 的页面级 Micro Recall@1 从随机头的 38.00、未训练检索头的 56.45,训练后涨到 62.48,提升 6.03 个点,十个文档域全部提升;训练数据不含任何版面级标注,版面级检索仍从 47.14 涨到 48.60。换家族同样成立:Qwen2.5-VL-7B 涨 5.69 个点,Gemma3-12B 涨 2.17。四个域外基准的变化都在一个点以内。
作者自己按了刹车
62.48 的页面检索分其实超过了表中的已发表检索器(ColPali 54.58、Col-Phi3 57.10),但作者明确写了这些系统的评测设置不同,受控比较对象是同一设置下未训练的检索头;稿件标注 work in progress,所有结论都是论文自评,还没有第三方复现。
所以呢
这篇工作的价值在闭环:可解释性不止能「看」,还能直接变成训练信号——不到 2% 的头既解释了跨模态检索,也指出了该拧哪颗螺丝。对做长上下文、RAG 与多模态检索的工程团队,这是「先定位再训练」的一条可复制路径;下次看到全能模型找证据又快又准,可以想到背后可能就是那几十个头在干活。