多模态模型的评测榜单,最近被一份 arXiv 预印本撕开了一道口子。
论文叫 RAMP,2026 年 11 月 16 日挂出(https://arxiv.org/abs/2611.20653),作者来自中国科学技术大学、中南大学和燕山大学。它做的事很朴素:把多模态评测里一个长期没人较真的环节单独拎出来——**答案读出协议**(answer readout),也就是评测程序到底从模型输出里怎么把答案抠出来。
作者的结论是:同一张图、同一道题、同一个模型权重,仅仅换一个「怎么读答案」的接口,榜单分数能差出 20 个百分点。
差距到底出在哪
论文在 POPE 对抗性数据集的 500 道题上,用了 SmolVLM-256M、TinyLLaVA-1.1B、Qwen2.5-VL-3B 三个骨干,比较四种读出方式:直接读 yes/no 的原始 token(bare)、把大小写等表面变体都算进去取最高分(surface)、以及给模型看 A. yes / B. no 这种带选项的提示再读字母(typed),外加把选项顺序颠倒的反向版本。
结果是:SmolVLM-256M 从 bare 的 71.8% 掉到 typed 的 51.6%,差 20.2 个百分点,95% 置信区间落在 [-27.6, -13.2]。TinyLLaVA-1.1B 从 82.4% 掉到 66.0%,差 16.4 点。Qwen2.5-VL-3B 从 85.2% 到 87.0%,只差 1.8 点。同一族更大一点的 SmolVLM-500M 在自己那套 CPU 配置下,从 82.2% 掉到 60.0%,差 22.2 点。
规律很直白:小模型在读出协议面前极其脆弱,参数多一点的就稳得多。这个反差比「换个提示会掉分」更值得玩味——它说明很多小模型的分数本来就不该被当真。而且换 surface 读法,SmolVLM-256M 反而从 71.8% 涨到 75.0%,TinyLLaVA 从 82.4% 掉到 78.4%,方向都不一致。
还有一组候选集实验:往 yes/no 之外再塞 2 到 50 个诱饵选项,三个较大骨干的准确率基本不动,SmolVLM-256M 则卡在 64.0% 左右,只有一个 50 选项的种子掉到 63.8%。论文据此写下一条构造层面的单调性关系——候选集越大,准确率不会更好。
换协议,答案全变了
更要命的是,作者发现准确率这个汇总数字会骗人。
(下面这组数字取自论文的归档实验,和上一节新跑的一批分开统计。)在归档的 SmolVLM-256M 那组 POPE 实验里,从 bare 切到 typed,有 221 道题从对变错、121 道题从错变对,500 道题里 342 道的对错归属整个翻转,净差只有 -20.0 个点。TinyLLaVA 则是 119 道对转错、38 道错转对,157 道题变了,净差 -16.2 点。Qwen 只变了 33 道题。
更极端的例子在 ChartQA 的 104 道原生是非题上:SmolVLM-500M 有 40 道从错转对、39 道从对转错,79 道题改了答案,占这个子集的 76.0%,而最终准确率只动了 +1.0 点。
也就是说,榜单上那个「差不多」的分数,可能是两份完全不同的答卷互相抵消出来的。把 A/B 选项顺序对调,SmolVLM-256M 有 401 道题的语义预测直接翻转;Qwen 那边 487 道共同观测题里只有 7 道变。
换协议,连置信度一起塌
作者还顺手量了校准。SmolVLM-256M 的 15 分箱正确性 ECE 从 0.221 涨到 0.409,SmolVLM-500M 从 0.093 涨到 0.238;TinyLLaVA 从 0.061 涨到 0.084。只有 Qwen 是反方向的,从 0.065 降到 0.050。AUROC 也跟着掉:SmolVLM-256M 从 0.7011 降到 0.6084,Qwen 从 0.7927 降到 0.7762。
提示词措辞那一层同样敏感。SmolVLM-256M 在一种问法下相对原提示涨 13.2 个点,把答案 token 首字母大写则掉 10.2 点;TinyLLaVA 首字母大写的变体直接掉 17.2 点。Qwen 那一列的波动区间始终在 -0.4 到 +2.0 之间。选项放到问题前面还是后面也另有一组 64 题的小实验,TinyLLaVA 在这里掉了 23.44 个点。
同一份代码,换个机器结果就不一样
作者做了一件同行很少做的事:把原始 logit、候选 token ID、语义映射、精度、图像策略全部留档,然后从保存的数据里独立重放。他们从 JSONL 里重放了 16,140 个首 token 决策,逐条跟处理后的预测完全一致;另一条路从 57,073 行的读出表重算,也复现了全部 217 个导出的准确率格。
重放过程还暴露了一件让人不太舒服的事:同一个 SmolVLM-256M 的 POPE 500 题实验,跑在 CPU/fp32 上是 -14.4 个点,跑在 MPS/fp16 上是 -20.2 个点。语义预测在那 64 道对照题上一个都没变,但分数边界的差异最大能到 0.136694。结论的量级本身,也取决于跑在什么设备上。
这不是新问题,但没人这么量过
「读出方式会改变结论」这个机制本身不新鲜。2024 年的 Order Matters 一篇论文(https://arxiv.org/abs/2410.16983)就发现多模态大模型对输入顺序极度敏感,顺序一变,表现能在接近最好和随机猜之间跳,并提出位置不变准确率(PIA)来纠正;2026 年 6 月的 Facet-Probe(https://arxiv.org/abs/2606.26079)审计了 18 个前沿和开源多模态模型,跨选项、证据块、文档排序、图像集、图文混合五个维度做扰动,发现没有一个模型是顺序不变的,各维度翻转率在 24% 到 50% 之间,论文里表现最好的模型仍有 13.4% 的试验在翻转。更早的 State of What Art?(https://arxiv.org/abs/2401.00595)在 650 万次实例、20 个 LLM、39 个任务的规模上证明了单提示评测的脆弱性,那篇已被 TACL 接收。
RAMP 的增量在于把它拆成了可复算的协议层,并且留了完整的审计记录。
所以呢
多模态榜单上的数字,有一部分根本不归模型管。同一场评测里,「问 yes 还是问 A」这种工程细节,能吃掉小模型二十分的成绩。
如果你是发模型的,别只报裸准确率,把读出协议和置信度校准一起报。如果你是看榜单的,先问一句:这个分数是按哪种接口抠出来的?
模型在被评测之前,得先被读懂。读法不对,分数就是误会。