数数这件事,长期被算作视觉语言模型的软肋——看不清、算不准、没个统一说法。但真有人把它当传感器去标定了:一篇新论文拉了 8 个开源 VLM 去数航拍图里的车辆,结果测出一条相当硬的上限。

上限不是模糊的「会数错」,是大约 5 个物体

论文从 260 张 DOTA-v1.5 训练图上裁出 960 个方块,每个数量档 60 张,一共 8 个档,从 1–2 个一直到 160 个以上。全部避开了要评测的基准图,然后问模型「这里有几辆车、几艘船、几个储罐」。

Qwen3-VL-8B 的答案在 5 个物体以内误差不超过 15%,越过 5 个开始系统性偏少,到 160 个以上时偏少到 57%。而且偏少之后答案爱往整数上靠,像传感器超出量程后开始读数。

论文把这叫计数上限(counting horizon)。8 个模型来自 3 个家族,起作用的档位各不相同:Qwen3-VL-2B 从 3–5 个就开始掉,Qwen3-VL-4B、32B、Qwen2.5-VL-7B 和 LLaVA-OV-7B 都从 6–10 个起,InternVL3.5 两款能撑到 41–80 个——但它们是在小集合上数多,不是数得准。最扎眼的是 Qwen3-VL-8B:第一组裁剪从 6–10 个起,换一组独立裁剪却变成 3–5 个,同一个模型的转折点能差出一整个档位。

更关键的是上限不是常数,它随视野移动。同一批 160 个物体,切成 256 像素放大三倍给模型看,误差还能压在 21% 以内;按 2048 像素原图给,每个数量档都偏少。换数据集也不一样:FAIR1M 的车要到 20 个以外才明显掉,DIOR 的船 160 个以上才掉,VisDrone 无人机图 40 个以内误差不超过 15%。

上限是可以算出来的

论文没停在「数不准」这个描述上,而是给了一个幂律响应模型:c(n) = a·n^γ。Qwen3-VL-8B 首组拟合出 γ = 0.76,其他模型落在 0.43–0.80。γ 小于 1,意味着答案永远只是真实数量的一个折扣。

由此能推出拆图值多少钱。把一个视野拆成 K 份,答案总和相对原来会被放大 A = Σ(n_k/n)^γ 倍,1 ≤ A ≤ K^(1−γ)。实测验证上,Qwen3-VL-8B 在 6 到 160 个的每个档位,预测值和实测放大倍数差在 0.08 以内;换一组独立裁剪,五个档里四个差在 0.10 以内;另外 7 个模型多数落在预测的 20% 误差内。

代价也写清楚了:一个空视野平均会被模型报出 0.8 到 2.4 个幽灵目标,所以拆得越碎虚假计数越多。160 个以上时实测放大倍数约 2.1,远超预测的 1.3——那里还叠了另一个限制,有些目标在原视野里小到根本看不见。

零训练,同一套冻结模型

GeoScope 的做法是:文本模型先把问题编成带类型的空间程序,定死看哪块区域、按什么分辨率看;VLM 只在自己的工作范围内做定位和计数;方向不再问模型,直接从检测框算出来。

效果是:XLRS-Bench 区域计数从 47.50 提到 63.75,空间关系从 33.50 到 44.00,MME-RealWorld 计数从 25.18 到 36.60。UHR-Micro 上全局计数 40.49、区域计数 49.34,相对论文自己的复现基线是 +16.8 和 +36.2,其中 15.6 点来自「只在超过上限时才拆」这条规则;条件计数一项则是 17.48,比复现基线低 6.0。方向和距离两项都做到 100.00,因为那两问的物体本来就用框标出来了,答案由几何算出,不过模型。

代价是时间和 token。空间关系任务中位耗时 17.2 秒、视觉 token 中位数 11.0k,零样本分别是 2.8 秒和 3.8k。

论文自己把账算不平的那一处

最有意思的不是成绩,是失败分析那一节。

XLRS-Bench 的整体计数上,GeoScope 把零样本的 10.42 拉到 35.42,看着是大胜。但论文自己写明:这个分数没赢过「永远选四个选项里第二大的那个数」——后者拿 37.50。

原因是选项设计。这道题真实数量中位数 61.5、最高 734,四个选项相邻差约 17%,要选对就得数到真值 8% 以内。GeoScope 的计数其实没有系统性偏差,但散布有 18%,48 道题里只有 9 道的误差落在 8% 之内。

基准里的另一个坑更隐蔽。「图中没有显示这个数量」这个选项,在 1226 道计数题里只有 5 道是正确答案,可各家 backbone 在测试题里选它的比例高达 18% 到 57%,正文给出的复现方法是 9% 到 18%。论文因此把骨干模型限制成只选数字选项重跑——仅这一版,就在整个测试集上显著超过所有被复现的方法。

而 OSR 上的错误,86% 偏离正确选项超过 45 度,说明主要毛病是「框错了对象」而不是「数错了」。人工检查 150 个程序,改用手写程序每个任务最多只改两题。

所以呢

这篇论文真正可迁移的东西,是把「模型数不准」从形容词变成了可标定的工程参数:上限是多少、随什么变、拆一次能补回多少、代价是什么。

另一个可迁移的东西更刺眼:一个基准如果能被「永远选第二大数字」打败,那它测的就不是计数能力,而是选项间距。论文自己在讨论里也这么说——要区分计数方法,基准的题目得铺满整个数量区间,选项间距得按数量成比例放、随机围绕真值,还得删掉那些几乎从不正确的选项。

至于「首个按实测上限切分视图的 UHR 方法」这类说法,目前只是作者自己的表述,还没有第三方独立来源印证。

原始论文:arXiv:2611.12699,项目页在 GeoScope。