过去几年关于「空间智能」的评测基本都在做同一件事:给模型一张图或一段视频,问它「沙发在电视左边还是右边」,答对就算赢。这类任务只能证明模型认得出物体,证明不了它能把物体放进一张带尺度的三维地图里。论文 arXiv:2610.26659(https://arxiv.org/abs/2610.26659) 换了个考法:不给选择题,让模型自己拿着相机去探索房间。

任务设计:模型自己拿相机

基准由北京大学团队构建,Zhaoxi Zhang 担任项目负责人、Weikang Li 为通讯作者,联合天津大学,许可为 CC BY 4.0,代码开源在 https://github.com/JesseZZZZZ/SpatialScout 。

场景部分包含 80 个室内场景、共 3140 个目标物体,每个场景 30 到 40 个目标,并且刻意塞进了同类别的重复实例。模型的起点是一张 RGB 图、一份物体清单(实例编号、类别、等价组),以及相机内参与位姿。之后它要靠十个共享工具自己干活:list_entities 查清单,get_camera_pose 和 get_camera_intrinsics 读取标定,set_camera_position、move_camera、rotate_camera 调整视角,capture_image 抓帧,triangulate_observations 做多视角三角化,submit_positions 提交或修订物体中心,finish_mapping 收工。没有任何一个工具会泄露真值位置或评分。

预算卡得很紧:每个 episode 允许 100 次模型调用、100 张图像(含初始那张),用满之后剩余调用只能用来推理和提交。渲染出的图像是 512×512 的 RGB,交付时压成最长边不超过 384 像素的 JPEG,模型需要自己把坐标换算回原始像素网格。真值中心的定义也很朴素——渲染几何体的紧致世界轴对齐包围盒的中点,带关节的物体取各连杆包围盒的并集。

跑分:论文里最强的也只有四成

论文在统一的 80 个场景上跑了七个前沿模型,以下是全目标(object-micro)的 IoU 统计,均为论文官方口径:

  • Claude Opus 5.5(xhigh):平均 IoU 41.71,正重叠召回 77.36,IoU 超过 0.5 的目标 47.23%,超过 0.9 的只有 3.25%
  • Claude Sonnet 5.5:平均 32.26,IoU>0.5 为 33.60,IoU>0.9 为 1.40
  • GPT-6 Astra(xhigh):平均 33.16,IoU>0.5 为 35.15,IoU>0.9 为 1.62;切到 medium 推理档掉到 31.18
  • GPT-6 Sol:平均 20.83,IoU>0.5 为 18.95,IoU>0.9 为 0.48
  • Qwen3.8 Max:平均 6.80,IoU>0.5 为 4.52,IoU>0.9 为 0.00
  • Kimi-K3:平均 4.22,IoU>0.5 为 2.77,IoU>0.9 为 0.00
  • DeepSeek V4.1 Flash:平均 3.48,IoU>0.5 为 0.92,IoU>0.9 为 0.00

如果只在「已经提交的目标」上算,Claude Opus 5.5 的平均 IoU 升到 46.69,GPT-6 Astra 是 41.16。这段差额就是漏报吃掉的分量。

工具调用把行为差异照了出来

论文的工具调用频率图给出了比分数更有意思的线索。Claude Opus 5.5 打的工具调用最多,论文认为它的广泛探索换来了更好的地图质量;GPT-6 Astra 用明显更少的调用拿到了接近的成绩。相反,DeepSeek V4.1 Flash 和 Qwen3.8 Max 大量轮次花在移动相机上,观察和建图的调用偏少——论文的解读是,这类模型难以挑选有信息量的视角,也不善于把视觉观察转成连贯地图;而且无效视角还要吃掉上下文,图像本身占的上下文长度并不小。

失败的主要形态是漏,不是偏

论文分析了四个模型在同一批十个任务上的 40 条轨迹。判定重建成功需要同时满足两个条件:物体覆盖率不低于 90%,且匹配上的已提交目标平均中心误差不超过 0.2 米。最终只有 6 条轨迹达标,而这 6 条的共同点是都有充分的多视角几何支撑、增量提交持续扩大覆盖、以及后续的持续修正。

34 条失败轨迹里,覆盖不完整是最主要的形态,出现在 26 条;其中 21 条出现「三角化残差很低但位置仍然明显不准」的情况,论文把这类问题指向视觉对应关系错误或物体中心选错——纯几何一致性无法解决。还有 13 条带着几何测量不一致的警告,另有 13 条在至少还剩十轮响应额度时就提前结束。

所以呢

这份基准刺破的是「视觉常识即空间能力」这个错觉。识别出一个物体、把左右前后说对,和把它的中心放进共享坐标系里精确到厘米,是两种不同难度的能力;前者靠图文对齐的统计规律就能蒙对一部分,后者要求跨视角关联、几何估计和持续修正同时在线。

有意思的是,基准其实给了一个三角化工具,能在至少两个标定过的视角上算出三维点,并回报垂直线残差和最大视线夹角。但论文明确写道:低残差本身既不能证明标记的像素指向同一个物体特征,也不能证明算出的点和物体中心的关系——几何工具把「算得准不准」交出去,却完全不负责「算的是不是同一个东西」。这大概是当前具身智能落地时最真实的卡点:传感器和几何管线可以很精确,但没人替模型判断它到底在看哪个物体。

论文在 2026 年 10 月 22 日的 Hugging Face Daily Papers 日榜上出现过,想复现的可以直接拉那个开源仓库。