多模态大模型的空间推理时灵时不灵:让它判断图里两个物体的相对位置,有时一次答对,有时错得离谱,而错在哪一直说不清。MirroS Lab 团队 10 月 9 日挂上 arXiv 的论文给了一个反直觉的答案:模型不但有空间感,还在内部维护着一套三维坐标系,真正的短板在别处(arXiv:2610.13527)。论文上线三天登上 Hugging Face 论文日榜第 2,拿到 199 个 upvote。

中间层里藏着一个三维坐标系

研究者在多模态模型的中间层激活中拆出一个线性子空间,取名 S-Space:物体 token 的表征在其中沿水平、垂直、距离三根轴编码连续坐标——不是离散的「左/右」标签,而是能读出数值的连续位置。发现方法相当工程化:对空间问答得分关于物体 token 激活求梯度,把影响答案最大的方向找出来。更关键的是这套坐标是内生的:换成非空间提问它依然可读,不是特定提示词诱导出来的假象。

一个能被干预的「空间工作台」

论文把这个子空间称为模型的内部空间工作台,证据分三层。感知往里写:物体位置被编码成空间表征,直接读出即可支撑空间判断。推理在里面转:视角变化时,内部推理对该表征做变换。语言输出会选择性地访问它:因果干预改写 S-Space 坐标,能定向改变模型的空间判断,同时大体保留非空间回答——这是「工作台」最硬的证据。案例研究还显示,它会给没见过的实体和观察者自己分配位置;方向词的读出则暴露出方位参照系与图像参照系的系统性耦合。

病根不在感知,在变换

诊断价值最大的是感知-计算分解:多模态模型能形成相当强的空间表征,却在跨视角推理要求的空间变换上掉链子。仓库 README 的表述很直白——对 S-Space 做显式计算,可以超过模型的原生推理。换句话说,模型不是没有空间感,而是不会可靠地调用它。

开源与可复现

代码以 Apache 2.0 协议开源于 GitHub,已积累 247 星,预训练的 S-Space 轴随仓库直接发布;实验覆盖 Molmo2-ER、MolmoAct2、Qwen3.5-4B、Qwen3.6-27B 等模型,基准包括 COCO、CV-Bench、EmbSpatial、SpinBench、HStar,复现只需跑仓库自带脚本。

这篇论文的价值不止于一个可解释性发现。它把「空间题翻车」拆成了可判定的两种病:表征没建成,还是变换没做对。对具身智能和机器人团队,这个区分尤其值钱——视角变换正是移动智能体的日常功课。对模型厂商的启示或许更扎心:与其指望思维链自发学会空间变换,不如把显式空间计算直接做进架构里。