MentalThink 把 SVG 当作「心智草稿纸」:让多模态大模型学会用代码画心像做空间推理

arXiv:2607.03530 提出 think-with-SVG 推理范式,把可缩放矢量图形作为 MLLM 的中间"心智图像",通过两阶段训练(SFT 冷启动 + GRPO 多轮 RL)在 Qwen2.5-VL-7B 上实现 MindCube 从 36.0% 飙到 76.0%、VSIBench 从 31.0% 提升到 55.1%,超过 GPT-5 与 Gemini-2.5-pro。 多模态大模型在空间推理上的「视觉失锚」长期被人诟病——纯语言 CoT 容易在几何关系上跑偏,Think-with-Image 又依赖外挂工具破坏可微性。ByteDance Seed 团队 7 月 3 日挂在 arXiv 的 MentalThink(2607.03530)给出了一个相当聪明的折中:**让 MLLM 直接生成 SVG 代码作为「心智图像」的中间表征**,通过确定性渲染再喂回自己,形成「假设 → 渲染 → 反思」的闭环。 核心设计是 think-with-SVG:每一步推理态都被定义为 (文本 ℓ, SVG 代码 σ) 的元组,模型可以「画」出一个矢量草稿、由 SVG 引擎渲染成像素、再把像素塞回视觉上下文做下一轮反思。训练分两阶段——先用 200k SFT 数据(视觉-语法对齐 + 思维外化 + 通用空间感知)让模型「写得动 SVG」,再用 GRPO 多轮 RL 配 λ_fmt=0.25、λ_ans=0.75 的混合奖励做「画得对」。 效果相当炸裂:在 Qwen2.5-VL-7B 基座上,MindCube 从 36.0% 拉到 76.0%(+40.0pp),VSIBench 涨 24.1pp 到 55.1%——超过 GPT-5(55.0%)和 Gemini-2.5-pro(53.5%)。更耐人寻味的是 System 1/2 自适应:简单视觉感知任务只用 1.19 轮、18.5% 触发 SVG、109 token;复杂推理任务则切到 1.64 轮、63.7% SVG、544 token——模型自发把更多 test-time compute 砸在难的几何题上。 观点:MentalThink 真正的贡献不是又一种 CoT 扩展,而是把 SVG 这门「机器友好的结构化视觉语言」扶正为推理媒介,绕开了 BBox 的稀疏与纯文本的几何漂移。如果后续能扩到更长的时空规划与具身决策,「让模型先画再想」有望成为下一波空间智能的事实标准。