一份把"改图"拆成 6 种推理的考卷,以及一份免训练的答卷
视觉编辑一直是多模态大模型(以下简称 LMM)最容易露怯的环节。你让 GPT-Image、Midjourney、Qwen-VL "把桌子上的红杯子换成蓝杯子",模型可以做得不错;但只要你让它"在第二帧让那个角色意识到身后的脚步声是危险的",模型就开始犯迷糊:它能识别物体,但分不清时序、因果、空间、逻辑这些更"软"的推理关系。
10 月 8 日提交到 arXiv 的 Reasoning-Informed Visual Editing(arXiv:2610.12343)正面啃了这块硬骨头。论文同时给出两样东西:一个更狠的视觉编辑考卷 RISEBench++,以及一个免训练的答题框架 RISE-Agent。
RISEBench++:把"会改图"拆成 6 种推理能力
RISEBench 是该团队 2025 年发表的第一版,4 个推理类别。这次升级到 RISEBench++,理由是:去年那版"够用,但颗粒度太粗,无法分辨模型到底卡在哪一步"。新版本把推理拆成 6 个维度:时序、因果、空间、逻辑、反事实,以及把多种推理叠加起来的混合推理(包含多轮编辑)。在维度之下再分 12 个子类,65 个细粒度任务类型。
测试数据是中英双语人工标注,扩到 1000 道,加入了多图输入条件——这是现实编辑里很常见但旧基准很少覆盖的场景。评估也不再只看 PPT 数字,而是从指令推理、外观一致性、视觉合理性三个角度,既用人类裁判,也用 LMM-as-a-judge,让分数更稳定、更校准。
58 个模型被横评,最强闭源只有 56.6%
论文横评了 58 个视觉编辑方法,其中 34 个开源模型、19 个闭源模型、5 个智能体方法。结果并不乐观:最强的 GPT-Image-2.5 Sunburst 也只有 56.6% 准确率;开源阵营整体落后,没有任何一个开源模型接近这个天花板。
更扎心的细节在分维度:在反事实推理和混合推理这两类需要"在脑子里跑一次情景模拟"的任务上,几乎所有模型都掉到 30% 以下。也就是它们能换颜色、加滤镜,但让你"把下雨的画面改成雨后地面反光"这种需要理解物理因果链的活儿,大家都抓瞎。
RISE-Agent:不要重训,就把推理拼起来
论文最有实践价值的部分,是同框发布的 RISE-Agent——一个不需要任何微调的智能体框架。它的结构可以拆成三步循环:
- 推理规划(Reasoning-driven planning):先用大语言模型把用户的编辑指令拆成子任务,识别要用哪种推理、调用哪个工具。
- 工具增强执行(Tool-augmented execution):把每个子任务交给现成的视觉编辑模型或图像生成模型去执行,不要求它们"懂推理",只要求它们能改图。
- 验证器引导的精修(Verifier-guided refinement):每次执行后用 LMM-as-a-judge 验证结果是否满足指令,不过就重新规划,直到过为止。
这套循环在大部分 RISE 任务上击败了直接用 SOTA 视觉编辑模型的结果。意义在于:不必再为每一种新推理维度都重训一个大模型,而是把现成工具用智能体编排起来,就能跨过推理短板。
启示:视觉生成的"最后一公里"不是参数,是规划
视觉生成赛道过去一年在参数规模、上下文长度、风格一致性上狂飙,但 RISE 评测的结果说明,真正卡住应用的瓶颈不是生成质量,而是"理解指令里的推理意图"。能画一只逼真的狗,和能让这只狗"在你指的位置转头看镜头"是两回事。
RISE-Agent 的价值,在于把视觉编辑从"端到端大模型"的问题,转成了"如何编排现有模型"的问题。这条路线对开源生态尤其友好:不再需要每个团队都训练一个千亿参数的多模态模型,只要把 Hugging Face 上现成的图像编辑器、分割模型和 LLM 串成一条管线,就能在推理型视觉任务上追平闭源巨头。
接下来的看点,是这套"推理规划+工具编排"范式能不能从视觉编辑扩散到视频编辑、3D 编辑这些更高维的生成任务上。如果可以,2026 年下半年多模态智能体的故事会从"我能让模型画出来"变成"我能让模型按我想要的方式改"。