做一张图很少只改一次。加个物件、调下光线、再修一处细节——真正难的是让前面已经满意的部分别被后面的编辑顺手毁掉。自回归扩散类模型在多轮编辑里最典型的翻车方式就是漂移:纹理一点点糊掉,主体一点点跑偏,几轮之后画面面目全非。

一篇刚放出不久的论文给出了针对这个问题的训练范式。商汤研究团队联合港科大 MMLab、斯坦福与清华 AIR 的 MT Forcing,把训练放在模型自己生成的多轮轨迹上,同时用一条"单轮教师线"做监督——教师永远从原图出发,把至今累积的所有指令一次性应用完,再拿它的输出分布去校正学生。论文与项目页分别在 arXiv:2610.25404 与 项目主页 上。

漂移到底怎么发生的

论文把多轮编辑的失败拆成两类:一类是视觉质量不稳定,伪影随轮次累积、细节退化;另一类是内容不一致,本该保留的区域和此前的编辑结果被意外改动。当模型持续编辑自己的输出时,微小误差会被一步步放大。

这套训练范式基于统一多模态模型(UMM)上的自回归扩散,作者列出两个互补的训练信号,分别对应上面两类漂移。

两条信号:一个稳住画质,一个守住一致性

单轮分布匹配蒸馏(Single-Turn DMD) 盯的是画质。学生按自己的输出历史逐轮编辑自己,而教师从原始图像出发,把到当前为止的全部指令一次性合成一遍,给出分布层面的指导。这样教师不会把上一轮的误差带到下一轮,避免递归式误差累积。

教师强制引导(Teacher-Forcing Guidance) 盯的是跨轮内容一致性。它在真实的多轮轨迹上监督依赖历史的转场:预热阶段用参考轨迹引导,蒸馏阶段作为正则项继续施加。作者明确指出,只靠逐轮的分布匹配不足以保证跨轮一致——这也是为什么需要第二条信号。

两条信号作用在同一个学生模型上。

数字:八轮编辑下的变化

项目页披露的数据来自 MTEdit-Bench 的 100 组八轮编辑会话,取八轮平均分,基座是 SenseNova-U1.5:

  • 指令遵循(IF):基座 8.47 → 加上 MT Forcing 后 9.66(满分 10)
  • 内容一致性(CC):基座 7.09 → 8.40
  • 抗漂移(DRS):基座 3.83 → 4.30(满分 5)
  • 匹配点位移:基座 6.34 px → 0.74 px(越低越好)

评估口径项目页也写清楚了:八轮平均等权计分,IF 与 CC 采用该基准"失败即触发"的规则——某轮失败之后的后续轮次直接记零分。

第 8 轮的内容一致性差距更直观:7.68 对基座的 3.22,高出 4.46 分。

我的判断

这篇工作有意思的地方不在某个分数,而在于它指出了一个容易被忽略的训练信号设计问题:多轮场景下,教师的定义方式本身会决定误差是否累积。多数方法默认教师和学生处在同一轮次,于是教师也带着上一轮的误差往前爬;MT Forcing 把教师从原图重新出发、一次性合并全部指令,本质是让监督信号对历史误差免疫。

两点得说清楚。第一,仓库代码尚未释出,官方标注是"即将发布",训练代码与预训练 checkpoint 都还没落到仓库里,想立刻复现的人还得等。第二,实验结果来自团队自建基准 MTEdit-Bench 的自报数字,第三方复现尚未见到,这是评测类工作该打的折扣。

多轮编辑正从"能演示"走向"能交付"——用户不会接受改了五次之后画面已经认不出来了。谁能把"记住前面发生过什么"训练进模型,谁就拿到交互式视觉创作的入口。