统一图生图一直有个工程默认值:主体生成、边缘图生图、指令编辑,一类任务养一个适配器。想用一个模型通吃,视频底座看起来是天然候选——它天生就在学「帧与帧之间怎么变」。10 月 27 日挂上 arXiv 的 FrameForge(arXiv:2610.36545)是这个思路的新版本:冻结 HunyuanVideo1.5,只训一个 LoRA,通吃三类任务。一作 Yijing Lin 也是前作 RealGeneral 的一作。这篇论文昨日才由作者本人提交到 Hugging Face 社区榜,现在已经排在当日论文榜榜首,拿到 89 个赞。
固定帧距是个被忽略的假设
把图生图塞进视频模型的已有做法(RealGeneral、DRA-Ctrl、ChronoEdit 这些)大多把条件帧和目标帧钉在固定的时序位置上,所有样本共用同一个「帧距」。论文的观察是:这个默认值站不住。编辑任务通常只改一小部分;主体生成和边缘图生图却可能大改外观、结构、场景。论文用 LPIPS 分布展示:三类任务「条件-目标」的变化幅度明显不同,而且单个任务内部的分布也很宽——任务标签根本说不清每个样本该变多少。他们的解法:帧距不写死,让模型按输入自己挑。
MoTE:三个时序专家,路由器挑帧距
具体实现叫 Mixture of Temporal Experts。三个时序 RoPE 专家对应三档虚拟帧距,等效视频帧跨度 {17, 69, 121};一个轻量路由器读文本、条件和带噪目标的表示,样本级 Top-1 选一个专家,直通估计器让离散路由也能端到端训练,再配一条负载均衡损失防止路由塌缩。最有意思的是路由行为分析:论文对 500 个样本、50 个去噪步做了统计,canny 这类变化幅度大的任务在去噪早期偏向长距专家;主体生成和编辑先选中距,随着目标内容浮现转向短距,编辑转得更早更彻底。也就是说,路由不是给任务贴标签,而是随去噪进程动态变。
CoTR:一个没人监督的「中间帧」
另一个模块解决「怎么变」。CoTR 在条件和目标之间插一个噪声初始化的推理潜变量,让它与文本、条件、目标互相做注意力,逐步聚上下文;中间训练阶段用一个随机注意力掩码(概率 0.5)切断目标对文本/条件的直接注意,逼信息走这条潜变量通路。全程没有中间帧监督,只靠目标帧的扩散损失带着学。消融还显示潜变量不是越多越好:两个、三个反而全面劣化,一个就够。
账面数字:自评里赢在哪,输在哪
训练成本不算夸张:底座全冻结,秩 32 的 LoRA,可训练参数 182M,三任务各 170K 样本共 510K,2 张 A800 训了约 6 天。以下结果全部是论文自评。DreamBench 主体生成总分 0.739,在对比方法里最高,比第二的 ChronoEdit(0.729)高 1.37%,但主体一致性 0.739 仍排在 ChronoEdit(0.757)之后。COCO2017 边缘图生图 SSIM 0.447 是表里最高,比第二名 EasyControl 高 7.2%;FID 23.47 却不敌 ControlNet 的 20.42,论文自己也承认 FID 与 SSIM 度量的东西不同,得合着看。编辑是亮点:论文表格里 GEdit-Bench 开源阵营总分 6.12 最高,动作类编辑 6.84,表格中这一项超过了闭源的 Gemini 2.5(6.72)和 Seedream 4.0(5.53),仍低于 GPT-4o 的 7.81;总分与闭源三家的 7.81-8.01 也还差一档。
消融裂缝:单补一件不够,合用才反超
消融表里最有信息量的一行是:共享 LoRA 的统一基线把编辑从任务专属的 5.99 拖到 4.94——统一化确实在打架。单加 MoTE 回到 5.77,单加 CoTR 回到 5.56,谁都补不回 5.99;两个合用 6.12,反超任务专属。「选帧距」和「怎么变」是两件互补的事,只修一件都不够。换成 HunyuanVideo1.0 底座方向一致(编辑 4.38 到 5.00),说明思路不绑定单一底座。代码和 LoRA 权重已放出,许可证沿用腾讯混元社区许可。
所以这篇论文真正值得记的不是「视频模型又赢了一次」,而是它把「条件到目标该变多少」从人工先验变成了模型自己路由的输入相关量。论文对比表里,除同样用视频底座的 ChronoEdit 外,其余开源方法动作类编辑得分全部落在 1.13 到 3.12——图像原生那一批缺的可能恰恰是「变化幅度」的常识。至于 6.12 对 8.01 的差距什么时候补上,那是下一个适配器要回答的问题。