给视频扩散模型做强化学习微调,是一笔让工程团队头疼的算力账:奖励上去了,GPU 时也烧没了。10 月 8 日提交到 arXiv 的论文 DiffusionART 给出了一套新解法:论文报告在 HunyuanVideo-13B 上,达到 DiffusionNFT 后期平均奖励水平所需的 GPU 时减少 12.02 倍,同时平均训练奖励还高出 28.8%。10 月 12 日,这篇论文以 151 赞排在 Hugging Face Daily Papers 当日列表首位。
背景:两条路线各有各的坑
用黑盒奖励在线微调扩散模型,现有方法分两条路线。反向过程方法以 Flow-GRPO 为代表,论文指出它受制于信用分配不准,效率上不去;前向过程方法以 DiffusionNFT 为代表,效率高,但离开精心调节的 EMA(指数移动平均)离策略训练就不稳定。
论文的核心洞察是:NFT 式目标里藏着一股"前向-反向一致性力",正负样本联合训练只能部分抵消它;而 EMA 之所以能稳住训练,靠的是"恢复"机制,而不是离策略采样本身。
DiffusionART 的做法
DiffusionART 全称 Diffusion Reinforcement with Aggregation-First Reward Tilting。它把每个提示词采样得到的所有奖励先聚合成一个共享的"奖励改进方向",再作用于反向过程的状态上——一致性力在构造层面就被移除,不再需要靠训练去对抗。在此基础上,它加入一次带信任域掩码的第二步更新,自适应修复训练漂移,整套流程不再需要调节 EMA。
工程上有三点值得注意:一是不需要可微分的奖励模型,黑盒奖励即可;二是每个提示词所需采样数更少仍能保持效果;三是支持成对奖励模型,论文给出了 DiffusionART-Pairwise 变体。论文称在图像与视频生成任务上,它无需按任务调参即可高效稳定地训练。代码已随论文放出(GitHub 仓库)。
成绩单:12 倍 GPU 时的差距
在 HunyuanVideo-13B 上,以视觉质量与运动质量等权重的奖励设置对比:对比 DiffusionNFT,DiffusionART 达到其后期平均奖励水平所用 GPU 时少 12.02 倍,平均训练奖励高 28.8%;对比 Flow-GRPO-Fast,GPU 时少 11.72 倍,平均训练奖励高 53.0%。
对做视频生成的团队来说,这个数字的含义很直接:同样的算力预算,迭代轮次可以多出一个数量级。当奖励模型是黑盒、算力是硬约束时,训练方法本身的效率差异,会被放大成产品迭代速度的差异。
Hugging Face Daily Papers 页面将其列于 KlingAI Research 名下。社区对它的关注点也很明确:不依赖 EMA 调参、不需要可微奖励,意味着这套流程对工程落地的门槛大幅降低。
所以值得盯的不是某一个"12 倍",而是这条曲线:RL 微调扩散模型的单位成本正在快速下降——当微调便宜到可以随手做,差异化就从"谁有大集群"转向"谁有好奖励"。