视频生成的后训练正在往强化学习上走,但奖励这一环一直是个硬骨头:代码和数学有唯一正确答案可以自动判分,视频的「情感对不对」却没有标准答案。用固定权重的视觉质量、运动质量、文本对齐三类奖励去凑,往往既抓不住情绪意图,又给 reward hacking 留了口子。RLHF 能处理主观目标,但标注昂贵,而且不同人的审美差异让面部、肢体、色彩这些线索很难跨语境对齐。
EmoReward 换了个提问方式:不是「哪个奖励更准」,而是「这一条证据该不该信、该信多少」。
一条视频内部与两轮训练之间,两个粒度
论文来自香港科技大学、腾讯混元、复旦大学与滑铁卢大学,已在 arXiv 公开(cs.CV / cs.AI,30 页 15 图),并放出项目页与腾讯混元官方仓库。
机制分两层。视频内部是 Reflective Reward Gating:七个奖励源(一个 VLM 裁判、面部动作单元、身体线索、时序证据、CLIP-AUTT、R1-Omni、运动自然度)给视频打分时,分数 s_k 与「这条证据可不可用」u_k 是分开记的。门控按训练阶段、人脸置信度、语义冲突、微妙程度四类信号决定每个源当次拿多少权重,不可用的直接踢出活跃集合再重新归一化。
训练轮次之间是 RewardMemory:一轮跑完后,从奖励轨迹里估计每个奖励源在每种情感情境下的可靠性,导出有界的乘数表,冻结后用于下一轮。乘数取 exp(Δ_k),Δ_k 由该源与参考结果的相关性相对其他源的相关性均值作差、缩放后截断到 ±1 得到。关键在于整个过程不更新任何奖励模型的参数,只有生成器吃梯度。
论文的公式是 R_emo = Σ(w⁰·g·m)·s / Σ(w⁰·g·m) + ε,再与通用视频奖励按 R_total = (α·R_vid + β·R_emo)/(α+β) 融合。
跑分:三种 RL 算法都涨
底座是 HunyuanVideo 1.5,跑了 DanceGRPO、FlowGRPO、SAGE-GRPO 三种 RL 算法,融合权重 α=β=0.5,批次 2、组大小 4,评测用 302 条与训练集不重叠的情感提示词。
论文表 1 的 VideoAlign 总分:SAGE-GRPO 从 -0.8269 升到 -0.2624,FlowGRPO 从 -0.7719 升到 -0.5376,DanceGRPO 从 -1.2812 升到 -0.9594。四个 VideoAlign 分头(总分、视觉质量、运动质量、文本对齐)在三种算法下全部上升。DanceGRPO 那一档用的是 Reflect 而非完整 EmoReward,论文表格把两种配置分开标注。
不过论文自己写了一句要紧的话:VideoAlign 同时是优化目标,所以「和它一致」不等于「情感保真度独立提升」。PickScore 和 CLIPScore 这两个旁证指标变化更小,方向也不统一,论文没有把这点藏起来。
七种奖励策略对照,RewardMemory 是分水岭
论文表 2 在固定底座与优化预算的前提下只换奖励策略,分七档:只用 VideoAlign、单一奖励源(R1-Omni)、随机路由、轮询路由、固定融合、Reflective Reward Gating、带 RewardMemory 的完整 EmoReward。
加入 RewardMemory 后选择性指标到 0.428,两个复合分 core 0.922、emo 0.884;其余六档的复合分依次是 0.238/0.308、0.302/0.340、0.085/0.064、0.266/0.272、0.246/0.191、0.337/0.503,都落在 0.922/0.884 之下。不带记忆的 Reflect 档复合分只有 0.337 和 0.503,但在单个偏好维度 EF 上是满分 1.000。记忆分配的乘数也值得看:宏观表情与运动自然度拿到的乘数分别是 1.833 和 1.510,三个几乎不动的通道则是 0.778。
人评:坏评份额比好评份额更能说明问题
论文表 3 是 18 名参与者、30 条提示词,按差/一般/好三档评三个维度。
情感保真:EmoReward 的「好」占 60.0%,SAGE-GRPO 是 53.0%;时序连贯 54.3% 对 51.5%;视觉质量 57.2% 对 45.0%。EmoReward 三项的「差」份额也是最低:15.4%、20.2%、15.9%,SAGE-GRPO 对应 31.5%、28.9%、30.9%。
真正的看点是后者:纯 SAGE-GRPO 在三个维度上的坏评份额全都高于未做 RL 的原始生成器(21.9%、23.5%、25.2%)——光靠通用视频奖励做 RL,坏样本的产出不降反升。EmoReward 才把它压下来。论文也提醒这只是描述性结果,参与者与提示词级的原始记录才能算不确定性。
迁移到图像,结论依赖目标指标
论文在 SD 3.5 和 FLUX 上做了迁移。SD 3.5 配 DanceGRPO 时,加校准后 HPSv3 有提升;但在 FLUX 上,那个专门针对 HPSv3 优化过的基线在这一项指标上并未被超过。论文同时说明 SD 3.5 各档训练预算不等,限制了因果归因;FLUX 前两个基线样例只保留了 500 update 的存档,其余是 3000。
论文自己承认的边界
附录 A 写得很直白:实验只验证了「参考轮 → 校准轮」这一次跃迁,没有证明反复迭代能持续变好;分布漂移、证据过期、以及奖励代理自我强化的反馈环都是未解问题。校准规则能否迁移到语言模型或工具调用 Agent,论文说仍待实证。
复现成本也要看:官方 README 给的硬件建议是每卡 80GB 显存、32 卡(4 节点 × 8),Linux,PyTorch 2.6+。仓库里的 LICENSE 是腾讯混元社区许可,不是标准的 OSI 开源许可,模型权重也不随 Git 分发。奖励源权重缺失时会优雅降级、把该源权重分摊出去,但要拿到完整情感保真度,CLIP-AUTT、R1-Omni、OpenFace-3.0 这些权重得自己拉齐。
所以呢
这套东西的价值不在「又一个视频 RL 论文」,而在于把奖励系统的调参从人肉工程挪进了训练流程内部——上一轮跑出来的经验,变成下一轮分配信任的依据。
但也要看清适用边界:VideoAlign 既是靶子又是尺子,自动指标涨了不等于情感真的更好;人评只有 18 人 30 条;跨轮次迭代的收益完全没被验证。对想上手的团队,诚实的顺序是:先把通用视频奖励的 RL 跑通,并检查坏样本有没有变多,再考虑要不要引入这一层校准——因为论文自己的数据显示,后者真正改变的恰恰是「哪些样本被判为坏」。
资料来源:论文 https://arxiv.org/abs/2611.06518 ,项目页 https://emoreward-project.github.io/ ,官方仓库 https://github.com/Tencent-Hunyuan/EmoReward 。