事件背景

统一多模态模型(UMM)长期有一个分叉——理解分支用 ViT 抽语义特征,生成分支用 VAE 编解码到潜空间,两条视觉接口并存,视觉上下文长度被双倍摊开,新工作每接进一个任务就得分别维护两条管线。pixel-space 直接建模这条思路在图像侧已经有人试过,但把视频的理解和生成也压到同一根像素管道上,过去统一还没有人先动手。

NVIDIA 在 9 月 29 日挂出的论文 PixelUMM(arXiv:2609.38597,GitHub: nv-tlabs/PixelUMM,模型权重同步开源在 Hugging Face nvidia/PixelUMM)正面回应了这件事。论文作者包括 Cong Wei、Xuanchi Ren、Bryan Chu、Weiming Ren、Huan Ling、Jiahui Huang、Laura Leal-Taixé、Sanja Fidler、Wenhu Chen、Zian Wang、Jay Zhangjie Wu。

核心思路

PixelUMM 没有 VAE,也没有视觉编码器——一根 decoder-only Transformer 同时读写原始像素:图像按 16×16 patch 切,视频按 4 帧一组切成时空管(tubelet),二者都经单层线性投影接到共享的多模态主干,主干是 Qwen3-8B,理解专家与生成专家复用同一组 self-attention。模型内部用 Mixture-of-Transformers 拆任务参数,同时支持自回归文本预测与 pixel-space flow matching,既不出 VAE token 流,也不出单独的理解分支。

更关键的是这套架构把 clean pixel、noisy pixel 和文本一起塞进同一个 self-attention 窗口,对应论文里的 F7 试验:15K 步多任务微调后,图像理解在 BLINK(+2.37)、CV-Bench(+2.27)、SEED-I(-5.41)双向变动并不剧烈,四项视频理解基准 0.89–3.49 分提高,说明干净像素条件从理解专家走不会系统性损伤理解本身——这是把 VAE 砍掉之后最容易被质疑的一点。

成绩单

PixelUMM 给出了 1.7B 和 8B 两档,都用 Qwen3 当底并按相同 recipe 训练(全局 batch 256)。横向:

  • 8B 比 1.7B 在生成侧(MSE)提前到约 14K 步达到 0.060,1.7B 模型要到 40K 步;文本交叉熵 0.50 也由 1.7B 的 31K 步提前到 8B 的 10K 步——8B 用了约 1/3 步数达到相当水平。
  • 128 卡对照 8 卡:文本 CE 收敛到 1.0 用 2K 步(8 卡要 17.5K),提速约 9×;生成 MSE 收敛到 0.065 用 17K 步(8 卡要 23K),提速约 1.3×。更多 GPU 对文本收得远比对生成快。
  • 视频压缩方面,p32/t1(每 token 1024 像素)损失最低,p16/t4(每 token 4096 像素)最终模型采用这一档以与 Wan2.2 等常见 VAE 对齐;p32/t4(每 token 8192 像素)损失明显抬高,论文给到的结论是「压缩越强,视频生成越难学」。
  • patch 大小:32×32 拟合图像每步可塞 4 倍样本,但训练后期 T2I 损失明显高于 16×16,因此最终模型用 16×16 patch。
  • 卷积输出头对比:Wan-style 上采样+conv 边界最干净但 GFLOPs 17.1×;PixelShuffle 时序优先(F3-R03)训练 T2V 像素流损失收敛到约 0.02,边界残留比线性头低;但发布的 checkpoint 与所有线上 demo 仍然用线性输出头,因为切到卷积头要补训练。

理解基准上 8B PixelUMM 在 BLINK、MMStar、SEED-I、DocVQA、CountBench、MMVP 等位置与 BAGEL-7B、TUNA-7B+5B、LLaVA-OV-1.5/28B、Qwen3-VL-Inst-8B 等同期 UMM/VLM 同台打分,数字有赢有输(论文也明确「不同训练数据不能直接判定架构高低」);视频侧 8B PixelUMM 用 sparse_mode 采样 96 帧,在 Video-MME(无字幕)拿到 57.33,落后于 LLaVA-OV-28B(71.90)和 Qwen3-VL-8B(71.40),但 MV-Generation/F1 报告的 sparse_mode/64FPS tubelet 与 1FPS 帧输入两项模式 MVBench/Video-MME/LongVideoBench/LVBench 几乎打平(Δ 在 ±0.7 以内)。

为什么这件事值得关注

砍掉 VAE 的代价不是免费的。PixelUMM 论文自己也列了局限性:多实体(几个动物或人物重叠时,身体会合并、消失或突然出现)、手指/细粒解剖(指头数量不对、小肢体模糊)、物理与交互(运动不真实、刚性物体弯曲)——这些是潜空间视频扩散模型的常见毛病,在像素空间并没有被绕过。但 VAE 的代价同样真实:上下文长度、训练管线双重维护、跨视觉接口对齐。PixelUMM 给出的实验里,8B 模型在 1.7B 加速比约 3× 这个量级的步骤效率,128 卡 CB 128 GPU 对 CE 的 9× 加速(但 MSE 只 1.3×)说明「文本收得快、像素生成收得慢」是这套架构当前最值得关注的 scaling 现象——后续如果把卷积输出头真正训通(论文已经给到 PixelShuffle 时序优先方向),视频侧大概率能再吃到一个段收益。

产品角度看,PixelUMM 把视觉上下文从「ViT tokens + VAE tokens」合并成单一 pixel token 流,对那些已经基于 Qwen3 搭多模态管线、又不想同时维护两条视觉接口的团队,是值得跟踪的方向——但 pixel-space flow matching 的训练稳定性、长序列视频的边界 artifact,都是上生产前需要先实测的硬指标。

来源: