NVIDIA × Hugging Face 把 Diffusers 微调搬上 H100 集群:Wan 2.2 MoE、FLUX.2、Hunyuan 一次性打通

NVIDIA 与 Hugging Face 7 月 17 日联合发布 NeMo Automodel 与 Diffusers 的深度集成,把扩散模型的训练/微调从「每换一个模型就要写一套脚本」拉进「写一次、跑遍整个 Hub」的状态。 核心改动是把 NeMo Automodel 的训练栈从原本的 LLM/MoE 场景扩展到 flow-matching 扩散模型。底座是 DTensor + PyTorch 原生,所有并行策略——FSDP2、Tensor Parallel、Expert Parallel、Context Parallel、Pipeline Parallel——都通过 YAML 切换,不再需要改模型代码。模型类直接复用 Diffusers 的 WanTransformer3DModel、FLUXPipeline,训练完的 checkpoint 能立刻跑回 DiffusionPipeline 推理,完全没有格式转换的中间步骤。 首批官方 recipe 覆盖了开源扩散圈的主力:FLUX.1-dev(12B)与 FLUX.2-dev(32B)的文生图、Wan 2.1 1.3B/14B 与 Wan 2.2 A14B(MoE)的文生视频、HunyuanVideo 1.5(13B)、Qwen-Image(20B MMDiT),全部同时支持 Full FT 与 LoRA。配合 latent 缓存 + 多分辨率 bucketing,真正做到了「数据集预编码一次,后面全是模型与并行策略的旋钮」。 实测数据来自 8×H100 80GB 集群:FLUX.1-dev 全量微调 35.51 imgs/s、LoRA r64 53.73 imgs/s;Wan 2.1 14B 全量 2.107 clips/s;Wan 2.2 A14B 高噪分支 1.73 clips/s;FLUX.2-dev 32B 也已被列入路线图。单卡显存峰值多压在 60GiB 以内,意味着大部分条目单机 8 卡就能开训。整个栈 Apache 2.0 开源,Pythonic recipe API 也已在路上,下一步是把 YAML 配置和编程式接口并列起来。 这套工具的真正价值不在性能数字,而是把「微调」从一项需要为每个模型写一堆胶水代码的工程活,变成可配置的研究基础设施。对 LoRA 创作者和企业定制模型都是直接利好——新模型一上 Hub,几行 YAML 就能开训。NVIDIA 在 LLM 与 Diffusion 两端同时拿下「训练框架」位置,等于把生态护城河往上游推了一格。