55 美元,在今天能买到什么?几天的前沿文生图 API 额度,或者一顿不错的晚餐。西班牙 Universidad Carlos III de Madrid 的四人学术团队给出了第三个答案: 按论文自报的口径,用这笔钱租一张 RTX 4090 跑约 160 GPU 小时,从零预训练出一个 206M 参数的文生图 DiT 基座 —— 是从零,不是微调谁家的权重(https://arxiv.org/abs/2611.26437)。
从零训一个文生图模型,难在哪
论文在引言里把对手摆得很清楚: FLUX.1 12B, SD3 8B, Qwen-Image 20B,前沿文生图全部在工业集群里滚参数。学术组想自己从零训一个 DiT,会同时撞上三堵墙: 注意力对序列长度是二次方成本;真实图片宽高比五花八门,分桶喂进训练会把 torch.compile 的 JIT 编译图反复打断,重编译吃掉大量步时;更隐蔽的是冻结 VAE 这堵墙 —— 论文算过一笔账,预先把几十万张图的 32 通道 float16 latents 全部落盘需要数 TB 高速存储,消费级 NVMe 装不下,只能边训边编码。论文实测在 4090 上,冻结 VAE 编码每步吃掉 164.92 ms,占 62.0% 的步时延,而 DiT 前向加反向合计不到 70 ms。到了 1024² 分辨率,on-the-fly VAE 编码更是占到 72.6% 的墙钟时间。
四件套怎么拆墙
第一件,把 AdaLN 调制从每个 block 里拆掉,时间条件改成前置的连续正弦时间 token,backbone 参数省下 28%,论文称生成质量不受影响。第二件,序列稀疏化 SPRINT —— 这是引用 Park 等人的先前工作(https://arxiv.org/abs/2510.21986),本文把它扩展到开放域多模态条件: 75% 稀疏的 token 序列穿过 9 个重的中间块,注意力 FLOPs 砍掉一半以上,512² 分辨率实测吞吐 108.5 img/s 对 64.8 img/s。第三件,连续宽高归一 RoPE 配平移方形裁剪,张量形状彻底静态化,重编译消失,还白送了零样本虚拟相机控制。第四件,一个 10M 参数的 Patch Detailer Head 用 v-prediction 把潜空间权重迁到像素空间 —— 推理端 VAE 解码在少步数场景下占 70% 以上时延,像素直出把这堵墙整个绕开。
训练端的 VAE 墙另有解法: 256² 下全部 62.5 万张图的 latents 约 52GB,直接塞进 128GB DDR5 内存,磁盘 IO 和自编码器时延一起消失,吞吐到 282.6 img/s,实测 MFU 86.8%;到 512²,latents 膨胀到约 203GB,内存装不下,改走网络流式读取。整套系统跑在 Ryzen 9 7950X + 128GB 内存 + 单张 4090 上,平均物理 MFU 75.6%。
成绩单,以及该泼的冷水
论文实测: 256px 阶段(68 小时)GenEval 0.588 / DPG 78.96;512px 阶段(81 小时)GenEval 0.609 / DPG 78.51,全程无基准向微调,256px 的 DPG 反而比 512px 高出一截。对照表里,SD3 Medium(2B,集群)是 0.620 / 84.08;学术基线 MiniT2I-L/16(0.91B,8×H100 连跑 27 天)是 0.883 / 84.80 —— 但论文提醒,后者在 BLIP3o-60K 上微调过,而该数据集与 GenEval 句式直接对齐,分数天然占便宜。论文自称在效率-质量的帕累托前沿上立了新标准,这句是自称。
冷水也得泼足。绝对分数仍差一截,这是 62.5 万张训练图对上亿张图的差距,论文自己承认复杂人群场景和长尾概念仍是更大的模型更强;多词文字渲染不稳定;像素空间下采样步数一多(N≥13)延迟反而高于潜空间。还有一笔对不上的账: 摘要写 160 GPU 小时(按论文表注 0.33 美元/卡时折算即 55 美元以内),但训练路线图三个阶段分别是 68h, 81h, 57.7h,加总约 207 小时 —— 「55 美元」是论文摘要的自报口径,引用时请带着这个心眼。
不是孤例,是一条路线
「小算力从零训扩散」这条路线已有独立佐证: 单人作者 Yeh 的 HDM 靠一个 U 形 transformer(XUT),用四张 RTX 5090 从零训出 1024² 文生图模型,自报成本 535-620 美元(https://arxiv.org/abs/2509.06068);Asuka-FM 的参考文献里还引了 Sehwag 等人 CVPR 2025 的 micro-budget 扩散训练。区别在完成度: Asuka-FM 把数据(62.5 万张开放多源 + 33.7 万张精选 Danbooru),代码(GitHub: deeplearningcafe/asuka-fm)和权重(HuggingFace: aipracticecafe/asuka-fm)整套开放,并把这条路线推到了开放域。
所以呢。对个人和小实验室,「训一个自己的文生图基座」从口号变成了 55 美元级的周末工程(论文口径);论文展望里格外值钱的一句是: RL 后训练时每个 prompt 的 12 条 rollout 意味着 12 次 VAE 解码,占掉 60% 以上显存,像素直出让消费级工作站上的在线 RL 变得可行。基座不再必然属于数据中心 —— 至少在 200M 这个量级,这句话现在有账可算了。