图像生成这一轮,大家习惯谈参数量和跑分。11 月 4 日,一个只有两个人的小实验室 Linum 公开了另一笔账:预训练加后训练烧掉 8,415 个 H100 小时,官方折算总成本 21,038 美元。权重和代码按 Apache 2.0 开源,连完整训练配方(样本数、批量、优化器分工、噪声调度、学习率曲线)一起贴在博客上(原始博客:https://www.linum.ai/field-notes/pjit-21k)。

比数字更值得看的是它背后的架构选择。

拆掉 VAE,直接在像素上做扩散

主流文生图几乎都在潜空间跑:先用 VAE 把图像压成低维潜变量,再在潜空间做扩散。Linum 判断这条路有经验上限——常见的 16×16 令牌压缩基本到顶(他们拿 FLUX-2 举例说明主流做法都是 16×16),而把 VAE 的重建质量做上去,在下游生成里反而可能更差。

他们于是把 VAE 整个拆掉,让扩散模型直接在像素上跑,自己学一套专为生成定制的潜空间。代价是单令牌携带的信息更多,patch 尺寸就从 16×16 提到 32×32:单块 32×32×3 = 3,072 维 RGB 压进 1,024 维,压缩率 3:1,注意力上下文长度缩到 16×16 方案的四分之一。

模型叫 Pyramid-JiT(P-JiT):主干 22 个 DiT 块,前面各有 2 个图像 refiner 和 2 个文本 refiner 块,主干隐藏维度 2,944、23 个注意力头。文本侧用冻结的 Qwen3.5-4B,在第 7、15、27 层取出表示拼接。采样时 2.18B 参数,加上训练期专用的读出头约 0.24B,训练时约 2.42B。采样默认 50 步 Euler、自适应投影引导强度 15,权重 fp32 8.7 GB,文本编码器 bf16 8 GB。

多分辨率读出:让主干自己打草稿

另一处设计是「读出」(readout)。因为模型用 x-prediction 在像素空间训练,主干里任何一块的输出其实都是最终图像的粗糙版本。Linum 在第 10、16 块各挂一个线性头,分别预测四分之一和一半分辨率的干净图像,给早期层补梯度信号;第 5 块还有 PixelREPA 读出,把隐藏状态对齐到 DINOv3-L 特征。

10 月 6 日那篇技术博客给出的对照(同一套 22 块主干、同一配方跑 75M 样本):单读出基线的 512×512 验证损失 0.1037,换成 128²/256²/512² 三级读出降到 0.0934,降幅 10.0%;全分辨率三级读出 0.0948(降幅 8.5%),给低分辨率读出降权则 0.0983(降幅 5.1%)。同一篇文章称 P-JiT 追平上一代 Linum v2 的 FD-DINOv2 分数,用的训练样本少了 11.3 倍(https://www.linum.ai/field-notes/pyramid-jit)。

这份账单长什么样

预训练 20,348 美元 = 8,139 H100 小时 × 每小时 2.50 美元;后训练 690 美元 = 276 H100 小时;合计 21,038 美元、8,415 H100 小时。硬件是 64 张 H100(8 个节点),bf16 加 FSDP2,每卡 32 张图。样本分两段:512² 阶段 610.27M(297,985 步),切到 1024² 后 49.97M(24,400 步),全局批量都是 2,048。

优化器混着用:Muon(动量 0.95、带 Nesterov)作用在 2D block 矩阵上,其余参数用 AdamW,Muon 的更新按 RMS 对齐到 AdamW。学习率峰值 2e-4,线性 warmup 走 1M 样本,平到 550M,最后 60M 用 1−√ 衰减到 2.5e-5。噪声调度走 curriculum:前 80M 样本用 LogitNormal(0.8, 0.8) 把分布压在高噪区先学结构,之后换成 LogitNormal(−0.2, 1.0) 拉开分布学细节;切到 1024² 时噪声尺度从 2 翻到 4,用 RoPE 插值对齐坐标轴。后训练用 FDFO(Finite Difference Flow Optimization)的一个变体,配 JEV-Image 和人机协同打分。

短板,官方自己写清楚了

模型完全不会在图里写字,也做不了海报——这类文本密集数据在预处理时被整块过滤,官方说理由是他们的目标是动画工具,不需要这类数据。此外全身照、多实体(六辆车、成群的人)、多人交互、世界知识(吉他六根弦、骰子点数)都是明确写下的边界。仓库里贴的失败样例里,腿会被拉长、手会多出一只、骰子每个面都是六点。

跑分上它也不是最强的。同一批模型的 GenEval(原始 prompt):Linum v2 0.561、JiT-DDT 0.641、P-JiT 0.612;换成官方自己写的稠密 caption 后是 0.855 / 0.808 / 0.817,自家上一代反超。DPG-Bench 上 P-JiT 是 84.05 和 84.31,Linum v2 是 84.79 和 84.54。他们的解释是:像素空间模型出图更贴近底层图像分布,但在计数这类 prompt following 上像是训练不足——放大 prompt 后,计数任务上 Linum v2 是 0.80,P-JiT 只有 0.56。

为什么这份账单值得单独看

一是配方可抄。不止权重和推理代码,噪声调度怎么排、Muon 与 AdamW 怎么分工、梯度范数超滚动中位数 10 倍时暂停 EMA 250 步(所谓 spike-aware EMA),这类细节通常都被藏起来。

二是它不是终点。官方写得很直白:这是通往下一款视频模型的垫脚石,因为视频模型几乎都从图像模型长出来,得先学名词再学动词。Linum v2 生成 5 秒 720p 视频要在 110K 个令牌上算注意力,而 LLM 有 97% 的训练阶段上下文不超过 8K——这就是他们要去掉的成本。社区也按研究件看它:HN 上 95 分 9 条评论,有人问展示样本挑了多少,有人指出它仍有文生图常见毛病——过度平滑、塑料感、肢体扭曲。模型卡和 GitHub README 由 Claude Opus 5.5 写成,模型、训练和代码审阅归 Linum 自己。

所以呢?这 21,038 美元不是重点,重点是它把「训一个能用的文生图模型」的账单和配方同时摆上台面,让「自己训一个」从玄学变成能照抄的工程问题。下一个问题更有意思:当这套像素空间配方真的搬到视频上,那笔省下来的注意力开销,够不够把动画工具的价格打下来一个数量级。