自回归图像模型有个硬伤：它天生只会从左上角往右下角一笔一笔画。训练时 token 的序列顺序被钉死成栅格扫描，推理时想补掉图中间一块、往外扩一圈、或者只重画某个区域，做不到——不是模型没学会这个能力，而是这个能力压根没被写进权重。

常规解法是从头重训，让模型在各种随机排列的顺序上训练。论文引用的参照是，RandAR 这类随机顺序自回归模型要训 300 个 epoch，而对应的栅格扫描 LlamaGen-XL 只要 100 个，差不多 3 倍算力；RandAR 官方项目页也写明它是从随机置换的 token 序列开始训的。另一条主流路线离散扩散，算力同样是 3 倍。

一篇 NeurIPS 2026 收录的论文（arXiv:2610.39293）说这个 3 倍可以省：给预训练模型加两个轻量组件，就能把训好的栅格模型改造成任意顺序生成器。

真正省下来的不是算力，是部署兼容性

论文自己的对比表把账列得很清楚：RandAR（从头训）3 倍、离散扩散 3 倍、RAR 4 倍，这篇的适配方案在 LlamaGen-XL 上是 1.25 倍，跨四个基座模型是 1.13–1.33 倍。

但真正有分量的不是训练成本那一列，是紧挨着的兼容性三列。RandAR 3 倍代价换来的是「不能上 vLLM」；离散扩散更贵，直接把 KV cache 和 vLLM 一起丢掉——它的双向注意力每一步都要重扫所有未屏蔽位置，跟 AR 推理框架的逐 token 缓存复用天然不兼容。适配方案是唯一一行三个勾全中的：任意顺序、KV cache、vLLM 部署都保住，代价只是 1.25 倍训练预算。论文说，对手上已经有预训练权重的人，边际适配成本比从头训低一个数量级以上（12×）。

技术核心是两个组件，都不改动原模型的因果单流 Transformer 结构。

一是面向未来的位置编码。栅格扫描下，第 t 步该预测哪个位置是隐含已知的，就是 t+1；顺序一换，同一段已看到的上下文可能对应完全不同的预测目标——同样一张图的其余部分，预测天空和预测人脸是两个不同的条件分布，模型会同时收到互相冲突的梯度。解法是显式告诉模型这一步要填哪个位置，用的是目标位置索引的 2D RoPE 路由，外加一张加性嵌入表。对 LlamaGen-XL，这张表只占 0.74M 参数，也就是 0.095%。

二是顺序课程：不是一步切换到随机顺序，而是从栅格顺序逐步过渡，替模型铺一条从预训练解走到任意顺序解的稳定优化路径。

比结果更值钱的三个负结果

论文在补图上 FID 6.21，对 MaskGIT 的 10.44；扩图 5.84 对 12.17；区域重建 LPIPS 0.125，也好于 MAR-L 的 0.174。不过论文自己很克制：MaskGIT 换用 Halton 调度后补图 FID 降到 7.82，论文承认原始优势里有一部分来自对手的调度器选择；对 MAR-L，扩图的 Precision 和 Recall 反而是 MAR-L 更高，由于没有跑级不确定性，论文说两者算「有竞争力」而非领先。

真正值得抄走的是三个反例。

去掉面向未来的位置编码，训练损失不降反升。 随着课程把随机顺序的比例推高，损失曲线是往上爬的。这正好印证了前面的可辨识性论证——冲突的梯度是真的。

去掉顺序课程，模型停在半适配状态。 一上来就用完全随机顺序（α=1），LlamaGen-L 上 FID 5.86，对着完整配方的 4.24。论文的诊断很准：Recall 基本没变（0.51 对 0.52），所以这是保真度塌陷，不是覆盖度塌陷——预训练的表征在顺序灵活的路由形成之前就先被磨掉了。

最反直觉的一个：拿冻结的栅格老师做正则反而更糟。 在栅格样本上加一个指向老师的 KL 项（λ=1.0），FID 从 4.24 涨到 9.62。想保住旧行为，和学新的条件分布，是直接冲突的。

还有个工程细节：这份额外嵌入表的学习率要开到网络其余部分的 10 倍才收敛得稳，否则它跟不上课程节奏。

账还是要算清楚

适配不是白拿的。四个基座模型上，类条件生成的 FID 相对各自的预训练检查点上升 1.17–1.93——LlamaGen-L 从 3.07 到 4.24，LlamaGen-XL 从 2.63 到 3.91，RAR-L 从 1.70 到 3.63。论文主动说明这个代价「不一定是最小的，也不随规模单调」，并指出 RAR 因为本来就贴近 FID 下限，同样的名义退化看起来更明显。

还有个容易被忽略的对照：同等总 epoch 下，适配预训练模型明显好过随机初始化（LlamaGen-L 4.24 对 5.60，LlamaGen-XL 3.91 对 4.81），但论文提醒，这个对照只匹配了算力、没匹配 schedule——只有预训练路径是从栅格训练开始的。

推理侧是另一笔账：任意顺序训练让并行解码成为可能，LlamaGen-XL 上前向次数减少 9 倍，代价是 FID 从 3.91 涨到 5.03。

边界写得很清楚

论文限定在 ImageNet 256×256 的类条件生成；能不能迁移到文生图的自回归模型、能不能上更高分辨率，都还没验证；编辑能力的评测只覆盖区域补全，不涉及指令跟随和身份保持。适配模型保留了 vLLM 部署（通过自定义模型注册），代码以 MIT 协议放出，checkpoint 在 Hugging Face 的 orderar 组织下。

所以这篇真正推进的不是一个新模型，而是一个更窄也更硬的判断：同一个联合分布的不同分解方式之间，可以靠一次轻量适配互通，不必非得从头训一个。而它顺手留下的那三个负结果，可能比那些漂亮的 FID 数字更值得记住——尤其是那个把 FID 从 4.24 推到 9.62 的老师正则实验。