并行解码这些年一直被卡在中间地带。要么跑自回归，一次前向吐一个 token，延迟死在串行上；要么上离散扩散，一次刷出一整块，质量却够不着同规模自回归。连续流匹配一直在旁边等着——图像和视频领域的加速手段都能搬过来，但语言建模这边迟迟没人推到十亿参数级别。
从预训练自回归模型改出来，而不是从零训
Lafa（Large flow language model）的思路是分块自回归：前缀保持因果注意力，整块内部改成双向、异步的流。好处很直接——模型可以从预训练的自回归模型改造成分块去噪器，不用推倒重来。论文报告的训练规模是 0.5B、7B、8B 三档，累计 token 不到 300 亿；同类离散扩散语言模型的适配开销可以高到 5000 亿 token，论文给出的差距至少 18 倍。
具体到训练，两个设计被消融实验反复确认。一是块内注意力必须双向，完全因果的版本平均准确率只有 32.7%，换成块内双向后升到 38.0%。二是时间要异步：给每个位置单独一个时间步，让靠前的 token 走得更快。这个 tokenwise time 不是人工设定的，而是训练中从去噪损失里学出来的——损失高的噪声水平自动获得更多训练样本和积分步数。学出来的调度确实呈现从左到右的偏置，但这个偏置没有被硬编码。
一个反直觉的副产品：学流反而让自回归变强
联合训练还带来一个意外收获：流训练不但保住了预训练模型的自回归能力，多 token 预测效应甚至让它比匹配的纯 SFT 基线更准。三个规模上自回归解码的平均准确率都比对应 SFT 基线高。
这条副产品才是论文最值钱的地方。有了更强的自回归预测器，Lafa 就能用它验证自己的一步流草稿——同一套权重兼任起草器和验证器，不需要外挂小模型当草稿。这条自推测解码路径在六个基准上的 tokens per forward 落在 2.5 到 5 之间，准确率保持在接近或高于 AR SFT 的水平。
2.54 倍是怎么测出来的
论文在单张 H100、batch size 为 1 的条件下测了端到端吞吐，取 IFEval、GSM8K、HumanEval 三项平均。块大小为 16 时，Lafa 7B 达到 7B AR SFT 吞吐的 2.54 倍，平均准确率相当；块大小降到 4 时速度约为两倍，平均准确率还更高。对照组里，DeepSeek-MTP 和 MARS 能追平或超过 AR SFT 准确率，吞吐最多只有 1.4 倍；离散扩散基线整体落在 AR SFT 准确率之下，调得越快掉得越狠。
作者对结果也算诚实：纯流解码本身要多次积分步才追得上 AR 质量，真正让速度起来的是验证一步流草稿这条捷径，而不是流解码本身。flow map 蒸馏能把学生模型压到一两步，但论文承认相对多步流解码仍有质量差距。
权重和模型都放出来了
三个 checkpoint 用 Apache 2.0 发布，0.5B 和 7B 基于 Qwen2.5 Instruct，8B 基于 Qwen3 Base，块大小都是 4。每个 checkpoint 同时支持流解码、自回归解码和自推测解码，切换只改一个参数。噪声水平嵌入的初始化方式是固定范数、只学方向，这个变体在消融里拿到最高的 38.0。
所以呢：做推理优化的话，值得注意的不是又一个 8B 模型，而是「同权重兼任起草器和验证器」这条路——它绕开了草稿模型和主模型分布不一致的老问题。参考实现见 arXiv:2610.28559 与 github.com/lafa-gh/large-flow-lms。