扩散语言模型（DLM）这几年被反复讲成一个更快的方向：解码时不再一个 token 一个 token 往后吐，可以并行预测多个位置再回头修正。LLaDA 8B 把这条路推到了 8B 规模，它是论文 Table 1 里被拿来当基线的那一档——从零预训练，烧掉 2.3T token 和 130,000 个 H800 GPU 小时。这个数字把大多数团队挡在门外：不是不想做扩散生成，是没有那 130,000 小时。

BYOD 这篇论文换了个思路：不从零训，拿一个现成的指令模型（Gemma 2 9B IT、Llama 3.1 8B Instruct、Qwen2.5 7B Instruct、Ministral 8B Instruct 2410），把每一层的因果掩码换成双向注意力，冻结原权重，只在每层 self-attention 的 query 和 value 投影上挂 rank 1024 的 LoRA 适配器，适配器占最终参数的 4.1% 到 5.8%，用最多 102.4M token 跑 25,000 次更新。据论文 Table 1 那套统一估算口径，这套转换在单张 RTX Pro 6000 上花 3.2 GPU 小时、约 11 美元、0.9 kg CO2e；同一张表里 LLaDA 那行是 130,000 GPU 小时、约 674,830 美元、44.1 t CO2e。两边 GPU 小时一除，是 40,625 倍。四个底座分别跑 3.1 到 4.0 小时，代码和 demo 都开了（论文、仓库）。

不过这两个数字来自不同卡型，倍数只能当量级看，不能当同口径对比。表里的成本与碳排也都是论文按统一场景估出来的，不是各团队上报的实测值。

作者自己泼了冷水

论文 Limitations 里写得很直白：高效的转换还不等于高效的生成。作者量的是 NFE（网络评估次数），不是墙钟延迟；每一步扩散都要处理整个完整答案块，所以评估次数少不等于跑得快。BYOD 省下来的是训练侧的钱，推理侧一分钱没省。这句自我否定比任何标题党都值钱——它把"3.2 小时"这个数字的适用边界划得很清楚。

质量不是均匀掉的

换成九任务平均分看，BYOD-Gemma 是 50.6%，LLaDA 在同一套 harness 里是 51.9%，只差 1.3 个点，看着几乎追平。但平均分会骗人，缺口几乎全压在数学和代码上。Gemma 那一列：HumanEval 从自回归的 0.740 掉到 0.256，差 48.4 个点；MATH-500 从 0.600 掉到 0.296，差 30.4 个点；GSM8K 从 0.872 掉到 0.640，差 23.2 个点。反过来 MMLU 从 0.648 涨到 0.688，ARC-C 只从 0.888 微跌到 0.864。也就是说，转换保住了知识问答那一块，赔进去的是会算会写代码那一块。

更扎人的是语法。BYOD-Llama-50k 生成的 HumanEval 代码里有 28.0% 连解析都过不去，MBPP 是 8.8%，而对应的自回归 Llama 是 0% 和 0%。这不是"答错"，是"没写出一段合法的 Python"。

双向注意力不等于会用右边的信息

论文设计了一个挺巧的检验：把线索放在后面，看模型会不会改答案。所有转换模型和 LLaDA 在 100% 的测试项上都改了预测，说明右上下文确实流进来了。但能不能用对，差距很大：BYOD-Gemma、BYOD-Ministral 和 LLaDA 都 100% 照抄对了可见目标，BYOD-Llama-25k 是 90%，BYOD-Llama-50k 掉到 70%，BYOD-Qwen 只有 20%。信息进来了，用不用是另一回事。论文自己还点了名：在同一套 harness 里，Qwen 的 AR 底座平均分是四个里最高的，转换后平均分却是最低的。

还有两笔账必须交代

第一，Table 1 里 LLaDA 那行的 674,830 美元和 44.1 t CO2e，不是 LLaDA 团队报的数字，是这篇论文按一套标准化场景自己估的，表注里专门强调"仅为示意量级，非上报值"。第二，同一篇论文里 LLaDA 换到作者自己的 harness 重跑，比它自己公布的平均分低了 2.6 个点——同一模型换套评测就差这么多，跨论文比数字要非常小心。

还有：仓库 13 次提交、0 star、0 fork，没有第三方复现；作者也说了，开发加评测累计花了"几百个 GPU 小时"，3.2 小时只是单次转换训练本身。顺带一提，训练从 25,000 次推到 50,000 次，平均分只涨 0.5 个点，五个任务涨四个跌——验证损失几乎单调下降，下游分数却没跟上。

所以呢

BYOD 真正改变的不是"扩散模型能不能上线"，而是"要不要试"的边际成本。以前判断一个架构适不适合做扩散生成，得先投 130,000 个 GPU 小时；现在 3.2 小时、单卡、11 美元就能拿到一个会双向去噪、能从全掩码序列生成、还能通过右上下文检验的版本。对想跟跑的研究者，这是一张便宜的入场券。

但它没有改变"能不能上线"。48.4 个点的代码缺口、28.0% 的语法崩溃、2.7 到 5.0 倍的困惑度差距（128 token、64 步下 BYOD 是 8.3 到 11.1，LLaDA 是 4.1，AR 母模型是 2.2 到 3.0），说明 LoRA 转换能装下扩散的行为，装不下扩散的能力。论文自己给出的下一步，是从合并后的模型出发做部分或全量扩散微调——这正好说明，3.2 小时买到的是一个实验台，不是一个模型。

扩散生成真正要过的关，从来不是"能不能变"，而是"变了之后丢掉的那部分能力追不追得回来"。BYOD 把第一关的成本压到了 11 美元，第二关一分钱没省。