逐 token 自回归是不是语言模型的唯一解?字节 Seed 的 Seedance 团队联合港大、北大、人大的研究者刚在 arXiv 放出 47 页长文 Cola2,把另一条路线做了系统的工程化拆解:先把文本压缩成连续语义潜变量,再让扩散解码器去"填词"。论文地址:https://arxiv.org/abs/2610.31305。
两级流水线怎么搭
Cola2 的核心是"压缩-生成"分工。第一阶段训练压缩编码器:文本被动态切分成内容感知的语义段,潜变量按段分配,压缩率由一个无辅助损失的负反馈控制器稳定在目标附近,避免与表示学习互相打架。第二阶段引入约 4B 参数的潜空间 DiT:用 Flow Matching 拟合潜变量分布,其梯度经 stop-gradient 与编码器解耦;token 侧的预测梯度则继续穿过潜变量更新编码器,驱动连续表示与离散生成协同演化。第三阶段单独续训 DiT。
解码器是块因果掩码扩散模型(MDM),训练时按丢弃、加噪、干净 0.4/0.4/0.2 的比例混合三种潜变量条件;推理时 CFG 负责在"忠实重建语义"与"自主生成剩余细节"之间调平衡。消融显示打乱潜变量会让精度大跌 12.2 个点,证明解码器确实在用对齐的语义内容。整条推理链路是"DiT 提议潜变量块 → 解码器实现成 token → 固定段布局下重编码回填",DiT 去噪约 8 步就饱和。
346B token 的成绩单
最大一次预训练从 Qwen3-4B-Base 初始化因果解码器,配合约 4B 的潜空间 DiT,只用 346.03B 源 token、且明确未收敛,就在八项基准上拿到 60.10 的平均分,距 Llama-3-8B(66.25,报告预算 15T+ token)仅 6.15 分;HellaSwag(41.75 对 39.21)和 StoryCloze(80.42 对 79.49)两项反超。论文强调 token 预算相差 43 倍以上。项目页给出完整对照:Qwen2.5-7B(18T)平均 75.08,Qwen3-8B-Base(约 36T)75.87,LLaDA-8B-Base(2.3T)72.11。一作还在 Hugging Face 社区宣布,8B 模型计划数周内开源,项目页 Code 与 Model 目前都挂着 Soon。
该泼的冷水
第一,43 倍效率是论文口径,而且解码器站在 Qwen3-4B-Base 的肩膀上——论文自己也把成绩归因于"Qwen 初始化解码器生成能力的有效迁移",这不是从零训练的 346B 神话。第二,压缩在理论上砍掉潜空间先验的线性与注意力 FLOPs,但端到端生成速度还取决于解码器、CFG 分支与硬件利用率,作者明说需要专用 kernel、缓存管理和并行调度的基建协同设计才能兑现。第三,消融数字很诚实:生成监督把精度从 15.7% 拉到 26.7%,编码器-解码器共训带来 5.9 个点,但压缩版 Cola2-MDM 收敛更慢,要到约 150B token 后才持续缩小与 LLaDA 的差距。
所以呢:Cola2 证明的是"连续潜变量 + 离散生成"这条路能扩、能打,不是它已经赢了。范式竞赛的裁判从来是每 token 成本——等 8B 权重落地、第三方复现跑分,才是这条路线的真分水岭。