d3LLM:ICML 2026 提出伪轨迹蒸馏,让扩散语言模型提速 5 倍

主流大语言模型几乎全部采用自回归(AR)生成范式,token 一个接一个顺序输出。这种方式在推理速度上存在天然瓶颈——序列越长,生成耗时越多。近一年来,扩散语言模型(dLLM)作为颠覆性替代方案受到关注,Google Gemini Diffusion、Inception Mercury 等先后发布,承诺并行解码带来的更高吞吐量。 但速度与精度真的可以兼得吗?ICML 2026 接收的论文 d3LLM(pseuDo-Distilled Diffusion LLM)直面这个问题,提出了一套系统性的解决思路。 **核心创新:伪轨迹蒸馏** d3LLM 由 Hao-AI Lab 团队提出,发表在 arXiv(2601.07568)。研究团队发现,现有扩散模型在随机 masking 策略下学习效率偏低——学生模型不知道教师模型喜欢先解码哪些