扩散语言模型的核心卖点是并行:一次前向同时敲定多个 token,推理成本理论上比逐 token 生成的自回归模型低一截。但「低一截」在不同任务上到底低多少,一直没人给过系统账单。UCLA NLP 的研究者 10 月 19 日把两个扩散模型拉上十类任务逐项记账,论文编号 arXiv:2610.25835。结论先行:省钱幅度高度依赖任务,最贵的任务上优势归零,甚至倒贴。
十类任务的账单:3.7 次对 101 次
度量口径是每生成 100 个 token 需要多少次前向——自回归模型恒定 100 次,扩散模型承诺低于这条线。两个被测模型分别是 26B MoE 的 DiffusionGemma-26B-A4B(一次生成 256 token 块)和 8B 稠密的 DreamReasoner(32 token 块),都靠置信度阈值动态决定提交节奏。
DiffusionGemma 一侧:改语法 3.7 次、抽取式摘要 4.3 次、代码编辑 5.0 次、翻译 6.0 次;开放式任务全面变贵——WildBench 对话 8.3 次、抽象式摘要 9.5 次、写故事 11.4 次,是改语法的 3 倍还多。DreamReasoner 一侧整体更贵:从改语法 22.2 次涨到抽象式摘要 101.0 次,论文报告首尾跨度 4.3 倍。101 次是个分水岭数字:它已越过自回归的 100 次基准线,在这类任务上扩散范式不仅没省钱,还多花了。而两个架构、规模、块大小都不同的模型,对「哪个任务贵」的排序几乎一致。
贵贱的开关:输出里的新信息量
为什么写故事贵、改语法便宜?作者检验了两个候选因素:输出相对输入有多新(novelty),以及用词在任务内多罕见(surprisal)。与成本相关性最强的不是单独哪一个,而是二者结合的「新信息量」指标:DiffusionGemma 上 Pearson 相关 +0.76,DreamReasoner 上 +0.85;单独的 surprisal 只有 +0.18 和 −0.09,基本不相关。翻译一下:决定成本的不是词冷僻与否,而是这段话有多少内容是第一次被写出来。
思考链内部分布同样印证:论文拆解一道竞赛数学题,思考段 10,339 个 token、40 个块,单块 4 到 22 次前向(成本 3.81);最终答案仅 1,241 个 token(成本 2.88)。答案便宜,因为它大部分在复述思考里已有的内容;一旦答案要输出思考中没有的新东西(WildBench、写故事正是这种),答案成本立刻反超思考段。
错答案更烧钱,烧出了免费信号
在 5 场赛事的 160 道竞赛数学题上(每题 5 个种子),难度沿题序上升,准确率从 79% 经 57% 落到 44%,思考长度中位数从 4,416 token 涨到 9,710 token。关键发现在于:控制了题目难度和生成长度后,错误答案仍比正确答案消耗更多前向,且错误答案里「等等,我再检查一下」式的中途自我纠正,出现频率约是正确答案的 5 倍——模型算力开销本身就在泄露它对答案的把握。
这直接催生了论文最实用的一招:采样多个候选答案做多数投票时,按解码速度加权——解码快的票更重。两个候选时准确率比普通投票高 4.2 分,五个候选时高 2.3 分,额外开销为零。多语种则是论文所说的「双倍税」:把 200 个英语句子翻成 25 种语言(16 种文字)后,token 化密度高的语言不仅 token 更多,每 token 前向次数也更多。
所以呢
这份实测至少改写三个直觉。第一,扩散模型的成本优势不是均匀资产,复制、编辑、抽取类负载吃满红利,开放式生成可能颗粒无收——选推理范式前先看任务分布。第二,「每 token 单价」对扩散模型是有误导性的计价单位:同一模型、同样长度的两段输出,真实算力可以差 3 倍,按 token 计费的平台迟早要面对这个账。第三,解码速度这个通常被丢弃的副产物,其实是免费的置信度信号,对做推理调度的人来说,这可能比跑分更有用。