Transformer 里塞满非线性组件——softmax 注意力、非线形激活的 MLP,主流认知因此默认:想同时处理多条独立文本流,要么分开跑多次前向,要么改架构防止互相干扰。一篇 9 月 24 日提交 arXiv 的论文(arXiv:2609.29845)给出了相反的实证:把两段文本的 embedding 逐位平均,预训练 LLM 的输出近似两条文本下一个 token 分布的叠加。作者把它命名为叠加线性假说(Superposition Linearity Hypothesis)。
信号没被淹没,反而站在前排
研究者在 Pythia、Qwen、Llama、OLMo、Gemma 五个家族的预训练模型上测:两段无关文本的 embedding 混合后,单流预测 token 有约 30-40% 仍排进混合分布 top-10,top-50 是 50-60%,top-100 达 60-65%。词表至少 5 万起步,这个恢复率远高于噪声底。
需要警惕的是「高频词侥幸」解释:随机词频基线下跨流 ground-truth token 落进 top-10 只有 2.63%、top-100 只有 10.41%,而叠加前向的 top-10 恢复率比基线高一个数量级——效应来自叠加结构本身,不是 Zipf 分布的假象。
训练越久,叠加越弱
最反直觉的发现:叠加性在初始化时最强,随预训练单调衰减。也就是说这不是模型学会的能力,而是架构自带的「出厂设置」,训练目标反而在持续侵蚀它。作者用隐藏态可加性误差逐 checkpoint 追踪,发现误差随训练单调增长;层间线性度呈 U 型——深层(约 2L/3 以下)保持近线性,这给叠加信号能活着传到输出 logits 提供了几何解释。
轻量微调能把线性拉回来
用不到原预训练数据规模 0.025% 的数据做轻量微调,能把混合分布与理想叠加目标的散度大幅压低。代价写得坦白:同一目标会损伤单流质量,Pythia-2.8B 在 LAMBADA 上从 0.544 掉到 0.357,Qwen2.5-3B 从 0.602 掉到 0.460。算力上不算白给:Pythia-2.8B 微调 15 万步用了 2×A100 80GB 约 114 小时。
从一次前向拆出两条续写
几何平均阻碍是核心难点:叠加 logits 下概率正比于两流概率的几何平均,任何一流的高概率 token 都会被另一流压低。Joint Contrastive 解码用一个小模型做逐流引导,把 Llama-3.2-3B 的混合前向 LAMBADA 均值从 0.182 拉到 0.430(小模型单流基线 0.540),流间 Jaccard 重叠压到 0.067。结论一节称,若拆解彻底,理论上单次前向可产出两条连贯续写、吞吐 2 倍、每活跃流 KV cache 减半。
所以呢
这篇论文把「并行推理」的想象空间和它的现实边界同时摆上了桌:正面的部分,叠加是架构内生的、可恢复的、可拆解的;清醒的部分,LAMBADA 0.430 对 0.540 的差距、单流质量的牺牲、L≤512 的短上下文,都说明这还是 proof of concept。对比 DataMUX、Superposed Decoding 等需要外加 mux/demux 结构的方案,它的差异点是「叠加不需要被工程强加,它本来就在」。对推理成本敏感的团队,这条线索值得盯:如果拆解损失能进一步收窄,2 倍吞吐不是营销话术,是结构性的。