线性注意力想解决的问题很朴素:Transformer 的 softmax 注意力,训练算力随序列长度平方增长,推理缓存随长度线性膨胀。把上下文压进一个固定大小的 key-value 状态,训练变线性、推理内存恒定——这是 Gated DeltaNet、Kimi Linear、GDN-2 这条门控 delta 规则族谱的共同卖点。11 月 5 日,Google 研究者(Tushaar Gangavarapu 等)在 arXiv 放出新作 Muir,做的事本质上是一次「参数预算审计」:先证明这套架构里的擦除门被过度参数化,再把省下来的预算花回该花的地方。

两个被忽视的观察

论文给出两条分析。其一,状态更新对「擦除」的敏感度远低于对「写入」的敏感度——key 激活和单位归一化把 key 能量集中到稀疏的通道子集上,而 value 写入会缩放所有通道,所以擦除门完全可以用更低的秩来参数化。其二,慢衰减状态行持续累积 value 写入,范数比快行大一个数量级以上;在无权重的读出里,这些高范数慢行占主导,逼着模型在写入时加大擦除力度来压制干扰,结果是已存好的关联被提前覆写。

Muir 怎么花这笔预算

对此 Muir 做三步重分配:把全部递归与输出门控融合成按敏感度分配的低秩投影;用匹配滤波读出门(静态通道轮廓叠加逐 token 动态调制)重新加权状态行;把省下的参数回填 FFN。在 GDN-2 里,两个全秩 d×d 门控矩阵要吃掉 2d²,占每层 12d² 预算的六分之一,等参数约束下 FFN 被挤窄 25% 以上。Muir 把 FFN 宽度拉宽 30.4%(5,888 到 7,680),编译后每步 FLOPs 反而降 1.8%,HBM 流量降 0.7%-1.4%。FFN 正是事实性关联的仓库,这笔回填直接换成记忆容量。

数字说话

166M-1.34B 全档测试:困惑度比 GDN-2 低 1.8%-2.0%,比 Transformer 低 2.5%-3.6%,常识准确率最高提升 1.9 分。1.34B 档上多跳与多针检索超过两个基线;从 4K 训练长度外推 2,560 倍到 10M token 流,困惑度不漂移;静态读出下 1M token passkey 检索保持近 100%,而 GDN-2 过了 4K-8K 就崩。工程侧同样硬:吞吐与 GDN-2 持平,100B token 验证损失提前 1.2 倍达到,32K 长度下比 Transformer 训练快 2.7 倍。这背后的 kernel 是为宽矩阵单元重新设计的 boundary-pivoted chunkwise 更新——在 88 块 TPU7x Ironwood 上,256×256 脉动阵列的矩阵单元吞吐约是向量单元的 64 倍,新 kernel 把 98% 的 FLOPs 落在矩阵单元上,绕开标准 chunkwise 算法在大 chunk 下的数值上下溢。

冷静看

论文也交代了边界:短上下文 Transformer 仍然更快(T≤8K),Splash Attention 在 11K 以下占优,纯 JAX 实现的 XLA 边界 HBM 读写是主要开销;静态读出在多跳任务上跟不上动态读出,作者建议用滑动窗口注意力做混合。另外,权重和代码还没放(HF 页关联模型数为 0),1.34B 也远非前沿规模。

所以呢:线性注意力的竞争正在从「换一种架构」进入「抠每一份预算」的阶段——在固定参数量下,谁把门控花在刀刃上,谁就能在长上下文外推上白捡数量级。族谱上 Kimi Linear、GDN-2、Muir 一路迭代,说明这条路远没收敛。论文原文见 arxiv.org/abs/2611.08376。