长上下文的账其实很好算。Attention 的 prefill 成本随序列长度平方增长,decode 阶段每生成一个 token 都要重读整份 KV cache,1M 上下文在工程上意味着显存和带宽同时撞墙。所以过去两年「次二次注意力」这个标签出了不少,但真正做到渐近次二次的很少——多数只是把常数因子砍小,或者把成本从注意力本身挪到了索引器里。

arXiv:2610.42112 上,Zyphra 研究团队给出了另一条路。

注意力本来就稀疏,只是没人把它组织起来

论文的第一件事不是造新算子,而是去量一个事实:自然语言序列上,注意力「真正有效」的状态是次线性的。团队在 Qwen3.6-35B-A3B 的全局注意力层上统计 top-p KV 子集的大小——即注意力概率累加到 p 所需的最小 key 集合——在六本长篇小说上随上下文长度增长的曲线呈次线性幂律。换句话说,序列越长,单个 query 真正需要看的 token 占比反而越小。

但这里有个陷阱:如果某个 key 对当前 query 无关,它对后面的 query 可能至关重要。团队在 261,548 token 的序列上测量了「最近 W 个 query 的 top-p 子集并集」覆盖 KV 的比例,结果并集很快逼近全集。这直接否掉了「永久驱逐 KV」这条路——全量 KV 必须留着,只是每次按 query 取子集。

用一棵压缩树替代扁平索引器

细粒度稀疏注意力的常见做法是:轻量索引器给每个 KV 打分,只对 top-K 做精确注意力。问题在于索引器自己可能要扫全量 KV,成本被搬了个家,在接近 1M token 的区间,这类层仍有 60% 到 90% 的时间花在索引上。

ZHA 的做法是在 KV cache 之上搭一棵「递归压缩的 key 摘要树」:查询从树顶往下走,每一层按 top-p 路由挑出候选块,把子节点交给下一层,最终落到叶子块做精确注意力。树的深度逐级增加时,路由加最终注意力的总成本随序列长度亚线性增长,整体呈次二次(但仍是超线性)。

关键工程性质是这个结构对几何形状不敏感。论文扫了 28 组配置(参考 query 数 R、块大小 C、深度 L),并在 p 从 0.7 到 0.99 的阈值上继续扫,发现只关注 10% 到 30% 的 key 时,检索精度对树形状相当稳健;在固定压缩率 C^L=4096 下,加深反而让有效检索能撑到更高稀疏度。团队还用一个 4 参数模型拟合了 RULER 精度,留一长度外推的 RMSE 只有 1.44 个百分点。

实测:换索引器,不动主干

这是 ZHA 最工程化的一面:主干权重完全冻结,只用 KL 蒸馏在几十亿 token 上训一个路由头。Qwen3.6-35B-A3B 上同时训了「深」(块大小 4、6 层)和「宽」(块大小 256、1 层)两种路由器,路由阈值取 0.8、0.9、0.95。

结果:推理、数学和智能体编码基准上,两个路由器都与稠密注意力在噪声范围内持平。唯一例外是深路由器的 RULER-13——93.3% 对稠密的 96.0%,3 分的差距,而此时只看原 KV cache 的 1% 到 6%。

对照更有意思。基准取的是 MiniMax 的稀疏注意力 MSA(块级稀疏加轻量 Index Branch,官方报告在 109B 模型上 1M 上下文时每 token 注意力算力降 28.4 倍,H800 上 prefill 14.2 倍、解码 7.6 倍)。团队给 MSA 的索引器用了 40B token 的蒸馏预热,是 ZHA 训练预算的 10 倍。但在 LongBench v2 上——MSA 的固定预算约等于上下文的 1%——ZHA 深路由器关注 1.1% 的 decode key,却高出 14 分。

同一套方法也移植到了 Nemotron-3.5-Lightning-30B-A3B 上(该模型用 NoPE,没有显式位置编码),智能体编码上大体可比,RULER 上中等程度退化。有意思的是,NoPE 模型的 top-p 子集并不呈现那么规整的幂律——论文诚实地指出,幂律本身和位置编码有关。

那个「百万上下文」是推出来的,不是跑出来的

这是全篇最该被标注的地方。论文用 roofline 模型外推 ZHA 的延迟随序列长度的标度,结论是在 1M 之后会「大幅超过」稠密注意力与 MSA,对 MSA 的交叉点预测在 p=0.75 时约 0.5M token。

但论文自己也写明:由于缺乏能在这种长度上运行的 LLM,这些超长标度没有经过实证验证;这篇工作也没有发布优化过的 kernel。所以「次二次」目前是一个有理论支撑的模型预测加一组 64K 到 256K 上的实测,外推那部分还要等硬件和模型同时跟上来才能兑现。论文提到的一个自证性观察是,据其所知这是首个在深度大于 1 时仍与稠密注意力保持接近水平的分层注意力方案——这个「首个」目前只有论文自述。

所以呢

真正值得记下的不是「下一个次二次注意力」,而是三个可复用的判断。

一是注意力在自然语言上本来就次线性可压缩——这件事一旦被量出来,「上下文不够」就更像一道工程账,而不是能力上限。二是把索引器做成有层级的树而不是扁平的 top-K 打分,才能在固定预算下随长度继续省,否则省下的注意力成本会在索引器里还回去。三是迁移成本低到离谱:主干冻结、4B token、几十分之一的注意力暴露,就能换到接近稠密的效果。

对做长上下文 Agent 的人,第三条可能最实用:不必等新模型发布,也不必重训,几十分之一的注意力预算就能把整份代码库或长文档塞进窗口。至于那个「数亿 token」的愿景,先当作有理论支撑的路线图,别当成已经跑通的数字。